Anthropics Engineering-Team hat am 6. November aufgeschrieben, wie es über das Gedächtnis von Agenten denkt. Der Beitrag heißt „The components of agent memory“ und ist ungewöhnlich konkret: Statt einer Architektur zeigt er Messungen an echten Modellen, inklusive der Fälle, in denen es nicht funktioniert hat.
Gemeint ist mit Gedächtnis nur eines: Wissen, das Claude aus Erfahrung zieht und über Sitzungen hinweg behält, gespeichert als Kontext, den es später wieder liest. Änderungen an den Gewichten gehören nicht dazu, In-Context-Lernen auch nicht, und Compaction schon gar nicht. Die ist nur eine Zusammenfassung, die alte Züge ersetzt.
Träumen heißt: im Leerlauf die eigenen Logs lesen
Die Vorlage ist der Hippocampus. Menschen kodieren Erlebnisse im Moment, aber nur ein Teil wird zu Langzeitwissen, und die Auswahl passiert offenbar offline: Im Schlaf und in Ruhephasen spielt das Gehirn die letzten Erfahrungen nach und schiebt sie in den Neocortex.
Agenten können dieselbe Arbeitsteilung haben, weil sie ihre Arbeit in Logs und Transkripten festhalten. Forscher bei Letta und an der UC Berkeley hatten dafür Sleep-Time Compute vorgeschlagen. Anthropic nennt die Variante, in der ein Modell Logs nachliest, Fehler korrigiert, Notizen schreibt und neue Darstellungen baut, „dreaming“. Was dabei entsteht, bestimmt auch, was in künftige Sitzungen vorab geladen wird.
Der zweite Baustein ist die Notiz selbst. Claude kann auffällige Ereignisse im Log markieren, während sie passieren, oder sie in einen Ordner mit Notizdateien schreiben. Die unangenehme Frage dabei: Woran erkennt ein Modell im Moment, was später wichtig sein wird, bevor es weiß, was kommt?
Was die Modelle auf CL-Bench gelernt haben
Anthropic hat eine Aufgabe aus Continual Learning Bench 1.0 laufen lassen, in Claude Managed Agents, jede Frage in einer frischen Sitzung, mit einem Gedächtnisordner als einziger Verbindung. Nach jeder Antwort erfährt das Modell die richtige Lösung und darf eine Notiz schreiben.
Die Ergebnisse unterscheiden sich weniger im Benchmark-Wert als in der Bauart der Notizen. Sonnet 4.6 kam bis zu Theorien darüber, warum eine Antwort falsch war: verstreute Dateien mit ungeprüften Vermutungen. Opus 4.7 fasste alles in ein Referenzdokument und markierte, was geprüft war und was nicht. Sonnet 5 setzte nach der Korrektur ein Häkchen und schrieb bei Fehlern eine Richtigstellung. Opus 5 war das erste Modell, das den Kreis geschlossen hat: Regel, Begründung, warum die Regel stimmt, frühere Antworten, dazu Warnungen vor Fallen. Opus 5.5 und Sonnet 5.5 schaffen das ebenfalls und landen mit Gedächtnis etwa bei Opus 5, ohne Gedächtnis etwas darüber.
Weniger Notizen sind die bessere Notiz
Den schärfsten Vergleich liefert Pokémon Red. Jedes Modell bekam einen Ordner mit Gedächtnisdateien, aus dem es lesen und in den es schreiben durfte. Nach rund 10.000 Spielschritten hatte Sonnet 3.7 413 Dateien in 225 Ordnern angelegt, ein Archiv aus Begegnungen, oft eine Datei je Kampf, je Gegenstand, je NPC. Es hatte einen Orden. Fable 5 hatte neun Dateien in zwei Ordnern plus eine global.md und vier Orden.
Sonnet 3.7 hat nichts falsch notiert. Es hat zu viel notiert, und weil sich der Spielzustand ständig ändert, war das Archiv dauernd veraltet. Genau das ist der Grund, warum Gedächtnis eine Vorhersage ist und keine Mitschrift: Wer eine Regel aufschreibt, behauptet, dass das Muster wiederkommt. Diese Behauptung können die neueren Modelle inzwischen gut treffen, und sie halten sich dafür kurz.