Es gibt einen Satz in Anthropics neuer Fallstudie, der hängen bleibt. Silas Alberti, SVP of Research bei Cognition, beschreibt, wie er abends eine Aufgabe an das Modell übergab: «Okay, arbeite bitte weiter und hör nicht auf, bis ich aufwache.» Am Morgen hatte Fable 5 acht Stunden am Stück gearbeitet — und war tatsächlich vorangekommen. «Das hatte ich vorher nie gesehen.»
Ein Team, das keinem Benchmark traut
Cognition baut Devin, einen autonomen KI-Softwareentwickler, seit Anfang 2024. Die Kundschaft reicht von Startups bis zu Fortune-500-Konzernen, die Messlatte ist entsprechend hoch: Code von Devin muss produktionsreif sein. Ein still eingeschleuster Bug kann teuer werden.
Albertis Team hat fast jede Claude-Generation getestet — und ist deshalb schwer zu beeindrucken. «Wir sind schon oft so verbrannt worden»: Modelle, die einen Benchmark knacken und dann im echten Einsatz auseinanderfallen. Ihr Grundsatz lautet deshalb schlicht: «Wir trauen keinem Eval.» Stattdessen setzen die besten Entwickler jedes neue Modell einen echten Arbeitstag lang ein. Die einzige Frage: Würde man diesen Code wirklich behalten?
Wo frühere Modelle scheiterten
Eine Grenze blieb lange bestehen: Wie lange kann ein Agent laufen, bevor er den Faden verliert? «Vor Fable konntest du Agenten delegieren, die ein paar Minuten auf Kurs blieben, vielleicht eine Stunde.» Danach driftete die Sitzung ab. Gab man einem früheren Modell fünf Ideen gleichzeitig, verhedderte es sich. Bei einer Datenbank-Migration hatte ein älteres Opus die Aufgabe zwar formal erledigt — aber reihenweise subtile Bugs eingebaut.
Fable 5 reißt die eigene Messlatte
Cognition bewertet Modelle auf einem eigenen Benchmark namens Frontier Code — Alberti nennt ihn einen «Anti-Slop»-Standard, weil bestehende Evals zu oft Code belohnten, der Tests besteht, aber keinen echten Codebase überlebt. Auf dem härtesten Teil schaffte das frühere Opus rund 10 Prozent. Fable 5 kam auf etwa 30.
Die erste Reaktion des Teams: Misstrauen. «Ist da ein Bug? Das kann nicht stimmen.» Doch diesmal deckte sich das Dogfooding mit den Zahlen. Fable 5 blieb auch in unübersichtlichem Kontext klar im Kopf, nutzte als erstes Modell die internen Debugging-Tools richtig und benannte bei der Fehlersuche auch, was es nicht wusste — was laut Alberti das Vertrauen erst wiederherstellt.
Meine Einordnung
Ich bin bei solchen Herstellerfallstudien immer vorsichtig — natürlich verkauft Anthropic hier das eigene Modell. Aber die Cognition-Perspektive ist interessant, weil sie von einem Team kommt, das offen sagt, keinem Benchmark zu trauen. Der eigentliche Sprung ist nicht ein höherer Score, sondern der Zeithorizont: von «ein paar Minuten» zu «acht Stunden über Nacht».
Genau da wird es für uns alle spannend. Alberti erwartet, dass in ein, zwei Jahren 90 Prozent der Agenten-Sitzungen proaktiv sind — der Agent findet das Problem selbst, durchsucht den Code und meldet sich mit der Lösung. Das ist ein anderes Arbeitsmodell als «Prompt rein, Antwort raus». Und es kommt näher, als viele denken.
Quellen: