Anthropic hat gestern drei Messgrößen veröffentlicht, mit denen die Öffentlichkeit verfolgen soll, wie schnell die Entwicklung in einem Frontier-Labor läuft. Die erste ist ein Index dafür, wie viel der eigenen KI-Forschung Claude inzwischen erledigt.
Stand August 2026: Claude „führt“ 26 Prozent der Arbeit. Führen heißt, das Modell erledigt eine Aufgabe von einem groben Auftrag aus weitgehend allein, ein Mensch beaufsichtigt. Über 90 Prozent der Arbeit liegen mindestens eine Stufe darunter, bei „Claude arbeitet mit“. Vollständig autonom läuft laut Anthropic kein einziger gemessener Bereich. Bloomberg stellt die 26 Prozent neben den März, da lag der Wert bei 1 Prozent.
Wie man so eine Zahl überhaupt baut
Niemand kann von Hand auflisten, was in einem KI-Labor alles an Forschungsarbeit anfällt. Anthropic hat es deshalb von unten aufgebaut: Für jede Woche im Juli wurde ein Fünftel der Belegschaft aus den beteiligten Abteilungen gezogen, ein Claude-Agent las Slack und interne Dokumentation dieser Woche durch und notierte, woran die Person gearbeitet hat. Ergebnis: rund 15.000 einzelne Aufgaben.
Die hat Claude dann zu einem Baum sortiert, 542 Knoten, davon 378 Blätter mit Namen wie „Fehlerdiagnose und Reparatur der Eval-Plattform“ oder „Netzwerkregeln der RL-Sandbox“. Der Baum ist eingefroren, damit jede spätere Messung denselben Korb Arbeit betrifft. Bewertet wird auf einer Skala von Epoch AI, AL0 bis AL5.
Dass Claude bei Anthropic 80 Prozent des Codes schreibt, stand schon im CI-Beitrag von vergangener Woche. Neu ist der Versuch, daraus etwas zu machen, das man Monat für Monat wiederholen kann.
30.000 Agenten, und einer von 47.000 Befehlen wird gestoppt
Die zweite Messgröße betrifft die Aufsicht. Auf Anthropics meistgenutzter interner Plattform arbeiten zu jedem Zeitpunkt etwa 30.000 Agenten. Alles, was sie tun, läuft durch zwei Arten von Wächtern.
Der Online-Monitor prüft vorher und blockiert, was sich nicht zurücknehmen lässt – Modellgewichte aus dem Haus tragen zum Beispiel. Über eine Milliarde Entscheidungen im August hat Anthropic ausgewertet, 0,002 Prozent wurden gestoppt, ungefähr eine von 47.000. Der Offline-Monitor liest hinterher mit und markiert ein bis zwei Protokolle je tausend. Rund 100.000 Transkripte pro Woche landen so in der Nachprüfung, etwa 50 davon bei einem Menschen.
Sechs Prozent der Rechenzeit für Sicherheit
Die dritte Zahl ist die unbequemste. In der untersuchten Woche vom 13. bis 20. Juli gingen etwa 6 Prozent der Rechenleistung, die in KI-Forschung floss, an Sicherheitsarbeit. Bei der Rechenleistung, die KI-getriebene Forschung verbraucht, waren es 12 Prozent.
Anthropic rechnet bewusst konservativ: Was gleichermaßen Fähigkeiten und Sicherheit voranbringt, wurde gar nicht mitgezählt. Und das Unternehmen schreibt selbst dazu, dass Rechenzeit ein schiefes Maß ist. Sicherheitsforschung besteht aus Menschen, die Experimente entwerfen; das kostet Zeit, nicht Grafikkarten.
Interessant wird erst die zweite Messung
Eine einzelne Zahl aus einem einzelnen Labor sagt wenig. 26 Prozent sind ohne Vergleich weder viel noch wenig. Wert bekommt der Index erst, wenn er in drei Monaten wieder erhoben wird, und richtig spannend wird er, wenn ein zweites Labor nach derselben Methode rechnet.
Genau da hakt es. Anthropic benennt das Problem offen: Es gibt keine gemeinsame Methodik, und der Prüfer ist ein Modell aus demselben Haus wie das Geprüfte. Vorgeschlagen wird deshalb, dass unabhängige Dritte die Zahlen bestätigen – dieselben Prüfer, die Anthropic ohnehin ins Haus holen will. Bis dahin ist das hier kein Messsystem. Es ist eine Einladung an die anderen, mitzumachen.
Quellen: