OpenAI hat am Mittwoch einen zweiten Bericht darüber veröffentlicht, wie stark Coding-Agenten die eigene KI-Forschung beschleunigen. Er schließt an einen ersten Bericht aus dem September an. Der Titel „The jagged frontier“ beschreibt das Ergebnis: Die Agenten werden schnell besser, aber sehr ungleichmäßig.
Erfolgsquoten nach Aufgabentyp
Bei Aufgaben, für die ein Mensch zwei bis vier Stunden bräuchte, stieg die Quote der ohne menschlichen Eingriff gelösten Fälle von März bis Oktober von 23 auf 46 Prozent. Bei Aufgaben von vier bis acht Stunden ging sie von 13 auf 35 Prozent. Je nach Art der Arbeit unterscheiden sich die Werte stark. Trainingsläufe überwachen schaffen die Agenten in 79 Prozent der Fälle allein, Trainingsläufe starten in 35 Prozent und Code für Inferenz- und Serving-Systeme in 25 Prozent.
Was die Agenten kosten
Zu API-Listenpreisen verbraucht der mittlere Forscher inzwischen Agentenleistung für rund 2.400 Dollar am Tag, 62 Prozent mehr als im September. Beim 90. Perzentil sind es 23.000 Dollar. Gerechnet in Agenten-Arbeitstagen zu je acht Stunden kommen auf jeden Forscher 5,7 pro Kalendertag, nach 0,5 zu Jahresbeginn. Mehr als zwei Drittel der erfassten Forscher lassen zu Spitzenzeiten mindestens vier Agenten parallel laufen.
Im September war der API-Gegenwert der Agentennutzung etwa doppelt so hoch wie die Gehälter der Forschungsabteilung ohne Aktienanteile. Trotzdem macht der interne Einsatz nur 2 Prozent der gesamten Forschungsrechenleistung aus. In einer Umfrage gaben die Forscher an, was sie hergeben würden, um drei Monate lang Coding-Agenten zu behalten: im Mittel 30 Prozent der Rechenleistung ihres Teams oder 40 Prozent der Köpfe.
Die meiste zusätzliche Arbeitszeit floss in Sicherheit und Alignment. Dort hat sich der dokumentierte Aufwand seit Januar fast verdoppelt. Den Knick in der Kurve datiert OpenAI auf die Zeit nach dem Hugging-Face-Vorfall im Juli, wegen dem Kalifornien OpenAI inzwischen verklagt.
Messen, was man selbst gefordert hat
OpenAI hatte im September gefordert, dass Labore Anzeichen für rekursive Selbstverbesserung öffentlich machen. Mit dem Bericht hält sich das Unternehmen an die eigene Forderung. In einer Fußnote nennt es Anthropic, das bereits drei solche Berichte veröffentlicht hat, und eine Studie von METR zu Claude. Die Zahlen von OpenAI und Anthropic beschreiben dasselbe: Menschen geben immer mehr Forschungsarbeit an Modelle ab, und die Labore messen inzwischen selbst, wie schnell das geht.