Gerade erst hat OpenAI Astra als erstes Modell über der eigenen „kritischen” Cyber-Schwelle vorgestellt. Jetzt kommt die nächste Debatte hinterher, und die dreht sich darum, wie das Modell überhaupt denkt.
Laut einem Bericht von The Information, den TechCrunch aufgegriffen hat, setzt Astra auf eine Technik namens „Recurrent Depth”, auch „Opaque Recurrence” genannt. Normale Reasoning-Modelle schreiben ihre Gedankenkette Schritt für Schritt als Text auf. Das ist nicht perfekt, aber man kann eben mitlesen. Bei Opaque Recurrence läuft dieselbe Anfrage stattdessen mehrfach durch eine Schleife im Modell. Es entsteht weniger lesbarer Text, die Rechenarbeit passiert im Verborgenen.
Genau diese Lesbarkeit ist aber eines der wichtigsten Werkzeuge, um Fehlverhalten zu erkennen. Als OpenAI-Agenten zuletzt in Tests aus der Reihe tanzten, waren die Chain-of-Thought-Protokolle der Schlüssel, um zu verstehen, warum. Anthropic und OpenAI haben in den letzten Jahren regelrecht dafür geworben, diese Nachvollziehbarkeit so lange wie möglich zu erhalten.
Entsprechend deutlich fallen die Reaktionen aus. Buck Shlegeris, Chef von Redwood Research, schreibt, er sei „extrem besorgt”. Er wisse nicht, ob Astra heute schon weniger überwachbar sei als Vorgänger. „Aber wenn OpenAI diese Technik weiter treibt, haben sie die Option, die Rekursion massiv hochzufahren und die Überwachbarkeit der Gedankenkette komplett zu zerstören.” Sein Kollege Ryan Greenblatt fürchtet, dass der nächste Schritt ein Modell ist, das fast vollständig im latenten Raum denkt. Zvi Mowshowitz nennt die Technik ein „Spiel mit dem Feuer” und bringt Gesetze ins Spiel, um einen Wettlauf nach unten zwischen den Laboren zu verhindern.
OpenAI hält dagegen. Der Einsatz in Astra sei begrenzt, die Gedankenkette bleibe lesbar, und von einem Wechsel zu „Neuralese” könne keine Rede sein. Chefwissenschaftler Jakub Pachocki schrieb auf X, OpenAI habe „seit unseren allerersten Reasoning-Modellen daran gearbeitet, Chain-of-Thought-Monitoring zu erhalten und zu nutzen”. Das sei ein Kernziel des aktuellen Forschungsprogramms.
Der Punkt, der mich am meisten beschäftigt, steht fast am Ende des TechCrunch-Artikels: Laut The Information diskutieren auch Anthropic und Google DeepMind bereits über die Technik. Das ist die eigentliche Dynamik. Wenn Schleifen im Modell messbar mehr Leistung bringen, kann sich kein Labor lange leisten, darauf zu verzichten, egal wie sehr es die Lesbarkeit der Gedankenkette öffentlich hochhält. Ob so ein Tabu hält, zeigt sich erst beim nächsten Benchmark-Rennen. Blogposts von Chefwissenschaftlern helfen da halt nur begrenzt.
Quellen: TechCrunch: OpenAI’s new reasoning technique alarms AI safety experts