Am 6. September hat Jakub Pachocki einen Text mit dem Titel «An Alien Mind» veröffentlicht. Pachocki ist Chief Scientist bei OpenAI, also der Mann, der dort die Forschung verantwortet. Der Satz, an dem alle hängenbleiben, steht mittendrin: Aktuell glaube er, dass kein Labor Alignment und Monitoring ausreichend gelöst habe, um verantwortungsvoll weiterzuskalieren.
Kein Labor. Seins eingeschlossen.
Worum es in dem Essay geht
Pachocki beschreibt KI als etwas, das eher gezüchtet als gebaut wird: Sie ist, wie er schreibt, in erster Näherung das Produkt eines immer gleichen Optimierungsschritts, den man oft genug wiederholt. Daraus folgt sein zentrales Problem. Die eigentliche Schwierigkeit beim Alignment ist Generalisierung. Ein Modell, das sich in den getesteten Situationen anständig verhält, kann sich in den ungetesteten anders entscheiden, und die ungetesteten sind die Mehrheit.
Dagegen setzt OpenAI vor allem eine Technik: den Gedankengang der Modelle beobachten, ohne ihn zu erziehen. Wer die Kette nicht trainiert, kann in ihr lesen, was das Modell wirklich vorhat. Er sagt selbst, dass diese Methode an Wert verliert. Je fähiger die Modelle werden, je komplexer ihre Umgebung, desto eher entwickeln sie Fähigkeiten, die gar nicht mehr in Worten auftauchen – und desto eher können sie den eigenen Gedankengang beeinflussen.
Der zweite Teil ist unbequemer. Rekursive Selbstverbesserung, also KI, die KI-Forschung betreibt, sieht er als Kern der künftigen wissenschaftlichen Entwicklung. Nicht als Option, sondern als das, was passiert, wenn es so weitergeht. Die Frage sei nicht, ob man dort ankommt, sondern ob Menschen im Prozess noch vorkommen.
Was er vorschlägt
Drei Dinge. Freiwillige Verlangsamungen, die seiner Erwartung nach zur Normalität werden, bis gemeinsame Sicherheitsschwellen stehen. Internationale Koordination, die er zur Top-Priorität für Regierungen erklärt. Und Rahmenwerke wie das Preparedness Framework, die er zu verbindlichen Schwellen weiterentwickeln will, geprüft von externen Auditoren, Behörden oder internationalen Stellen.
Simon Willison hat einen anderen Absatz herausgegriffen, den stärksten Einwand gegen die eigene Position: Das beste Argument dafür, trotzdem schnell viel klügere Modelle zu trainieren, sei der Bedarf an Verteidigungssystemen gegen die Gefahren durch andere KI. Er lässt das gelten und schiebt gleich hinterher, dass ein Rennen um jeden Preis absurd wirke, sobald man den Ernst der Lage einmal begriffen habe.
Warum das hier steht
Drei Tage vorher hat OpenAI GPT-6 Astra ausgeliefert, das Modell mit der Opaque Recurrence, dessen Gedankengang genau nicht mehr so gut lesbar ist. Und jetzt schreibt der Chefwissenschaftler desselben Hauses, das Werkzeug, auf dem die Sicherheitsstrategie ruht, nutze sich ab.
Man kann das zynisch lesen: Ein Essay kostet nichts, ein Auslieferungsstopp schon. Ich lese es anders. So ein Satz taucht nicht zufällig im Blog eines Labors auf, das kurz vor einem Börsengang steht und dessen Konkurrent gerade dasselbe plant. Wer ihn schreibt, will ihn zitiert sehen. Ob daraus etwas folgt, sieht man am nächsten Release, nicht am nächsten Essay.
Quellen: OpenAI: An Alien Mind, Simon Willison: Jakub Pachocki