OpenAI hat Verträge mit vier unabhängigen Prüforganisationen unterschrieben: Apollo Research, METR, Transluce und Goodfire. Das hat das Unternehmen am 16. November bekanntgegeben. Die vier bekommen als „embedded assessors“ tiefen Zugang zu internen Modellen und Systemen, je nach Prüfung bis zu Checkpoints, Quellcode, Trainings- und Evaluationsdaten, Überwachungssystemen und Gesprächen mit den zuständigen Forschern. Die erste Phase dreht sich um Alignment und Schutzmaßnahmen während des Trainings und der internen Nutzung. OpenAI verweist dabei auf seine Zusagen aus dem White House Accord on Super Intelligence, unabhängige Prüfungen seiner Sicherheitskontrollen zuzulassen.
Wer was prüft
- Apollo Research soll klären, ob Modelle heimlich gegen die Absichten ihrer Entwickler arbeiten könnten und ob OpenAIs Schutzmaßnahmen das bemerken würden. Geprüft werden unter anderem zwei Behauptungen: dass starke Evaluationen und Red Teaming keine Subversion hervorrufen, und dass Modelle in der internen Nutzung keine versucht haben.
- METR prüft Fehlverhalten in OpenAIs bislang größtem Reinforcement-Learning-Lauf, auch solches, das bestehende Tests übersehen haben. Eine zweite, breitere Prüfung der Überwachungssysteme ist vorläufig vereinbart, der Umfang aber noch offen.
- Transluce sieht sich die Alignment-Evaluationen nach dem Training an, ihre Qualität und Abdeckung. Für Anfang 2027 ist eine Folgeprüfung von etwa acht Wochen geplant, dann auch mit Einblick, wie Ergebnisse in Release-Entscheidungen einfließen.
- Goodfire schickt Interpretierbarkeitsforscher, die Modellinterna während des Trainings analysieren. Deren Ergebnisse gehen vor allem an OpenAIs eigene Forscher, Goodfire will aber laufend veröffentlichen.
Die Regeln für den Zugang
Interessanter als die Namen sind die Protokolle, die OpenAI gleich mitveröffentlicht. Wer vertrauliche Daten braucht, arbeitet vor Ort in OpenAI-Büros an OpenAI-Geräten. Das Safety and Security Committee im Board der OpenAI Foundation bekommt ungeschwärzte Berichte und kann mit den Prüfern auch unter vier Augen sprechen. Streit zwischen OpenAI und einem Prüfer geht erst an die Safety Advisory Group und die Geschäftsführung, bleibt er ungelöst, entscheidet das Komitee.
Gespräche mit Mitarbeitern laufen off the record. Sie dürfen die Prüfung informieren, aber weder veröffentlicht noch einer Person zugeordnet werden. Will ein Prüfer etwas daraus zitieren, kann er eine von OpenAI bestätigte Aussage anfordern. Lehnt OpenAI die Bestätigung ab, darf der Prüfer das öffentlich machen. Die Prüfer entscheiden selbst, was sie publizieren, OpenAI behält sich aber vor, Vertrauliches zu schwärzen und bei Sicherheitsrisiken eine Verzögerung zu verlangen.
Der Hebel liegt beim Schwärzen
Im September hatte OpenAI seine Prinzipien für Drittprüfungen aufgeschrieben, jetzt gibt es Namen, Aufgaben und Verfahren. Das ist ein echter Schritt, zumal METR an den größten Trainingslauf darf. Wie unabhängig das am Ende wirkt, entscheidet sich an zwei Stellen, die OpenAI selbst in der Hand behält: was geschwärzt wird und wie lange eine Veröffentlichung warten muss. Dass ein Prüfer sagen darf, wenn OpenAI eine Aussage nicht bestätigen will, ist die Gegenkraft dazu. Ob sie trägt, zeigt der erste Bericht.