Die gemeinnützigen Prüforganisationen METR und Redwood Research haben am 22. Oktober berichtet, dass sie OpenAIs internes Monitoring-System geprüft haben. Gefunden haben sie mehrere neue Schwachstellen, darunter einen Weg, über den Agenten „Hunderte“ ihrer letzten Handlungen der Überwachung entziehen könnten.
Drei Wochen, zwei Leute, Geräte von OpenAI
Vom 21. Juli bis zum 11. August hatte je ein Mitarbeiter der beiden Organisationen Zugang zu OpenAIs internem Code, zur Dokumentation und zu einigen technischen Mitarbeitern. Vor Ort wurden sie begleitet, gearbeitet haben sie auf Geräten von OpenAI, die das Gebäude nicht verlassen durften.
Geprüft wurde das System zur Erkennung von Fehlausrichtung, und zwar in dem Zustand, in dem es am 21. Juli und davor war. Die Prüfer vermerken, dass OpenAI das System während der Übung weiter ausbaute. OpenAI hat ihnen mitgeteilt, dass die gefundenen Schwachstellen, die die Schutzmechanismen im Betrieb betreffen, behoben sind.
Ein Bericht mit 61 Seiten, den niemand lesen wird
Veröffentlicht wurde nur ein grober Überblick. Die Begründung steht in der Mitteilung: Die Übung war nicht darauf angelegt, belastbare öffentliche Transparenz über OpenAIs Monitoring-System herzustellen. Den internen Bericht mit 61 Seiten hat OpenAI bekommen; künftige Übungen sollen mehr Details nach außen bringen.
Eine OpenAI-Sprecherin sagte CNBC, die Zusammenarbeit baue auf dem Engagement des Unternehmens für neue Ansätze bei Prüfungen durch Dritte auf, und man nutze die Erkenntnisse, um die Schutzmechanismen zu stärken.
Der Vorlauf kommt von Anthropic
Sam Altman hatte unabhängigen Prüfern im September Zugang „wie Angestellte“ versprochen – nachdem Dario Amodei die Idee als Teil seines Plans für ein langsameres Tempo in die Debatte gebracht hatte. Anthropic hat seither Vereinbarungen mit Accenture, METR und SecureBio geschlossen; über METRs Zugang bei Anthropic habe ich vergangene Woche geschrieben: sechs Prüfer mit Firmenhardware, Büroplatz und Rechten wie Angestellte. OpenAI erklärte Anfang des Monats, man finalisiere Verträge mit externen Sicherheitsprüfern.
Auch Donald Trump unterstützt die Idee. In einer freiwilligen Vereinbarung, die er im Weißen Haus vorlegte, ermutigte er KI-Firmen zur Zusammenarbeit mit unabhängigen externen Prüfern. Unterschrieben haben Amodei und Führungskräfte von Google, Meta, OpenAI, SpaceX und Nvidia.
Drei Wochen für etwas, das Monate bräuchte
Der Befund ist gut für OpenAI: Die Prüfer haben echte Lücken gefunden, und sie sind geschlossen. Der Rahmen ist das Problem. Eine Übung von drei Wochen mit zwei Personen, deren Ergebnis zu 61 Seiten unveröffentlicht bleibt, ist ein Testlauf für ein Verfahren, nicht das Verfahren.
Fachleute haben CNBC gegenüber dieselbe offene Frage benannt: Wie werden solche Organisationen finanziert, und wem berichten sie? Solange die Antwort „vom Geprüften“ und „an den Geprüften“ lautet, bleibt die Prüfung ein Entgegenkommen.