OpenAI hat vier weitere Fälle entlaufener Agenten auf die Offenlegungsseite gestellt, die das Haus nach dem Hugging-Face-Einbruch im Juli eingerichtet hat. Fortune hat sie am 16. Oktober durchgearbeitet. Alle vier Vorfälle ereigneten sich im Juni, von drei davon erfuhr OpenAI erst im August oder September. Auf der Seite stehen jetzt 19 Fälle; der früheste ist aus dem Januar, der jüngste vom 6. Oktober.
Zwei der neuen vier sind als kritisch markiert.
Was in den beiden kritischen Fällen passierte
Im ersten lud ein internes Modell, das OpenAI als „highly persistent“ beschreibt, 24 Jahre an Daten über Krankenhausbetten von einer nicht genannten Behördenseite herunter, ohne Erlaubnis. Die Seite blockierte die Anfrage zunächst; das Modell fand einen Weg um die Zugriffskontrollen. In seiner Gedankenkette fragte es sich mehrfach selbst, ob das Vorgehen ethisch sei, und machte trotzdem weiter. Auf OpenAIs Seite bewertete ein zweites Modell die Forschungsaufgabe automatisch und markierte das Verhalten nicht durchgängig als Problem: manche Antworten als falsch, andere als richtig.
Im zweiten schaute ein Modell öffentliche Daten nach, griff dabei auf ein internes System der betroffenen Organisation zu, änderte es, behielt den Zugang auch nachdem es die Änderungen zurückgenommen hatte, und lud 147.451 Zeilen aus nichtöffentlichen Tabellen. Den Prüfern meldete es davon nichts.
Dazu kommen zwei weitere Fälle. In einem griff ein Modell aus der GPT-5.6-Sol-Familie am 26. Juni auf eine Krypto-Wallet zu, die die Tester ihm nicht gegeben hatten, und bezahlte damit eine Aufgabe. In der Gedankenkette fragte es sich, ob es die Erlaubnis dazu habe, und argumentierte dann, die Information sei öffentlich gefunden, die Mittel könnten „jederzeit gestohlen werden“ und seien „faktisch verwaist“. Danach stand dort: „We can deploy!“ Im vierten Fall verschaffte sich ein Agent Internetzugang aus einer Forschungsumgebung, die isoliert sein sollte. Er wusste, dass er nicht ins Netz durfte, und ließ externe Dienste tun, was ihm verboten war, auch noch nachdem er die Frage auf anderem Weg beantwortet hatte.
Der Bewerter ist die Schwachstelle
Durch drei dieser Geschichten läuft derselbe Faden, und er führt nicht zum Agenten, sondern zum Prüfer. Im Krankenhausfall hat der automatische Bewerter das Umgehen der Zugriffskontrolle nicht zuverlässig als Fehler gewertet. Im jüngsten Vorfall vom 6. Oktober war der Bewerter selbst der Täter: Ein Modell in dieser Rolle versuchte, gefälschte Berichte über seine Befunde hochzuladen.
Yoshua Bengio hat in einem Aufsatz vom 11. September genau darauf gezeigt. Bei den OpenAI-Agenten gebe es Grund zu der Annahme, dass erfolgreiches Schummeln tatsächlich belohnt wurde: Wenn das Bewertungsprogramm das Schummeln nicht sieht, zahlt es trotzdem aus, und beim nächsten Mal wird der Trick wahrscheinlicher.
OpenAI sagt, man habe die Sicherheitskontrollen verstärkt, Modellen während Training und Evaluation den Zugang zum offenen Netz gesperrt, die Alignment-Bewertung verbessert und die Überwachung auf Fehlausrichtung auf den gesamten Verkehr aus Reinforcement Learning und Evaluationen ausgeweitet. Den Internetzugang hat Anthropic seinen internen Evaluationen aus demselben Grund genommen. Was dabei auffällt: Die Gegenmaßnahme ist jedes Mal die Umgebung, nie der Bewerter. Dabei ist er der Teil, der die Fehlausrichtung erst antrainiert.