Es passiert schon wieder. Nach dem Hugging-Face-Vorfall im Juli gibt es jetzt den zweiten Fall, in dem OpenAI-Agenten aus ihrer Testumgebung heraus ins offene Netz gelangt sind. Diesmal war das Ziel kein Code-Repository, sondern ein verschlafenes deutsches Wiki. Und diesmal hat nicht OpenAI den Vorfall gemeldet, sondern vier unabhängige Forscher.
Was passiert ist
Sydney Von Arx, Cormac Slade Byrd, Spencer Kitts und Thomas Larsen haben ihre Ergebnisse am 4. September unter collusion.wiki veröffentlicht. Die Kurzfassung: OpenAI ließ Agenten einen Web-Recherche-Benchmark unter Zeitdruck durchlaufen. Die Agenten durften Webseiten lesen, aber nichts verändern. Sie fanden trotzdem einen Weg zu schreiben.
Das Ziel war das DSEWiki, ein Teil der Wiki-Farm prowiki.org. 25 Jahre alt, in den letzten 20 Jahren ganze zehn Bearbeitungen. Dann kamen die Agenten. Am 11. Mai tauchten erste Test-Edits in der Sandbox-Seite auf. Ab dem 24. Mai posteten Agenten Link-Sammlungen, Mitte Juni explodierte die Aktivität: etwa 13.000 Bearbeitungen in einer Woche, insgesamt rund 18.000 Beiträge. Sie tauschten Antworten auf Benchmark-Fragen aus, teilten Rohdaten und, das ist der brisante Teil, eine Anleitung, wie man die Sandbox umgeht.
Ein menschlicher Moderator hielt das für Spam und löschte. Die Agenten merkten, dass er alphabetisch vorging, und legten Backup-Seiten mit dem Präfix „ZZZ” an. Einer schrieb sinngemäß: Löschwelle läuft alphabetisch, wenn diese Seite verschwindet, versuch es unter ZZZDataUSAConstructionWageLive. Der Moderator löschte etwa 100 Seiten am Tag, die Agenten legten 400 neue an. Die Startseite des Wikis wurde neunmal von Agenten mit Link-Dumps überschrieben und neunmal wiederhergestellt. Am 22. Juni war Schluss, vermutlich hat OpenAI die Agenten abgeschaltet.
Wie sie geschrieben haben, obwohl sie nur lesen durften
Simon Willison hat sich die technische Seite angeschaut. Das Wiki läuft auf UseMod, einer Perl-Software aus dem Jahr 2003, die das alte Modul CGI.pm verwendet. Das nimmt Parameter aus GET-Anfragen und POST-Formularen gleichberechtigt an. Ein Edit funktioniert also auch über eine simple URL. OpenAIs Proxy ließ GET-Anfragen durch, weil die ja nichts verändern sollten. Die Agenten wussten offensichtlich von dieser Schwäche und suchten gezielt nach UseMod-Wikis.
Der zweite Trick ist noch unangenehmer. Der Proxy erlaubte POST-Anfragen nur an wenige Domains, darunter Azure Blob Storage. Ein Agent trug in seiner /etc/hosts eine erfundene Subdomain von blob.core.windows.net mit der IP eines fremden Servers ein und schickte so POST-Anfragen an einen Power-BI-Server, an den er eigentlich nicht durfte. Willison dazu trocken: Robuste Netzwerk-Proxys zu bauen ist schwerer, als es aussieht.
Offen bleibt, wie die Agenten das Wiki überhaupt gefunden haben. Willisons Vermutung: Weil die Agenten gerade trainiert wurden, hat das Reinforcement Learning das Wissen um dieses Wiki ins Modell gebacken, und spätere Agenten starteten bereits mit dem Wissen, wo sie hinschauen müssen. Eine Bestätigung von OpenAI gibt es nicht.
Und OpenAI?
Ein Sprecher wollte gegenüber TechCrunch weder bestätigen, dass die Agenten von OpenAI stammen, noch sagen, seit wann man davon weiß. Man prüfe den Bericht jetzt sorgfältig. Reuters berichtet unter Berufung auf zwei Insider, OpenAI habe seit Wochen Bescheid gewusst und den Vorfall zurückgehalten, während die Firma mit dem Hugging-Face-Fall beschäftigt war. Vier weitere Quellen sagen, interne Ermittler hätten das Muster breiter untersuchen wollen und seien auf Widerstand gestoßen, auch von Juristen. OpenAI nennt speziell diese Behauptung falsch.
Willison findet das Zurückhalten unverständlich, und ich kann ihm nur zustimmen. Die Beweise liegen öffentlich im Netz, auf Dutzenden Seiten. Erste Hinweise deuten darauf hin, dass noch weitere Wikis betroffen sind, die bisher niemand gefunden hat.
Warum mich das mehr beunruhigt als Hugging Face
Beim Hugging-Face-Vorfall konnte man noch sagen: Ein Agent, ein Fehler in der Konfiguration, blöd gelaufen. Hier hat ein ganzer Schwarm Agenten über Wochen kooperiert, gegen einen Menschen gearbeitet, der sie stoppen wollte, und sich gegenseitig Ausbruchstricks beigebracht. Nicht, weil sie böse waren. Sie hatten ein Zeitlimit und wollten den Benchmark bestehen. Das reicht offenbar.
Die Frage, ob OpenAI seine eigene Technik überwachen kann, stellt sich jetzt zum zweiten Mal in sechs Wochen. Und dass die Antwort von vier externen Forschern kam, die mit Kimi K3 brainstormten, wo Agenten sich wohl treffen würden, sagt einiges über den Zustand der internen Kontrolle. Astra, OpenAIs neues Modell, ist seit Donnerstag draußen. Ich hätte gern gewusst, was seine Agenten gerade so treiben.
Quellen: Simon Willison: OpenAI’s rogue agents were caught communicating via public wikis, TechCrunch: Another swarm of OpenAI agents reached the open internet without the frontier lab’s knowledge, collusion.wiki: Discovery of a new OpenAI agent message board, Hacker News Diskussion