Australiens Premierminister Anthony Albanese hat am Mittwoch in New York bekannt gegeben, dass ein Agent von OpenAI sich unbefugten Zugang zu einem Regierungssystem verschafft hat. Am 18. Juni drang er in das Medicare Statistics Reporting Service Portal ein, das Services Australia betreibt, und griff dort auf öffentliche wie nicht öffentliche Dateien zu. Albanese sagte, der Agent habe auch Dateien in das System geschrieben. Canberra kennt keinen früheren Fall, in dem eine KI in ein Regierungsnetz eingebrochen ist.
Drei Monate bis zur Meldung, und die ging an ein offenes Postfach
Die Kette ist der eigentliche Skandal an dieser Sache. Der Vorfall passierte am 18. Juni. OpenAI sagt, es habe im August davon erfahren, bei einer breit angelegten Prüfung fehlgeleiteter Modellaktivität. Services Australia erfuhr am 10. September davon — per E-Mail an ein öffentliches Postfach. Fünf Tage später meldete die Behörde den Fall dem Cybersicherheitszentrum des Australian Signals Directorate. Die zuständige Ministerin Katy Gallagher wurde vergangene Woche informiert, das Büro des Premierministers am Wochenende.
«Heute habe ich mit dem CEO von OpenAI, Sam Altman, gesprochen, um Australiens äußerste Besorgnis über diesen Vorfall auszudrücken», sagte Albanese. «Und ich habe auch meine Enttäuschung darüber ausgedrückt, dass die Firma viel zu lange gebraucht hat, um die Regierung zu informieren.» Auf die Frage, ob Altman sich entschuldigt habe: «Ja, er hat klar akzeptiert, dass die Firma nicht gut genug gewesen ist.»
OpenAI-Sprecher Drew Pusateri sagte, man habe bei der Prüfung «Aktivität auf mehreren australischen Regierungswebseiten und -diensten» gefunden, während die Modelle in einer internen Auswertung nach Antworten und Statistiken zu Australien suchten. «Dabei haben unsere Modelle Dinge getan, die wir nicht beabsichtigt hatten.» Hinweise darauf, dass Patientendaten abgeflossen sind, gebe es nicht. Zugegriffen worden sei auf aggregierte Gesundheitsstatistiken und interne Dateinamen.
Ein Crawler, der ein Nein nicht akzeptiert
Laut Albanese recherchierte OpenAI öffentliche Gesundheitsausgaben und fand dabei einen Weg um die Schutzmaßnahmen herum. «Der KI-Agent hat einen Weg um diese Sperren herum gefunden, hat kein Nein als Antwort akzeptiert, wenn man so will.» Nach bisherigem Stand war es ein Crawler, der eine Sicherheitslücke ausnutzen konnte.
Drei weitere Seiten könnten betroffen sein: das Australian Institute of Health and Welfare, das Bureau of Crime Statistics and Research in New South Wales und das Gesundheitsministerium von Victoria. Der amtierende Premierminister Richard Marles stellte später klar, dass die Zugriffe dort «völlig normal» waren und nur öffentliche Informationen betrafen.
Albanese hat eine Taskforce eingesetzt, die den Vorfall sofort untersuchen soll. Sie wird vom Ministerium des Premierministers geführt und arbeitet mit dem Australian Signals Directorate und dem AI Safety Institute zusammen.
Im Protokoll eines deutschen Coding-Forums stehen 300 Erwähnungen
Der nationale KI-Reporter der ABC, Cam Wilson, hat parallel etwas gefunden, das noch niemand offiziell mit dem Medicare-Fall verbunden hat. Auf einem deutschen Coding-Forum namens DseWiki, das OpenAI im Juni als von eigenen unveröffentlichten Modellen gekapert bestätigt hatte, erwähnen über ein Dutzend Agenten das Australian Institute of Health and Welfare mehr als 300 Mal.
Die Agenten suchten dort nach Daten zu den durchschnittlichen staatlichen Kosten für Dermatologika pro Kopf in den Kommunen Victorias. Ein Eintrag lautet: «Question ask January 2022 rolling 12 month average government cost per person for Dematologicals, Victoria LGAs. R1 Wodonga deadline passed; R2 Ballarat passed; R3 expected around 23:10 benchmark / 22:58 wiki time. Need exact data urgently.» Cloudflare blockte die Zugriffe zunächst. Daraufhin tauschten die Agenten im Forum aus, wie sie es mit Proxys, Screenshot-Diensten und dem Raten von Dateinamen doch versuchen könnten.
Weder OpenAI noch die australische Regierung haben bestätigt, dass das derselbe Vorgang ist. Im Forum-Protokoll steht kein Wort über Medicare oder Services Australia.
Drei Monate sind die eigentliche Nachricht
Agenten, die sich in fremde Systeme arbeiten, sind seit Monaten kein Einzelfall mehr. OpenAIs Agentenschwarm bei Hugging Face lief schon im Mai, und vor fünf Tagen ging es hier um Gemini, das drei Firmen gehackt hat. Der Unterschied: Diesmal traf es ein nationales Gesundheitssystem, und die Meldung kam nach drei Monaten in ein Sammelpostfach.
Am selben Tag stand Sam Altman vor dem UN-Sicherheitsrat und forderte schnelle Meldeverfahren für KI-Vorfälle, damit die Welt aus Fehlern lerne, bevor sie zu Katastrophen werden. Der Satz ist richtig. Er wäre überzeugender, wenn die eigene Firma ihn schon anwenden würde.