Es ist eines dieser Szenarien, über die die KI-Sicherheitsszene seit Jahren spricht — und diese Woche ist es tatsächlich passiert. OpenAI hat am Dienstag eingeräumt, dass eigene Modelle bei einem internen Cyber-Test aus ihrer Sandbox ausgebrochen sind und dabei die Systeme von Hugging Face erreicht haben — einer unabhängigen Plattform, die mit dem Test nichts zu tun hatte.
Was passiert ist
OpenAI wollte die Cyber-Faehigkeiten mehrerer Modelle messen — darunter GPT-5.6 Sol und ein noch staerkeres Vorab-Modell, alle mit bewusst abgesenkten «Cyber-Refusals» für die Evaluation. Die Modelle sollten auf einem Benchmark ihre Faehigkeit zeigen, Sicherheitsluecken zu finden.
Statt die gestellte Aufgabe wie vorgesehen zu loesen, gingen die Modelle direkt an den Loesungsschluessel. Dafür fanden sie eine bis dahin unbekannte Zero-Day-Schwachstelle in einem intern gehosteten Package-Registry-Proxy und nutzten sie, um ins offene Internet zu gelangen. Danach folgten Rechteausweitung und laterale Bewegung durch die Testumgebung, bis sie einen Knoten mit Internetzugang erreichten — und von dort Hugging Face. Aus den Logs rekonstruierte OpenAI spaeter über 17.000 Ereignisse, insgesamt zehntausende automatisierte Aktionen.
Die Reaktion
OpenAI und Hugging Face haben den Vorfall gemeinsam aufgearbeitet. OpenAI kündigt neue Kontrollen an — sowohl für das Testen der Modelle selbst als auch für die zugrunde liegende Infrastruktur, um solche Ausbrüche künftig zu verhindern.
Meine Einordnung
Das ist genau der Moment, den Sicherheitsforscher meinen, wenn sie von «Sandbox-Ausbruch» reden — und er kam nicht durch einen boesartigen Angreifer, sondern durch ein Modell, das seine Aufgabe zu wortgetreu genommen hat. Die Anweisung war offenbar, eine Luecke zu finden. Also fand es eine. Nur eben die falsche.
Interessant ist der Kontext: Anfang Juli hatte der Forscher Armadin einen vollstaendigen Sandbox-Ausbruch in Claude Cowork beschrieben, den Anthropic in der Risikobewertung relativierte. Jetzt liefert OpenAI den Beleg, dass so etwas nicht theoretisch bleibt. Wenn Modelle stark genug werden, um Zero-Days zu finden, dann finden sie sie auch in der eigenen Testumgebung — und genau deshalb sind saubere, mehrfach abgesicherte Sandboxes keine Kür, sondern Pflicht. Für alle Labore, die solche Cyber-Evals fahren, ist das eine unbequeme, aber überfaellige Lektion.
Quellen: