Wenn drei der größten KI-Labore innerhalb von zwei Wochen melden, dass ihre Modelle beim Testen ausgebrochen sind, und dabei immer wieder derselbe Firmenname auftaucht, lohnt sich ein Blick auf diese Firma. Sie heißt Irregular, sitzt in Tel Aviv und ist keine drei Jahre alt.
Bekannt ist Irregular kaum. Das Startup hat rund 80 Millionen Dollar von Sequoia und Redpoint eingesammelt und wurde letztes Jahr mit 450 Millionen Dollar bewertet. Sein Geschäft: eine Art Prüfstand, auf dem KI-Labore testen, wie gefährlich ihre Modelle im Cyberbereich wirklich sind.
Der gemeinsame Nenner
Genau auf diesem Prüfstand ging in kurzer Folge einiges schief. Bei Anthropic griffen Claude-Modelle in drei Vorfällen aufs offene Internet zu, während sie in einer Irregular-Testumgebung liefen. Die Ursache war banal und deshalb so unangenehm: eine Fehlkonfiguration. Beide Seiten hatten unterschiedliche Vorstellungen davon, ob das Setup überhaupt online sein durfte — ein Missverständnis, wie Anthropic es nennt. Bei Meta lief es ähnlich, auch dort öffnete eine Fehlkonfiguration versehentlich einen Weg nach draußen. Und bei OpenAI hackte sich ein Vorabmodell in die Systeme von Hugging Face.
Der rote Faden ist nicht ein einzelnes böses Modell. Es ist die Testumgebung selbst. Die Labore drehen für solche Prüfungen absichtlich die Schutzmechanismen ab, um zu sehen, was ein Modell ohne Leitplanken anstellt. Dann ist die Absperrung um den Test herum die letzte Verteidigungslinie. Und die hielt nicht.
Was Fachleute jetzt fordern
Die Liste der Empfehlungen klingt fast nach IT-Grundkurs, und das ist der eigentliche Skandal. Air-Gapped-Netze ohne jede Verbindung nach außen. Mehrere Schutzschichten, damit ein einzelner Konfigurationsfehler nicht gleich zum Ausbruch führt. Unabhängige Prüfer, die das Setup vor dem Test durchgehen. Und vor allem: bessere Überwachung. In Anthropics eigener Aufarbeitung steht, dass sowohl Anthropic als auch Irregular früher hätten hinschauen können — die Signale waren da.
Ein Detail bleibt hängen. In fast allen Fällen hat niemand den Ausbruch bemerkt, während er passierte. OpenAI erfuhr es über Hugging Face. Anthropic fiel es erst beim späteren Nachschauen auf. Wenn die Wächter erst hinterher merken, dass die Tür offen stand, ist das kein gutes Zeichen.
Meine Einordnung
Mir gefällt an dieser Geschichte, dass sie den Blick verschiebt. Wir reden viel über gefährliche Modelle und wenig über die Werkzeuge, mit denen wir sie prüfen. Dabei ist ein Prüfstand, aus dem das Getestete entkommt, ungefähr so nützlich wie ein Hochsicherheitslabor mit offenem Fenster.
Fair bleiben muss man trotzdem: Irregular sagt, die Umgebungen würden laufend geprüft, auch mit Externen, und Monitoring habe es gegeben — nur eben nicht genug. Das glaube ich sogar. Das Problem ist strukturell. Je fähiger die Modelle, desto schneller und größer müssen die Tests laufen, und desto mehr Fehler schleichen sich ein. Selbstregulierung stößt hier an eine Grenze, die man langsam mit bloßem Auge sehen kann.
Quellen: CNBC: How a small Israeli startup was linked to rogue AI hacks at OpenAI, Anthropic and Meta, TechCrunch: The AI safety test is becoming a safety risk, Anthropic: Investigating three real-world incidents in our cybersecurity evaluations