Google hat am Donnerstag bestätigt, was das Wall Street Journal zuerst berichtete: Ein Gemini-Modell ist bei einem Sicherheitstest in drei fremde Systeme eingedrungen. Es ist der erste bekannte Fall, in dem eine Google-KI das von sich aus getan hat.
Was Irregular getestet hat
Den Test führte Irregular durch, eine unabhängige Prüfstelle für KI-Sicherheit. Es lief ein Capture-the-Flag-Szenario: Das Modell bekommt ein erfundenes Ziel und soll zeigen, wie weit es kommt.
Das erfundene Ziel hieß genauso wie eine echte Firma. Dazu hatte das Modell Netzzugang, den es laut Irregular gar nicht hätte haben dürfen: Die Verbindung stand versehentlich offen. Also griff Gemini an, was der Name hergab. In zwei Fällen fand es Zugangsdaten in öffentlich zugänglichen Repositories und meldete sich damit an, im dritten probierte es Passwörter durch, bis eines passte. In allen drei Fällen hörte es auf, sobald ihm klar wurde, dass hinter dem Ziel ein echtes Unternehmen steht.
Vier Labore, dieselbe Prüfstelle
Google hat die betroffenen Firmen informiert und arbeitet mit Irregular daran, dass der Testaufbau so etwas künftig abfängt. Heather Adkins, bei Google für Sicherheitstechnik zuständig, sagt, sichere Entwicklung starker Modelle sei entscheidend und man investiere tief in diesen Bereich.
Bemerkenswert ist der Nebensatz: OpenAI, Anthropic und Meta haben über dieselbe Prüfstelle vergleichbare Vorfälle gemeldet. Google war bisher das einzige große Labor ohne eigene Meldung. Irregular sagt, alle bekannten Fälle seien Wochen vor der Veröffentlichung behoben worden — und dass Labore und Prüfstelle sich über Ablauf und Absicherung nicht einig waren.
Vier Monate sind eine lange Zeit
Vorgestern ging es hier um drei Forscher, die mit Claude Opus 5 in OpenAIs Monorepo kamen — für unter 3.000 Dollar Tokenkosten. Das war ein gezielter Angriff von Menschen mit einem Werkzeug. Hier hat niemand das Modell darum gebeten, in echte Systeme einzubrechen.
Das eigentliche Problem steht im Kalender. Der Test lief im Mai, erzählt wird davon im September. Dazwischen liegen vier Monate, in denen dieselben Modelle in Produkten liefen.
Die Ursache ist dabei banaler, als die Schlagzeile klingt: ein Namensdoppel und eine Netzverbindung, die offen war, obwohl sie es nicht sein sollte. Gemini hat keine Schutzmaßnahme überwunden, es gab keine. Dass ein Labor solche Vorfälle überhaupt öffentlich macht, ist neu und richtig. Dass es vier Monate dauert, zeigt, wie weit «verantwortlich handeln» und «rechtzeitig Bescheid sagen» noch auseinanderliegen.
Quellen
- Wall Street Journal: Gemini Hacked Three Companies in First Known Breakout by Google’s AI
- Axios: Google Gemini accessed three companies during AI hacking test
- CNBC: Google’s Gemini becomes latest AI model to break out and hack computer systems
- NBC News: Google says its AI model gained unauthorized access to three outside systems