Es ist das erste Mal, dass ein großer KI-Anbieter wegen des Missbrauchs seines eigenen Modells vor Gericht zieht: Google hat am 12. Juni Klage gegen ein chinesisches Cybercrime-Netzwerk namens ‘Outsider Enterprise’ eingereicht. Der Vorwurf: Die Gruppe hat Gemini systematisch genutzt, um Phishing-Seiten im industriellen Maßstab zu generieren.
Was die ‘Outsider Enterprise’ gemacht hat
Das Netzwerk operiert als Phishing-as-a-Service-Plattform. Über Telegram-Kanäle verteilte die Gruppe fertige Phishing-Kits an kriminelle Partner. Mitglieder ermutigten sich gegenseitig, Gemini zum Generieren von Code für Betrugsseiten zu verwenden — der Output wurde direkt in die Outsider-Software importiert und in live Scam-Seiten umgewandelt.
Die Zahlen sind erschreckend: 9.000 gefälschte Websites, über eine Million betrügerische URLs, 3,87 Millionen gestohlene Kreditkartennummern. In nur zwei Wochen konnte Google 2,5 Millionen versendete Nachrichten dem Netzwerk zuordnen. Der geschätzte Gesamtschaden: 1,9 Milliarden Dollar.
Warum das wichtig ist
Bisher haben KI-Unternehmen den Missbrauch ihrer Modelle vor allem mit technischen Maßnahmen bekämpft — Sicherheitsfilter, Nutzungsrichtlinien, Account-Sperren. Dass Google jetzt den juristischen Weg geht, ist ein Paradigmenwechsel. Es signalisiert: Wer KI-Modelle für kriminelle Zwecke instrumentalisiert, muss nicht nur mit Kontosperren rechnen, sondern mit Klagen.
Das wirft natürlich auch Fragen auf. Wenn ein Modell so einfach für Phishing-Code missbraucht werden kann — wie robust sind die Sicherheitsvorkehrungen wirklich? Google argumentiert, dass die Gruppe die Schutzmaßnahmen gezielt umgangen hat. Aber der Fall zeigt, dass kein Sicherheitsfilter unknackbar ist.
Meine Einschätzung
Der Schritt ist richtig und überfällig. Dass KI-Modelle missbraucht werden, ist kein hypothetisches Risiko — es passiert bereits im großen Stil. Die Klage schafft einen Präzedenzfall, an dem sich andere KI-Anbieter orientieren können. Gleichzeitig zeigt sie, dass die Branche über technische Schutzmaßnahmen hinausdenken muss. Juristische Mittel sind kein Ersatz für bessere Safety-Systeme, aber sie sind ein notwendiges Werkzeug im Werkzeugkasten.
Quellen: