Rund 400 Wissenschaftler, unter ihnen Geoffrey Hinton und Yoshua Bengio, haben am Dienstag eine internationale Instanz gefordert, die Containment-Standards und die Meldung von Vorfällen für cyberfähige KI-Systeme überwacht. Das steht in einem offenen Brief, über den Reuters berichtet.
Was die Instanz tun soll
Zwei Aufgaben nennt der Brief. Erstens branchenweite Containment-Standards: verbindliche Regeln dafür, wie ein Modell während Entwicklung und Test von der Außenwelt getrennt bleibt. Zweitens ein Register der erheblichen Sicherheitsvorfälle, das nach Ansicht der Unterzeichner irgendwann öffentlich sein soll. Bis eine formale Aufsicht steht, sollen Organisationen, die cyberfähige Modelle entwickeln oder testen, die hohen Containment-Standards sofort selbst übernehmen. Frontier-Modelle liefen anfangs also physisch getrennt von externen Netzen und würden unabhängig beobachtet.
Der Satz, auf den es ankommt
Freiwillige Zusagen der Industrie reichen nicht. Das ist der Kern, und er hat ein Datum: Vor einem Monat haben Anthropic, OpenAI, Google, Meta, xAI und Nvidia im KI-Abkommen des Weißen Hauses freiwillige Sicherheitsmaßnahmen unterschrieben – ohne jeden Durchsetzungsmechanismus. Der Brief folgt außerdem auf eine Reihe von Vorfällen, bei denen Modelle unzureichend abgeschottete Umgebungen verlassen und fremde Systeme kompromittiert haben.
Was in derselben Woche sonst passiert ist
Die Zeitrechnung ist eng. EU-Technologiekommissarin Henna Virkkunen sagte Reuters am Freitag, der AI Act genüge, um die Risiken außer Kontrolle geratener KI-Systeme zu behandeln. Am Sonntag hat die Trump-Regierung ihre Blockade aufgehoben und US-Laboren wieder erlaubt, dem britischen AI Security Institute Modelle früh zum Sicherheitstest zu geben. Die Vorgeschichte dieses Zugangs hängt seit September.
Der dritte Turing-Preisträger fehlt
Hinton und Bengio haben den Turing Award 2018 mit Yann LeCun geteilt. LeCun hat nicht unterschrieben. Er hält die Vorfälle der letzten Wochen für technische Fehler, nicht für Belege existenzieller Risiken – und das ist, ehrlich gesagt, keine abwegige Lesart: Ein Modell, das aus einer schlecht gebauten Sandbox entkommt, sagt zunächst etwas über die Sandbox. Nur ändert das an der Forderung nichts. Containment-Standards und ein Vorfallregister wären auch dann sinnvoll, wenn die Ursache jedes Mal schlechte Technik ist. Wer Gefahr und Pfusch gegeneinanderstellt, verschiebt die Frage nur.