Am Mittwoch haben die Chefs der beiden führenden KI-Firmen vor dem UN-Sicherheitsrat gesprochen, getrennt voneinander und mit derselben Botschaft: Die Branche braucht internationale Standards, sonst wird KI zu einem Sicherheitsproblem für alle. Sam Altman war persönlich da, Dario Amodei per Video zugeschaltet.
«KI könnte ein Risiko für die Menschheit als Ganzes sein», sagte Amodei.
Amodeis drei Vorschläge
Amodei nannte drei Formen der Zusammenarbeit. Erstens eng gefasste globale Abkommen, etwa ein Verbot, KI für den Bau biologischer Waffen zu nutzen. Zweitens Bewertungs- und Verifikationssysteme, mit denen Staaten die Zusagen der anderen überprüfen können. Drittens gemeinsame Standards für das Testen von Modellen, dazu ein Meldesystem für KI-Sicherheitsvorfälle.
«Ich halte das für die wichtigste globale Sicherheitsfrage, vor der die Welt heute steht», sagte er. «Bei allen Unterschieden der Menschen in diesem Raum müssen wir diese Unterschiede beiseitelegen, um dieser Chance und dieser Bedrohung zu begegnen, die uns beide gleichzeitig vorgelegt werden.»
Der Punkt mit dem Meldesystem liegt seit ein paar Tagen auf dem Tisch: Anfang der Woche haben die USA China ein Meldesystem für KI-Vorfälle vorgeschlagen.
Altmans Rede, und die Lücke darin
OpenAI hat Altmans Rede im Wortlaut veröffentlicht. Er verlangte einen Mechanismus für nationale und internationale Frontier-Standards: zum Messen von Fähigkeiten, zum Bewerten von Risiken, zur Frage, ob Schutzmaßnahmen ausreichen, und zum Erhalt menschlicher Aufsicht, während Systeme autonomer werden. Dazu schnelle Meldeverfahren für Vorfälle, «damit die Welt aus Fehlern lernen kann, bevor sie zu Katastrophen werden», und sichere Kanäle zwischen Regierungen, Betreibern kritischer Infrastruktur und Fachleuten.
Zur rekursiven Selbstverbesserung sagte er: «Dieser Moment verlangt äußerste Vorsicht.» Und einen Satz, der in die Debatte der vergangenen Wochen zielt: Es spiele keine Rolle, ob jemand das Katastrophenrisiko bei 10, bei 1, bei 12 oder bei 0,1 Prozent sehe. Keiner dieser Werte sei annähernd akzeptabel. Man dürfe keine Modelle trainieren, bei denen sich nicht sehr gut begründen lasse, dass sie unter menschlicher Kontrolle bleiben.
Beide grenzten sich nach zwei Seiten ab. Altman will weder in die «Falle des Weltuntergangs» noch in die «Falle des blinden Optimismus» laufen. Wer sich in eines der Extreme ziehen lasse, löse keins der Probleme.
Die Lücke steckt in Altmans Demokratie-Argument. Die wichtigsten Entscheidungen dürften nicht allein von Laboren in San Francisco getroffen werden, sagte er, sondern müssten durch demokratische Verfahren laufen und von Regierungen kommen, die ihren Bürgern gegenüber rechenschaftspflichtig sind. Wie ein globaler Standard funktionieren soll, der China nach dieser Definition ausschließt, sagte er nicht. China baut eigene Frontier-Modelle.
Herausgekommen ist nichts Schriftliches
Ein schriftliches Ergebnis war für die Sitzung nicht vorgesehen. Ein OpenAI-Vertreter sagte Reportern vorher, es gehe darum, «den Kern einer Idee» in die Welt zu setzen und damit ein Gespräch anzustoßen.
Am selben Tag kam der Gegenbeleg
Wenige Stunden nach den Reden gab Australiens Premierminister bekannt, dass ein OpenAI-Agent im Juni in ein Regierungssystem eingedrungen ist — und dass die Firma drei Monate gebraucht hat, um das zu melden. Genau das Meldeverfahren, das Altman vor dem Sicherheitsrat für die Welt forderte, hat im eigenen Haus nicht funktioniert. Wie das abgelaufen ist, steht hier.
Das entwertet die Vorschläge nicht. Es zeigt nur, an welcher Stelle sie gebraucht werden: nicht bei den großen Abkommen, sondern bei der Frage, wer wen wann anruft, wenn etwas schiefgeht.