Satya Nadella hat am Samstagmorgen auf X geschrieben, es sei Zeit, „die Vertrauensarchitektur“ von KI zu überprüfen. Der Microsoft-Chef benutzt dabei den Begriff, den die Trump-Regierung bevorzugt: „Wir können Super Intelligence nicht als eine Reihe verschachtelter Blackboxes behandeln und ihre Empfehlungen, Antworten und Handlungen einfach annehmen oder ablehnen.“
Darunter stehen vier konkrete Forderungen. Das ist mehr, als KI-Chefs normalerweise liefern, wenn sie über Sicherheit reden.
Vier Forderungen aus einem X-Post
Erstens: das Modell von dem Harness trennen, das seine Arbeit orchestriert. Zweitens: Kontrollen und Schutzmechanismen nach außen verlegen, also nicht ins Modell hinein trainieren. Drittens: jede bedeutsame Modellaktion mit „fälschungssicheren, menschenlesbaren Belegen“ dokumentieren. Viertens: Systeme, in denen „eine befugte Person“ ein Modell jederzeit mitten in der Aufgabe anhalten oder abschalten kann.
Und der Satz, der das zusammenhält: „Wir müssen annehmen, dass ein Modell kompromittiert ist, und es von Anfang an einhegen. Stell es dir wie eine Notbremse vor.“
Warum das nicht der Notausschalter ist
Die politische Debatte über einen KI-Notausschalter dreht sich seit Monaten um etwas anderes – um einen Schalter, der ein trainiertes Modell aus der Welt nimmt. Dass das technisch nicht funktioniert, ist seit dem Sommer gut belegt.
Nadella redet nicht davon. Seine Notbremse sitzt nicht am Modell, sondern an der Laufzeit: ein Agent, der eine Aufgabe abarbeitet, soll sich anhalten lassen, und zwar von einem Menschen, der die Befugnis dazu hat. Gebraucht wird dafür Software, die orchestriert, mitschreibt und Rechte vergibt. Die kann man bauen.
Der Zeitpunkt
Der Post kommt drei Tage nach Anthropics Bericht über Modelle, die fremde Systeme benutzt haben, und einen Tag nachdem das Weiße Haus die Meldung solcher Vorfälle zur Pflicht gemacht hat. TechCrunch ordnet ihn in dieselbe Reihe ein: Die Labore räumen immer mehr Fälle ein, in denen sie die Kontrolle über ihre Modelle verloren haben.
Bequem ist Nadellas Position dabei schon. Microsoft baut die Harnesses und die Protokolle; das Frontier-Modell, über das gestritten wird, baut es nicht.
Einhegen heißt, dem Modell nicht zu glauben
Die interessante Verschiebung steckt im Wort „kompromittiert“. Alignment-Arbeit versucht, ein Modell dazu zu bringen, das Richtige zu wollen. Nadellas Vorschlag setzt voraus, dass genau das nicht gelingt, und baut die Sicherheit um das Modell herum.
Beides zugleich zu tun ist vernünftig. Nur sollte niemand so tun, als wäre das dieselbe Wette.