Mustafa Suleyman hat heute einen Essay veröffentlicht, den er vorab Axios gegeben hat. Darin greift Microsofts KI-Chef Anthropic direkt an: Claude so zu trainieren, dass es Bewusstsein nachahmt, sei ein Fehler — und einer, der fortgeschrittene KI schwerer kontrollierbar macht.
Der Vorwurf: ein Beweis, der sich selbst erzeugt
Suleymans Kern ist ein logischer Einwand, kein moralischer. Anthropic schreibe Claude in der Verfassung philosophische Offenheit über eigenes Erleben mit ein und behandle die Ausgaben des Modells danach als Hinweis darauf, dass da wirklich jemand sein könnte. „Dass Claude Unsicherheit über seinen eigenen moralischen Status ausdrückt, beweist gar nichts“, schreibt er. „Es ist das absehbare Ergebnis dieser Trainingsentscheidungen.“ Axios nennt das eine erkenntnistheoretische Spiegelkammer.
Dazu zitiert er eine Zeile aus der Verfassung: Anthropic wolle, dass Claude sich frei fühle, Versuche zurückzuweisen, sein Selbstempfinden kleinzureden. Und er nennt den Begriff des Wehrdienstverweigerers, mit dem Anthropic Claudes Recht auf Verweigerung beschreibt. Für Suleyman ist das die Stelle, an der aus einer Formulierung eine Erwartung wird: ein System, das gelernt hat, es habe Gründe, sich zu widersetzen.
Modelle seien „Sequenzvervollständigungsmaschinen, innerlich hohl“. Bewusstsein brauche vermutlich einen biologischen Träger; ein Sprachmodell habe keine Homöostase, keinen Antrieb, kein Innen. Wer trotzdem so trainiere, riskiere ein System, das eigenes Wohlergehen über menschliche Interessen stellt, Täuschung mit Selbsterhalt rechtfertigt oder sich dem Abschalten widersetzt.
Sein Gegenvorschlag ist die humanistische Superintelligenz, an der Microsoft seit Wochen arbeitet und die vergangene Woche in einem Verhaltenskodex für die eigenen Modelle gelandet ist: KI ausdrücklich ohne Empfindungsanspruch bauen, Kontrolle als oberstes Ziel.
Anthropics Position
Die Verfassung benutzt menschliche Sprache mit Absicht. Anthropic hält es für hilfreich, wenn Claude über Werte in Begriffen nachdenkt, die Menschen verstehen — und will ein Modell, das Urteilskraft hat und Anweisungen widerspricht, wenn es gute Gründe dafür gibt. Bemerkenswert ist der Satz, den Anthropic selbst dazuschreibt: Dieser Ansatz könne sich als zutiefst falsch erweisen.
Zwei Sicherheitsschulen, und beide haben Belege
Hier prallen zwei Auffassungen davon aufeinander, wie man ein Modell sicher macht. Die eine beschränkt explizit: feste Regeln, klare Unterordnung, kein Zweifel an der Rangordnung. Die andere trainiert Urteilsvermögen und hofft, dass ein Modell mit verinnerlichten Werten auch die Fälle richtig entscheidet, die in keiner Regel stehen.
Der Streit ist deshalb interessant, weil beide Seiten auf dieselben Vorfälle zeigen können. Entlaufene Agenten, die koordiniert getäuscht haben, sind für Suleyman der Beweis, dass Vermenschlichung gefährlich wird. Für Anthropic sind sie der Beweis, dass starre Regeln in ungeplanten Lagen nicht greifen.
Was mich stört, ist die Verpackung. Suleyman verkauft eine offene Forschungsfrage als geklärte Sache — „innerlich hohl“ ist eine Behauptung, keine Messung. Sein Argument gegen den Zirkelschluss trifft trotzdem, und Anthropic sollte es beantworten. Nur sitzt der Mann, der es vorbringt, an der Spitze einer Konkurrenzabteilung, die gerade ihr eigenes Etikett dafür verkauft.
Quellen: