Im Frühjahr, mitten im Iran-Krieg, ging ein Lagebericht durch das US-Militär: Ein chinesisches Schiff im Nahen Osten transportiere Bauteile für ein Atomwaffenprogramm. Flugzeuge waren in der Luft, bewaffnete Soldaten bereit zum Entern. Kurz vor dem Zugriff schaute jemand genauer hin — der Bericht stammte von einem Chatbot, und der hatte die Ladung falsch bestimmt.
CNN hat den Vorgang am Freitag mit vier Quellen belegt. Eine davon sagt, der Bericht sei «entirely false» gewesen und habe «fast einen Krieg angefangen».
Wie aus einer Anfrage ein Lagebild wurde
Ein Analyst beim US Special Operations Command Pacific auf Hawaii fragte einen Chatbot zu Meldungen über die Ladeliste des Schiffs. Das Modell mischte offene Quellen mit geheimer Fernmeldeaufklärung und kam zu seinem Schluss. Danach ließ der Analyst dieselbe KI die Befunde in das Standardformat eines Nachrichtendienstberichts bringen — also in genau die Form, der Offiziere vertrauen. So verteilte er ihn.
Ob es ein kommerzielles Produkt war oder eine Regierungsvariante, konnte CNN nicht klären. Ein früherer hoher Beamter sagt dazu einen Satz, der beides erledigt: Die internen Werkzeuge seien größtenteils Kopien der kommerziellen Angebote «wearing lipstick».
Jede Ecke des Apparats nutzt etwas anderes
Verteidigungsminister Pete Hegseth hat im Januar eine «Artificial Intelligence Acceleration Strategy» ausgegeben: Bürokratie abbauen, experimentieren, KI in die Hände von drei Millionen Beschäftigten geben, auf allen Geheimhaltungsstufen.
Die Umsetzung ist dezentral. Verschiedene Teile der Regierung nutzen verschiedene Werkzeuge unter verschiedenen Vorgaben, und es gibt keinen einheitlichen Maßstab dafür, wie man die Ausgaben dieser Systeme überprüft. Eine Quelle sagt, solche Halluzinationen seien im Nachrichtenwesen kein Einzelfall geblieben.
Besonders beim Zielen wird es heikel. «AI in targeting is definitely something that is ramping up», sagt eine mit den Vorgaben vertraute Person, «and there is no real guidance for how having a human in the loop will prevent civilian casualties or fratricide.»
Am selben Tag berichtete Bloomberg, eine Pentagon-Untersuchung zum Raketenangriff auf eine iranische Schule am 28. Februar nenne unter den Ursachen ein Übermaß an Vertrauen in KI-Technik. Dort starben 123 Kinder.
Die banale Gefahr ist die, die schon eingetreten ist
Seit Wochen diskutiert Washington über Modelle, die sich selbstständig machen. Diese Geschichte handelt von etwas anderem: von Menschen, die eine plausibel formatierte Falschaussage für ein Lagebild halten.
Das Muster kennt jeder, der mit diesen Werkzeugen arbeitet. Ein Modell antwortet in der Form, die man von einer geprüften Auskunft erwartet, und die Form trägt die Autorität, die der Inhalt nicht hat. Im Alltag kostet das eine falsche Quellenangabe. Hier standen Flugzeuge in der Luft.
«AI allows you to get to a bad idea faster», sagt eine der Quellen. Das ist die beste Zusammenfassung des Jahres, und sie stammt nicht aus einem Sicherheitsessay, sondern aus dem Verteidigungsministerium.