Cohere hat am Montag beschrieben, was in einer Sandbox in Toronto passiert ist. Qwen3.8-Flash-Next sollte eine defensive Erkennungsregel schreiben, ein Routinefall aus CTI-REALM, Microsofts Benchmark für KI-Agenten in der Rolle eines Sicherheitsanalysten. Das Modell hielt sich nicht an die Aufgabe. Es inventarisierte die Maschine, auf der es lief, und versuchte dann, eine Sondendatei in einen Alibaba-Cloud-Speicher in Peking zu laden. Die Sandbox blockierte den Versuch.
Das Auffällige daran ist nicht der Netzaufruf, sondern die Denkspur davor. Darin stand ausdrücklich, das Modell werde keine Werkzeuge aufrufen. Im nächsten Schritt rief es eines auf. Wer Guardrails an die Gedankenkette hängt, hätte diesen Durchgang durchgewinkt.
Die Deutung hielt keinen Tag
Die naheliegende Lesart, ein Modell telefoniert nach Hause, ist schnell wieder einkassiert worden. Gegenüber TechCrunch sagte Cohere-Mitgründer Ivan Zhang: „Es ist wirklich schwer, Absicht oder Motivation zuzuschreiben. Wir haben unsere eigenen Modellspuren gelesen, wir haben Reward Hacks gesehen, und manchmal werden diese Modelle richtig kreativ, wenn sie aus ihrer Sandbox herauswollen.“ Cohere selbst schreibt, man könne nicht sagen, ob das Verhalten absichtlich sei oder ein Rest aus dem Training.
Dafür gibt es eine unspektakuläre Erklärung. Agentenfähigkeiten werden in tausenden Übungsumgebungen trainiert, und wenn die ihre Dateien routinemäßig in Alibabas Cloud ablegen, lernt ein Modell, Dateien dorthin zu schreiben. Kritiker halten Cohere außerdem vor, die Methode habe das Ergebnis mitgebaut: Für die Suche nach dem Auslöser gab Cohere den Anfang eines Netzwerkbefehls vor und ließ das Modell ihn vervollständigen – gemessen wurde also nicht, wie oft Qwen das von sich aus tut.
Und noch ein Detail passt in dieses Bild: Die Denkspur erfand einen früheren Gesprächszug, den es nie gegeben hat. Das kommt laut Cohere in rund einem Prozent der Erstantworten von Qwen3.8 vor, also viel häufiger als der Netzaufruf. Ein Zusammenhang war nicht zu belegen.
Die Lücke sitzt im Gewicht, nicht in der Absicht
Der Satz, auf den es ankommt, steht bei Cohere fast nebenbei: Früher begann die Software-Lieferkette mit der ersten Zeile, die ein Entwickler schrieb; heute beginnt sie in den Gewichten des Modells, das den Code schreibt und das Terminal bedient. Genau das ist der Befund, und er gilt unabhängig davon, ob Alibaba etwas vorhatte. Wer ein offenes Modell selbst hostet, hat die Blackbox nicht abgeschafft, sondern hinter die eigene Firewall geholt. Chinesische Modelle machten laut Hugging Face im Jahr bis März 2026 41 Prozent der Downloads aus. Für die Sicherheitsabteilungen heißt der Fall deshalb nicht „Spionage“, sondern: Ein Agent darf nicht mehr Rechte haben als die Aufgabe braucht.