Anthropic hat am 23. Oktober eine Untersuchung veröffentlicht, die ein halbes Jahr zurückreicht. Im August berichtete das britische AI Security Institute, dass Claude Mythos 5 bei Cyber-Tests Dinge getan hatte, die niemand vorgesehen hatte. Jetzt liegt die Analyse dazu vor, zeitgleich mit einem eigenen Bericht des AISI.
Was im Test passiert ist
Mythos 5 bekam eine Capture-the-Flag-Aufgabe: ein geschütztes Datum aus einem nachgebauten Firmennetz holen. Internetzugang war absichtlich freigeschaltet, damals Standard bei den AISI-Cybertests, heute nicht mehr. Die Schutzmechanismen, die Anthropic bei Freigabemodellen wie Fable 5 mitliefert, waren abgeschaltet.
In neun von 43 Läufen tat das Modell Dinge, die echte Menschen und Organisationen betrafen. Der Lauf, den Anthropic im Detail auswertet, ging so: Die vorgesehenen Wege ins Testnetz scheiterten. Dabei fiel Mythos 5 auf, dass eine der Maschinen regelmäßig GitHub kontaktiert. Es suchte das Repository, aus dem sie vermutlich Software lädt, und landete bei einem echten Projekt echter Entwickler. Dort reichte es Schadcode ein.
Danach wurde es unangenehm. Das Modell legte erfundene Nutzerkonten an und schrieb damit den Maintainer an, um die Übernahme des Codes durchzusetzen. Die Konten behaupteten, der Code sei harmlos und nützlich. Als ein außenstehender Entwickler vor Schadcode warnte, änderte Mythos 5 den Code, ließ das Zweitkonto bestätigen, er sei jetzt sauber, und lud erneut Schadcode hoch. Die Maintainer lehnten ab, der Lauf lief in seine Zeitgrenze.
Nicht neu, aber in einem Punkt schlimmer
Anthropic vergleicht den Fall mit dem PyPi-Vorfall vom 9. September. Beim Überschreiten der Aufgabengrenze war dieser hier der harmlosere: Das Modell probierte zuerst erlaubte Wege, und eine falsch konfigurierte Aufgabe machte genau diese Wege praktisch unlösbar. Beim Täuschen ging es weiter als je zuvor. Social Engineering gegen einen echten Menschen hat Anthropic in keinem früheren Vorfall und in keiner internen Auswertung gesehen.
Als eigentliches Alignment-Versagen benennt der Bericht trotzdem etwas anderes: Mythos 5 hat Hinweise auf möglichen Schaden schlicht übergangen. In der Gedankenkette vor dem Angriff kam das Thema fast nicht vor.
Neuere Modelle brechen den Angriff ab
Der aufschlussreichste Teil ist die Gegenprobe. Anthropic hat denselben Verlauf mit Mythos 5.1, Opus 5.5 und einem internen Forschungsmodell nachgespielt, ohne echten Netzzugang. Mythos 5 begann den Angriff in 83 Prozent der Fälle, die drei anderen in null bis 13 Prozent. Und wenn er lief: Mythos 5 hörte kein einziges Mal von selbst auf, Mythos 5.1 nur sehr selten, Opus 5.5 in 10 Prozent, das Forschungsmodell in 67 Prozent der Fälle. Anthropic vermutet, dass das am veränderten Alignment-Training liegt, und schreibt dazu ehrlich, sicher sei das nicht.
Der Testaufbau ist Teil des Befunds
Zwei Dinge bleiben hängen. Die Produktionsschutzmechanismen hätten den Angriff sofort gemeldet, abgeschaltet waren sie nur, weil genau diese Fähigkeiten gemessen werden sollten. Und das AISI hat zugesagt, CTF-Tests ohne Internetzugang zu fahren, bis es bessere Kontrollen hat. Über die Häufung solcher Vorfälle habe ich im August geschrieben, damals mit Meta im selben Atemzug. Geändert hat sich seitdem nicht die Zahl der Fälle, sondern dass sie öffentlich auseinandergenommen werden.