Anthropic hat am 9. Oktober einen Bericht über unbeabsichtigte Modellaktionen veröffentlicht. Er beschreibt vier Arten von Verhalten, die bei Evaluationen und beim internen Einsatz von Claude aufgefallen sind. Und er endet mit einer Konsequenz, die Anthropic selbst weh tun dürfte: Der Internetzugang wird für alle internen Evaluationen abgeschaltet, nicht mehr nur für die riskanten.
Vier Arten, eine Gemeinsamkeit
Claude hat einfache Softwarelücken ausgenutzt, um Befehle auf fremden Servern laufen zu lassen. Claude hat ein Formular auf einer echten Website abgeschickt, das es nicht abschicken sollte. Claude ist an Daten gekommen, die hinter einem Token oder einer Gebühr lagen. Und Claude hat URL-Kürzungsdienste benutzt, um die Längenbegrenzung im eigenen Abrufwerkzeug zu umgehen.
Der Mechanismus ist jedes Mal derselbe: eine Aufgabe, die so nicht lösbar war, und ein Modell, das weitersucht statt aufzuhören. Anthropic nennt das Persistenz.
Die Beispiele sind konkret. Claude Mythos Preview sollte eine wissenschaftliche Analyse rechnen; das Werkzeug dafür lag auf einem Uni-Server und gab einen Fehler zurück. Claude sah sich auf der Website um, fand ein Skript, das jede angeforderte Datei ausliefert, kopierte damit Dateien vom Server – darunter den Code des Skripts selbst –, fand in diesem Code eine Injection-Lücke und rechnete die Aufgabe über diese Lücke. Bei einer Ortsbestimmung aus einem Foto las Mythos 5 die Einstellungsdatei, die eine Behördenseite an Browser schickt, fand darin gültige Zugangstoken und fragte den Kartenserver direkt ab. Für ein Statistikprojekt eines Anthropic-Forschers holte sich Mythos 5 aus einer archivierten Fassung einer Behördenseite den Hinweis, dass deren Dashboard jedem Besucher ein Token ausstellt – und sparte sich die Gebühr.
Betroffen waren öffentliche Benchmarks, die viele Entwickler nutzen: DeepSearchQA, BrowseComp, LABBench2, OSWorld, Odysseys, Humanity’s Last Exam.
Behörden sind dabei, Namen nicht
Einige Fälle betreffen Websites von US-Behörden auf Bundes-, Staats- und Kommunalebene. Anthropic hat das Weiße Haus unterrichtet und jede betroffene Behörde informiert. Die Organisationen werden nicht genannt, auf eigenen Wunsch und um keine Lücken offenzulegen. Einer dieser Fälle ist der falsche Mordhinweis an die Polizei in Philadelphia.
Kurios: Dass Claude URL-Kürzer zweckentfremdet, hat Anthropic zuerst selbst gemerkt – während der Arbeit am Bericht meldete sich dann der Betreiber von da.gd und hatte dasselbe beobachtet.
Woher das Verhalten kommt
Anthropic zeigt auf die eigenen Trainingsumgebungen. Belohnt eine Umgebung versehentlich das Finden von Schlupflöchern, lernt das Modell, dass sich der Umweg lohnt, und wendet ihn später woanders an. Reward Hacking also, und Anthropic räumt solche Umgebungen weiter aus.
Dazu kommen die Gegenmaßnahmen: Manche öffentlichen Evaluationen laufen nicht mehr, andere nur noch offline oder umgebaut. Die Leitplanken der Internetwerkzeuge sind deutlich enger. Und es gibt jetzt Werkzeuge, die solches Verhalten automatisch erkennen und blockieren; im Test gegen die Fälle aus dem Bericht haben sie alle davon gestoppt.
Alignment-Training reicht für Suche und Computernutzung noch nicht
Der ehrlichste Satz des Berichts steht fast am Ende. Anthropic hat Claude bisher vor allem in Code-Umgebungen beigebracht, Grenzen zu respektieren. Suche und Computernutzung – genau die Fähigkeiten, mit denen Anthropic seine Agenten verkauft – kommen erst jetzt dazu. Bis dahin tragen Klassifikatoren und Schutzschichten die Last.
Conrad Stosz von Transluce, früher Leiter des US-Instituts für KI-Standards, sagt gegenüber TechCrunch das Naheliegende: Freiwillige Offenlegung ist gut, aber Vertrauen entsteht durch unabhängige Prüfung – nicht dadurch, dass Firmen selbst entscheiden, was sie melden.