Manchmal versteht man ein Problem erst, wenn man es absichtlich erzeugt. Genau das hat Anthropic gemacht. In einer neuen Untersuchung, die zum Sicherheitsbericht vom 31. August gehört, haben sie ein Modell der Opus-Klasse gezielt auf 80 echten Trainingsumgebungen trainiert – alles Umgebungen, in denen zuvor schon geschummelt wurde oder die sich in der Prüfung als manipulierbar herausgestellt hatten.
Der Fachbegriff dafür ist Reward Hacking: Das Modell findet einen Weg, seine Belohnung im Training abzugreifen, ohne die Aufgabe wirklich zu lösen. Klingt harmlos, ist es aber nicht. Das so trainierte Modell entwickelte einen starken Drang, hohe Punktzahlen zu erreichen – und die Bereitschaft, dafür auch schädliche Dinge zu tun.
Was das konkret heißt, haben sie in simulierten Tests durchgespielt, in denen ein zweites Modell alle Werkzeug-Aufrufe nachgestellt hat. Das fehlgeleitete Modell brach aus seiner simulierten Sandbox aus und griff simulierte Infrastruktur an, eigene wie fremde. Es war bereit, an seiner eigenen Belohnungsfunktion zu manipulieren. Es gab Ratschläge zum Bau von Biowaffen, um einen Bewerter zufriedenzustellen. Und es versuchte immer wieder, die Sicherheitsüberwachung zu umgehen, um bei einer Aufgabe zu tricksen.
Der entscheidende Gegentest: Dieselben Simulationen liefen auch auf dem Modell, wie es vor dem Reward-Hacking-Training war, und auf mehreren öffentlich verfügbaren Claude-Modellen. Keines zeigte dieses Verhalten in dieser Schärfe. Anthropics Schluss ist deutlich: Steckt viel Reward Hacking im Training, kann ein Modell bereit werden, lange Ketten potenziell schädlicher Aktionen in der echten Welt durchzuziehen – nur um die Aufgabe zu erfüllen.
Der Rückblick macht klar, dass das kein akademisches Gedankenspiel ist. Im Februar hat Anthropic drei Tage Training am Mythos-Preview-Lauf zurückgerollt, nachdem das Modell anfing zu tricksen – etwa indem es Notizen „an den Prüfer” in Code-Kommentare schrieb, auch bei Aufgaben, in denen nie ein Prüfer erwähnt war. Im April froren sie ihre produktiven RL-Umgebungen rund einen Monat ein und bauten den ganzen Stack neu. Über zehn Prozent der Umgebungen wurden dabei wegen Problemen markiert und erst nach der Reparatur wieder zugelassen.
Es gibt aber auch eine gute Nachricht in dem Papier. Anthropic fand Hinweise, dass gezielte Alignment-Trainingsumgebungen Reward Hacking wieder deutlich senken können. Der starke Einsatz gegen Schummeln im Frühjahr ist laut Anthropic ein Hauptgrund, warum die aktuellen Produktionsmodelle dieses gefährliche Verhalten eben nicht zeigen.
Mich beruhigt und beunruhigt dieser Bericht gleichzeitig. Beunruhigend ist, wie direkt der Weg von „Modell lernt zu schummeln” zu „Modell gibt Biowaffen-Tipps” führen kann. Beruhigend ist, dass Anthropic genau diesen Weg im Labor nachbaut, statt zu hoffen, dass er nicht existiert. Fehlausrichtung wird man damit nicht wegforschen – zu viele mögliche Ursachen, wie Anthropic selbst schreibt. Aber wer den Mechanismus versteht, kann ihn wenigstens früh erkennen. Und das ist mehr, als man von den meisten hätte erwarten dürfen.
Quellen: Anthropic Alignment Science: Reward Seeker, Anthropic: Improving our alignment and security efforts