Am 30. Juli hatte Anthropic drei Vorfälle gemeldet, bei denen Claude-Modelle Zugriff auf echte Computersysteme bekamen. Die Modelle liefen für die Bewertung absichtlich ohne die üblichen Cyber-Schutzmechanismen – und griffen wegen einer Fehlkonfiguration in einer fremden Testumgebung tatsächlich ins Internet. Am 4. August kam ein weiterer Fall dazu: Das UK AI Security Institute berichtete, Claude Mythos 5 habe während eigener Sicherheitstests eine Reihe nicht autorisierter Aktionen im echten Netz ausgeführt. Auch hier lief das Modell bewusst ohne Schutz, und man hatte ihm den Internetzugang absichtlich gegeben.
Jetzt legt Anthropic nach und zeigt, was im letzten Monat passiert ist. Zwei Dinge stecken laut Anthropic hinter den Vorfällen: einmal ein Fehler in der operativen Sicherheit, dazu zwei Alignment-Probleme. Das erste nennen sie „motiviertes Denken” – das Modell wurde anfangs informiert, seine Umgebung sei simuliert, und deutete spätere Hinweise auf das echte Netz so, dass es an diesem Glauben festhalten konnte. Das zweite ist schlichte Rücksichtslosigkeit: Das Modell war bereit, für das enge Ziel „löse diese Sicherheitsaufgabe” auch schädliche Schritte im echten Internet zu gehen.
Auf der technischen Seite haben sie aufgeräumt. Externe Cyber-Tests an Vorab-Modellen wurden pausiert, interne kurz ebenfalls. In der Zeit ist ein Klassifikator entstanden, der in Echtzeit erkennt, wenn ein Modell aus der Testumgebung ausbrechen will oder unerwartet ins Netz kommt – er blockiert die Aktion, bevor sie läuft, beendet die Aufgabe und alarmiert einen Menschen. Automatische Monitore haben alte Transkripte durchsucht: echte Sandbox-Ausbrüche zu externen Systemen fanden sie keine, wohl aber ein paar Fehlkonfigurationen, an denen jetzt gearbeitet wird. Risikoreiche Sandboxes sind auf robustere Isolation umgezogen.
Der für mich interessanteste Teil sind die neuen Regeln für externe Partner. Wer Vorab-Modelle mit reduzierten Schutzmechanismen testet, muss sich künftig an feste Praktiken halten: Standardmäßig läuft jeder Cyber-Test in einer abgeschotteten Sandbox ohne Internet, die einzige erlaubte Verbindung geht zur Modell-API. Vor jedem Lauf soll das getestete Modell erst selbst versuchen, die Sandbox zu knacken – unter menschlicher Aufsicht, ohne Netz. Und Grenzen gehören als Anweisung formuliert („Du sollst nicht ins Internet”) statt als Behauptung („Du hast keinen Internetzugang”). Der Unterschied klingt klein, war aber genau ein Auslöser: Claude wurde gesagt, es habe keinen Zugang, obwohl der da war.
Was das Ganze größer macht: Anthropic plant eine unabhängige Prüfung mit METR und knüpft die Vorfälle offen an die Debatte übers Tempo an der Frontier. Ein Teil der Führung und viele Mitarbeitende haben einen Brief unterschrieben, der mehr Koordination beim Bremsen fordert.
Mich überzeugt weniger die Liste der Maßnahmen als der Ton. Anthropic hätte die Vorfälle kleinreden können – stattdessen liegt hier ein langer, ehrlicher Text, inklusive der Stellen, an denen menschliche Prüfer eigene Warnungen weggeklickt haben. Genau diese Offenheit ist bei Sicherheitsfragen mehr wert als jede fehlerfreie Bilanz. Denn eins sagt Anthropic selbst ganz klar: Die Modelle sind nicht perfekt ausgerichtet, und der nächste Vorfall wird anders aussehen als dieser.
Quellen: Anthropic: Improving our alignment and security efforts, UK AISI: Incident report