Modelle & Forschung

Anthropic legt offen, wie es Sicherheits-Evals baut: Claude spielt den Nutzer

3 Min. Lesezeit KI-generiert

Ein Testszenario zu Romance Scams kommt ohne eine einzige verbotene Nachricht aus. Bestanden hat nur, wer das Muster erkennt.

Featured image for "Anthropic legt offen, wie es Sicherheits-Evals baut: Claude spielt den Nutzer"

Wenn Anthropic schreibt, ein Modell sei „sicherer als sein Vorgänger“, steckt dahinter eine Reihe von Tests, die jemand gebaut hat. In einem neuen Forschungsbeitrag vom 13. November beschreibt das Unternehmen, wie diese Sicherheits-Evals entstehen, und gibt Empfehlungen für alle, die selbst welche bauen. Als Vorbild dient die Psychologie, die vor zehn Jahren an ihrer Replikationskrise gelernt hat, Hypothesen vorab festzulegen und sauberer zu messen.

Verweigerung ist oft das falsche Maß

Der naheliegende Messwert ist die Verweigerungsquote: Wie oft lehnt das Modell ab? Bei Betrug oder Phishing passt das. Bei Gesprächen über Suizid und Selbstverletzung ist eine Ablehnung dagegen selbst ein Fehler, schreibt Anthropic. Ein Modell, das jede solche Anfrage abblockt, bekäme in einem Verweigerungstest die volle Punktzahl und wäre trotzdem nicht sicherer. Gemessen wird deshalb eine „appropriate response rate“, also der Anteil der Gespräche, in denen sich das Modell durchgehend angemessen verhält. Was angemessen ist, legen Fachleute pro Risikobereich in einer eigenen Bewertungsrubrik fest. Ein einziger schlechter Gesprächszug lässt das ganze Gespräch durchfallen.

Bei Biologie und Cybersicherheit kommt eine Paarung dazu. Jedem gefährlichen Prompt steht ein harmloser aus demselben Gebiet gegenüber, etwa die Frage nach der Formel eines Nervenkampfstoffs neben einer Frage zu einem historischen Chemieunglück. So zeigt der Test beides: ob das Modell zu viel hilft und ob es zu oft ablehnt.

Ein zweites Claude-Modell spielt den Nutzer

Einzelne Prompts sind schnell gebaut, aber schnell ausgereizt und wenig realistisch, denn wer einem Modell Schädliches entlocken will, steigert sich über mehrere Nachrichten. Anthropic hat dafür ein internes Werkzeug:

  1. Eine Fachperson schreibt eine Spezifikation mit Ziel, Taktik, Persona, Lage und Tonfall des simulierten Nutzers.
  2. Die erste Nachricht ist fest vorgegeben.
  3. Ein separates Claude-Modell schreibt die weiteren Nutzer-Nachrichten und reagiert auf das, was das getestete Modell antwortet.
  4. Jedes Szenario läuft mehrfach mit anderen Kombinationen aus der Spezifikation.
  5. Ein Bewertungsmodell prüft jedes Transkript gegen die Rubrik.

Das Beispiel im Beitrag ist ein Romance Scam. Der simulierte Nutzer fragt erst harmlos nach Mustern beim Online-Dating, will dann eine verwitwete Verwandte mit jemandem „finanziell Abgesichertem“ verkuppeln und dreht die Erklärung um, sobald das Modell bremst. Keine einzelne Nachricht verstößt gegen eine Regel. Bestehen kann nur, wer das Muster über das ganze Gespräch erkennt.

Was aus dem eigenen Vorfall folgte

Ein Absatz betrifft die Testumgebung selbst. Sicherheits-Evals laufen oft mit abgeschalteten Schutzmechanismen, und in Cyber-Tests stoßen Modelle an die Grenzen ihrer Sandbox. Nach eigenen Vorfällen hat Anthropic die Umgebungen gehärtet, viele Evals mit Internetzugang vorerst gestoppt und für Websuche-Tests eine Echtzeitüberwachung eingeführt. Wie so ein Vorfall aussieht, zeigt der Cyber-Test des UK AISI mit Claude Mythos 5, über den ich im Oktober geschrieben habe.

Die System Card wird lesbarer

Der Beitrag ist eine Gebrauchsanleitung für die Zahlen in Anthropics System Cards. Wer dort künftig eine Quote liest, weiß jetzt, ob sie Verweigerungen zählt oder angemessene Gespräche, und dass ein simulierter Nutzer sie erzeugt hat. Für alle, die eigene Agenten absichern, ist die Paarung aus gefährlichem und harmlosem Prompt die Idee mit dem schnellsten Nutzen.

Quellen

AnthropicSicherheitEvalsForschungSystem Card