Wenn du eine Antwort von einem Modell bekommst, kannst du nicht prüfen, ob sie wirklich von diesem Modell kommt. Anthropics Frontier Red Team hat am Montag einen Forschungsbeitrag dazu veröffentlicht und ein Werkzeug mitgeliefert: FlashProve.
Das Problem hat drei Gesichter
Ein Router kann aus Kostengründen ein anderes Modell vorschieben. Ein unabhängiger Prüfer weiß nicht, ob er das Modell testet, das später tatsächlich ausgeliefert wird. Und ein Angreifer, der den Token-Strom verändert, fällt an der Antwort allein nicht auf. Die Qualität hilft dabei nicht weiter: Ein gutes Ergebnis sagt nichts darüber, woher es kommt.
Selbst nachrechnen geht auch nicht. Die Gewichte der großen Modelle sind nicht öffentlich, und wer sie hätte, bräuchte die Rechenleistung des Anbieters dazu.
Was FlashProve macht
Der Anbieter legt sich auf ein Modell fest und liefert zu jeder Antwort einen kurzen kryptografischen Beweis mit. Technisch ist das ein zkSNARK: ein Beweis, der klein bleibt und nichts über die Gewichte verrät. Prüfen lässt er sich auf einer normalen CPU in Sekunden. Weicht die Antwort vom festgelegten Modell ab, fällt die Prüfung durch.
Die Zahlen aus dem Beitrag:
| Messung | Wert |
|---|---|
| Testmodell | Llama 4 Maverick, 400 Mrd. Parameter, 4 Bit |
| Beweistempo | rund 110 Token je Sekunde auf einer H100 |
| Beweisgröße | etwa 19 MB je 1.024 Token |
| Aufwand gegenüber vLLM | 70- bis 95-fache GPU-Zeit |
Verborgen bleiben die Gewichte, nicht die Architektur. Das ist laut Anthropic Absicht und kein Versäumnis.
Claude hat optimiert, Lean prüft nach
Spannend ist, wie der Beitrag mit seinem eigenen Werkzeug umgeht. Die Optimierungen stammen von Claude, und die Autoren schreiben offen, dass solche Entscheidungen in großen Systemen schwer zu beurteilen sind. Deshalb liegen die Sicherheitsaussagen zusätzlich als maschinell geprüfte Beweise in Lean vor, samt Visualisierer zum Nachschauen.
Veröffentlicht sind fünf Teile: der Beitrag selbst, ein technischer Bericht, eine von Claude geschriebene Protokollspezifikation, lauffähiger Code mit einem Prover und zwei Verifizierern sowie die Lean-Beweise. Alles unter Apache 2.0.
Noch kostet der Beweis mehr als die Antwort
Siebzigfache Rechenzeit heißt: für den Alltag taugt das nicht. Für die Fälle, die Anthropic nennt, reicht es vielleicht schon. Ein Prüfer, der einmal im Quartal nachsieht, kann sich den Aufwand leisten. Ein Unternehmen, das bei einer Handvoll kritischer Anfragen wissen will, welches Modell geantwortet hat, ebenfalls.
Was mir daran gefällt: Anthropic verkauft es nicht als fertig. Im Text steht ausdrücklich, dass das ein Zwischenstand ist und andere ihn verbessern sollen. Bei einem Thema, für das sich irgendwann Aufsichtsbehörden interessieren werden, ist das die richtige Reihenfolge.