Einen Tag nachdem Anthropic Accenture als ersten eingebetteten Prüfer vorgestellt hat, haben über hundert Forscher, Evaluatoren und Branchenleute einen offenen Brief veröffentlicht. Er begrüßt die Idee und legt dann fest, woran man erkennt, ob sie ernst gemeint ist.
Die fünf Mindestbedingungen
Der Brief des AI Evaluator Forum nennt fünf Punkte, ohne die eine eingebettete Prüfung nicht glaubwürdig sei.
Erstens Unabhängigkeit. Prüforganisationen dürfen dem Labor nicht gehören. Sie sollen kein nennenswertes sonstiges Geschäft mit ihm machen. Und keine Bezahlung annehmen, die vom Ergebnis abhängt.
Zweitens Vielfalt: mehrere Prüforganisationen für verschiedene Risikofelder, und sie sollen offenlegen dürfen, wo ihre Schlüsse voneinander und von denen der Firmenmitarbeiter abweichen.
Drittens Transparenz. Methoden, Befunde, Art des Zugangs. Die Labore sollen das aktiv ermöglichen, unter anderem durch «limiting the scope of non-disclosure agreements». Prüfer sollen direkt und ungefiltert mit dem Aufsichtsgremium sprechen können, Befunde öffentlich machen dürfen und nur eine befristete Schwärzungsfrist hinnehmen müssen.
Viertens Schutz vor Vergeltung: keine Racheklagen, und eine Finanzierung, die auch dann weiterläuft, wenn der Befund unangenehm ist.
Fünftens Zugang auf dem Niveau hochprivilegierter Mitarbeiter. Dieselben Systeme, Daten, Werkzeuge und Räume wie die internen Leute, die vergleichbare Risikoabschätzungen machen — plus offene Vieraugengespräche mit den Beteiligten.
Der Brief verweist auf den AEF-1-Standard als ein Beispiel für codifizierte Bedingungen. Und er stellt klar: Eingebettete Prüfung ersetzt keine breitere externe Aufsicht, sie ergänzt sie.
Wer unterschrieben hat
Geoffrey Hinton und Stuart Russell stehen oben, dazu Arvind Narayanan und Yejin Choi. Daneben Leute aus dem Prüfgeschäft selbst: Jacob Steinhardt und Sarah Schwettmann von Transluce, Adam Gleave von FAR.AI, Stella Biderman von EleutherAI, Miles Brundage, Rayan Krishnan von Vals AI, Charles Foster von METR.
Auch Joy Buolamwini von der Algorithmic Justice League, Daniel Kokotajlo vom AI Futures Project und Vinh Nguyen, früher Chief AI Officer der NSA, haben unterschrieben. Alle in persönlicher Eigenschaft, die Zugehörigkeiten dienen nur der Einordnung.
Accenture fällt schon bei Bedingung eins durch
Lies Punkt eins noch einmal und halte ihn neben die Meldung vom Donnerstag. Accenture ist einer der größten IT-Dienstleister der Welt und macht Geschäft mit so ziemlich jedem — auch mit Anthropic. «Kein nennenswertes sonstiges Geschäft» beschreibt diese Beziehung nicht.
Das ist kein Zufall und wahrscheinlich auch kein Versehen. Der Brief erschien einen Tag nach der Ankündigung, und die Unterzeichner sind genau die Organisationen, die Anthropic nicht zuerst genommen hat. METR steht auf der Liste der künftigen Partner, nicht auf der ersten Rechnung.
Nützlich ist der Brief trotzdem. Er macht aus einem warmen Wort eine Prüfliste. Wenn Anthropic in einem halben Jahr die nächste Partnerschaft verkündet, kann man sie gegen fünf Punkte halten statt gegen ein Gefühl.