Wer überprüft eigentlich, ob ein KI-Modell hält, was das Labor verspricht? Am 29. Mai hat OpenAI ein Playbook für vertrauenswürdige Tests durch Dritte veröffentlicht — eine Art Spielregel-Sammlung dafür, wie unabhängige Teams Frontier-Modelle auf ihre Fähigkeiten und Risiken abklopfen sollten. Klingt erstmal trocken, ist aber genau die Art von Hausaufgabe, die langsam zum Standard wird.
Worum es geht
OpenAI arbeitet mit einer Reihe externer Organisationen zusammen, die tiefes Wissen in einzelnen Risikofeldern mitbringen. Die Idee: Statt nur intern zu messen, lässt man unabhängige Labore mit eigenen Methoden ran — als ergebnisoffenes Testen, bei dem die externen Teams selbst zu einer Einschätzung kommen.
Für GPT-5 hatte OpenAI bereits ein breites Set externer Bewertungen koordiniert: Langzeit-Autonomie, Täuschung und Unterlaufen von Aufsicht, Machbarkeit von Laborplanung im Biobereich, offensive Cybersicherheit. Das neue Playbook bündelt die Erfahrungen daraus zu wiederverwendbaren Spielregeln.
Eingebettet ins Frontier Governance Framework
Das Playbook ist kein Solo-Stück, sondern ergänzt OpenAIs Frontier Governance Framework. Das deckt Risikobewertung und -minderung über mehrere Felder ab — Cyber-Offensive, CBRN-Risiken, schädliche Manipulation, Kontrollverlust — plus Themen wie Modell-Reporting, Sicherheitsmanagement, Incident Response und externen Experten-Input.
Kurz gesagt: OpenAI versucht, das eigene Sicherheitsversprechen prüfbarer zu machen. Nicht „vertraut uns”, sondern „hier ist, wie ihr es nachprüfen könnt”.
Warum das zählt
Ich finde, diese Governance-Themen werden oft unterschätzt, weil sie nicht so glänzen wie ein neues Modell. Aber genau hier entscheidet sich, ob man dem ganzen System trauen kann. Wenn unabhängige Tests zur Norm werden — und idealerweise vergleichbar zwischen den Laboren — bekommen wir als Nutzer eine viel bessere Grundlage, um Versprechen einzuordnen.
Spannend ist der Kontrast: Anthropic hat das Thema unabhängiger Prüfung und gemeinsamer Standards zuletzt ähnlich betont, gerade rund um Cybersicherheit und Agenten. Zwei Labore, die im Wettbewerb stehen — und sich beim Thema Transparenz trotzdem in dieselbe Richtung bewegen. Das ist eine gute Entwicklung. Denn am Ende profitieren alle davon, wenn nicht jeder nur seine eigenen Benchmarks vorzeigt, sondern Dritte mit eigenem Maßstab draufschauen dürfen.
Quellen: OpenAI: A shared playbook for trustworthy third party evaluations, OpenAI: Frontier Governance Framework