Benchmarks sind seit Jahren kaputt, und alle wissen es. Sobald ein Test öffentlich ist, kann man dagegen trainieren, und dann misst er nur noch, wer ihn gelesen hat. Vals aus San Francisco versucht es andersherum: Die Testaufgaben bleiben unter Verschluss. TechCrunch hat den Gründer besucht.
Wer das macht
Rayan Krishnan ist 25, hat vorher bei Palantir und Microsoft gearbeitet und während des Studiums in Stanfords KI-Labor. Vals gibt es seit 2024. Die erste Finanzierungsrunde kam von 8VC und Bloomberg Beta, im vergangenen Monat folgten 40 Millionen Dollar in einer Serie A unter Führung von Andreessen Horowitz.
Sein Ausgangspunkt: «Wir sahen eine Menge sehr fähiger neuer Modelle auf den Markt kommen, und die akademischen Benchmarks hielten mit diesem Fortschritt nicht Schritt.»
Was Vals anders macht
Zwei Dinge. Erstens bleiben die konkreten Testaufgaben unveröffentlicht — ein Modell kann sie nicht auswendig lernen. Zweitens misst Vals keine allgemeine Intelligenz, sondern Arbeit: Aufgaben aus Recht, Finanzen und Programmierung, so wie sie im Beruf anfallen. Krishnans Maßstab ist nicht, ob ein Modell ein Examen besteht, sondern «ob sie Arbeit erledigen können, die dieselbe Qualität hat wie die eines Menschen, in jedem Fachgebiet».
Dazu kommen Gebiete, die man in einer Benchmark-Liste nicht erwartet: rekursive Selbstverbesserung, psychische Gesundheit, IT-Sicherheit, Biosicherheit — und das Kriegsvölkerrecht, also die Frage, ob ein Modell die Genfer Konventionen richtig anwendet. Geprüft wird ausdrücklich auch auf negative Folgen: was passieren würde, wenn diese Modelle frei liefen.
Bezahlt wird vom Geprüften
Die Modellanbieter zahlen selbst dafür, getestet zu werden. Krishnan vergleicht das mit dem College Board: Auch ein Schüler zahlt dafür, dass er den SAT schreiben darf. Der Umsatz liegt beim Achtfachen des Vorjahres, das Team ist von acht auf 25 Leute gewachsen, zehn bis fünfzehn sollen dazukommen. Seit Kurzem gibt es ein eigenes Programm für Bundesbehörden.
Krishnan rechnet damit, dass der Bedarf mit den Börsengängen steigt. SpaceX ist bereits an der Börse, Anthropic will im November folgen, OpenAI vermutlich danach.
Genau das Modell, über das gerade gestritten wird
Vals verkauft Prüfung an die Geprüften und hält die Prüfungsfragen geheim. Beides ist verteidigbar und beides ist angreifbar — und zwar in derselben Woche, in der über eingebettete Prüfer gestritten wird. Anthropic hat sich Accenture ins Haus geholt, und hundert Fachleute haben dazu fünf Bedingungen für Unabhängigkeit aufgeschrieben. Eine davon lautet sinngemäß: Wer bezahlt, darf nicht bestimmen, was veröffentlicht wird.
Das Geheimhalten der Aufgaben löst ein echtes Problem und schafft ein neues. Ein Test, den niemand nachrechnen kann, ist für den Leser ein Versprechen und kein Beleg. Wenn Vals wirklich Goldstandard werden will, wird es irgendwann sagen müssen, wer die Ergebnisse veröffentlichen darf, wenn sie schlecht ausfallen.