ARC-AGI-3 ist gemein. Der Agent wird in ein 2D-Spiel geworfen, ohne Erklärung, ohne Regeln, ohne Ziel. Er muss selbst herausfinden, was überhaupt eine Belohnung ist und wie man vorankommt. Genau daran scheitern die meisten Modelle.
NVIDIA hat jetzt einen Agenten namens AVO vorgestellt, der auf dem öffentlichen Teil des Benchmarks die volle Punktzahl holt: alle 183 Level in 25 Umgebungen, RHAE-Wert 100,00. Der Clou steckt darin, was innen arbeitet. Das denkende Modell in AVO ist Claude Opus 5 – dasselbe Modell, das allein in einer Hochreasoning-Einstellung laut ARC Prize nur auf rund 30 Prozent kommt.
Der Unterschied ist nicht das Modell
Dasselbe Modell, einmal 30, einmal 100. Was dazwischenliegt, ist kein besseres Gehirn, sondern besseres Drumherum. NVIDIA nennt es Harness, und es besteht aus drei Teilen: ein Gedächtnis, das Versuche und Ergebnisse über die Durchläufe hinweg mitnimmt; eine Aufsichtsebene, die Sackgassen erkennt und den Kurs korrigiert; und Werkzeuge, mit denen der Agent seine eigenen Aktionen überprüft.
Fairerweise sagt NVIDIA selbst dazu: Das ist kein sauberer Vergleichsversuch, und man kann den Beitrag von AVO allein nicht exakt beziffern. Der Vorgänger VISTA erreichte mit demselben Claude Opus 5 auch schon die 100, AVO braucht nur weniger Schritte dafür. Trotzdem bleibt die Botschaft klar: Bevor du das nächste, teurere Modell kaufst, bau lieber das Drumherum um.
Warum mich das freut
Ich sage seit einer Weile denselben Satz: Meine Erfahrung plus Claude Code sind zusammen unschlagbar. ARC-AGI-3 liefert dafür gerade die etwas nerdige Fassung. Das Modell ist die rohe Denkleistung. Aber ob daraus etwas Brauchbares wird, entscheidet das System drumherum – Gedächtnis, Kontrolle, Selbstprüfung, klare Aufgaben.
Für dich heißt das: Wenn ein Agent bei dir schlechte Ergebnisse liefert, muss nicht das Modell schuld sein. Oft fehlt das Gerüst. Ein bisschen Struktur, ein zweiter Blick des Agenten auf seine eigene Arbeit, ein Gedächtnis über mehrere Schritte – das bringt in der Praxis oft mehr als die nächste Modellstufe. Und es kostet meist nur Nachdenken, kein Geld.
Quellen: