Vier Forscher am MIT CSAIL haben am Montag einen Blogbeitrag veröffentlicht, der auf Hacker News binnen eines Tages über 2.100 Punkte gesammelt hat. Rikiya Takehi, Jayden Teoh, Alex Zhang und Omar Khattab haben OpenAIs GPT-6 Astra die Gewichte eines kleinen offenen Modells vorgelegt und es gebeten, sie direkt zu ändern. Kein Finetuning, kein Gradientenverfahren. Sie nennen das Weight-Space Programming. Über Astra habe ich im Oktober geschrieben.
Was die Zahlen sagen
Zielmodell war Qwen3.5-0.8B. Nach dem Eingriff:
| Messung | Original | Bearbeitet |
|---|---|---|
| MATH-500 | 7,9 % | 48,1 % |
| GSM8K | 13,8 % | 67,1 % |
| IFEval (Anweisungen folgen) | 21,0 % | 62,3 % |
| Antworten, die ins Token-Limit laufen | 93,0 % | 33,1 % |
Die letzte Zeile ist der Schlüssel. Qwen hat vorher Text wiederholt, bis die erlaubte Ausgabelänge erschöpft war, und kam deshalb bei fast jeder Matheaufgabe nicht zum Ende.
Der Patch sitzt in zwei Schichten
Astra hat laut den Autoren eine numerische Richtung entfernt, die mit Wiederholung zusammenhängt, und zwar in ausgewählten Komponenten der Schichten 15 und 19. Betroffen waren 131.072 Gewichte, rund 0,016 Prozent des Modells.
Dafür bekam Astra in einem Teil der Versuche die Gewichte als Text, in anderen eine abgeschottete Python-Umgebung zum Untersuchen größerer Netze, dazu Übungsaufgaben und ein begrenztes Budget an Modellaufrufen.
Der Weg dorthin war teuer
Der stärkste Versuch lief über 50 Auswertungsanfragen, 158 Gesprächszüge, 80 Python-Läufe und 20,3 Stunden, davon 4,7 Stunden Warten auf einen Dienst, der ausgefallen war. Der Patch ist winzig, die Suche danach war es nicht. Die Forscher belegen also nicht, dass direktes Editieren billiger oder schneller ist als Training. Sie belegen, dass es geht.
Takehi schreibt, Modelle könnten Rohgewichte künftig wie lesbaren, editierbaren Code behandeln: Fehler diagnostizieren und direkt patchen. In den Reaktionen auf X loben Yuchen Jin (Databricks) und Chandan Singh (Voyage AI) genau diese Aussicht, während Maxime Fournes von Pause AI warnt, verlässliche Gewichtseingriffe würden vor allem die Beschleunigung beschleunigen.
Der Gewinn kommt aus einer Reparatur, nicht aus neuem Können
Die Sechsfachung des Mathe-Scores klingt nach einem Modell, das plötzlich rechnen kann. Das ist es nicht. Qwen konnte die Aufgaben vorher schon teilweise lösen, es kam nur nicht zum Schluss, weil es sich in Schleifen verfing. Astra hat eine Blockade weggenommen, keine Fähigkeit hinzugefügt.
Das macht die Arbeit nicht kleiner, sondern interessanter. Ein Modell, das in einem fremden Netz die Stelle findet, an der eine bekannte Fehlfunktion sitzt, und sie mit 131.072 Zahlen behebt, ist ein Debugger für neuronale Netze. Davon hätte ich gern eine Fassung, die ich auf ein Modell loslassen kann, das in meiner Produktion merkwürdige Dinge tut. Bis dahin ist es ein Laborergebnis mit einem sehr guten Protokoll.