Über Weight-Space Programming und die Zahlen des MIT-Teams habe ich gestern geschrieben. Innerhalb eines Tages sind drei Widersprüche dazu erschienen, und der interessanteste kommt von einem Laptop.
Simon Willison hat es nachgemacht, lokal
Willison hat das erste Experiment des Beitrags wiederholt: vier kleine Netze, trainiert auf vereinfachte Fassungen von Breakout, Pong, Pac-Man und Freeway, und die Frage, welches Spiel die Gewichte zeigen. Keine Werkzeuge, kein Code, eine einzige Antwort. Genau die Aufgabe, bei der GPT-6 Astra vier von vier getroffen hat.
Qwen 3.8 27B in LM Studio, 17 GB auf dem eigenen Rechner:
| Spiel | Ergebnis | Dauer | Konfidenz |
|---|---|---|---|
| Pac-Man | richtig | 46 min 12 s | 72 % |
| Pong | richtig | 1 h 4 min 54 s | 75 % |
| Breakout | richtig | 52 min 25 s | 88 % |
| Freeway | falsch | – | – |
Kimi K3.1 Pro über OpenRouter brauchte für Breakout 9 Minuten 41 Sekunden und 19.493 Reasoning-Token. Die Prompts liegen im GitHub-Repository der Autoren und enthalten die Gewichte als Fließkommazahlen im Klartext.
Willisons Fazit zu den Reasoning-Spuren ist entwaffnend: Er hält es für plausibel, dass ein erfahrener Mensch mit Notizblock und Bleistift mit genug Aufwand auch dorthin kommt.
Honnibal zerlegt die Zusammenfassung
Matthew Honnibal, Autor von spaCy, nennt den Beitrag irreführend. Sein Vorwurf betrifft nicht die Experimente, sondern deren Bündelung. Die Kurzfassung des Beitrags beginnt mit „nur durch Betrachten der Rohgewichte“ und nennt danach das Qwen-Ergebnis. Aus beidem zusammen entsteht der Eindruck, der Mathe-Sprung sei ohne Hilfsmittel entstanden.
Honnibal hat die acht Experimente in eine Tabelle sortiert. Ohne Werkzeuge und allein aus den Rohgewichten arbeiten die Nummern 1, 2 und 4, auf Netzen mit 17.000 bis 172.000 Gewichten. Jedes Experiment mit einem echten Sprachmodell schreibt Python. Das Qwen-Experiment, die Schlagzeile, darf das Modell zusätzlich auf bis zu 50 Stapeln Übungsaufgaben laufen lassen.
Sean Goedecke kommt von der anderen Seite zum gleichen Punkt: Was Astra tut, sind die Schritte, die ein menschlicher ML-Ingenieur ebenfalls gehen würde.
Der Kern bleibt, die Schlagzeile nicht
Honnibal schreibt selbst, dass Modelle von vor ein oder zwei Jahren an all diesen Aufgaben gescheitert wären. Das ist der Teil, der stehen bleibt. Was nicht stehen bleibt, ist die Lesart, ein Spitzenmodell habe mit bloßem Blick auf Zahlen ein anderes Modell sechsmal besser in Mathe gemacht.
Mein eigener Artikel von gestern hat die Reparatur-Natur des Qwen-Ergebnisses benannt, die Werkzeugfrage aber nicht. Das war die Lücke, und Honnibals Tabelle füllt sie. Dass ein 17-GB-Modell auf einem Laptop dieselbe Gewichtslese-Aufgabe in drei von vier Fällen löst, macht den Befund nicht kleiner – es verschiebt ihn nur. Die Fähigkeit ist offenbar breiter verfügbar als gedacht und gleichzeitig weniger magisch.