Auf Hacker News stand am Samstagabend eine Zeile, die aufhorchen lässt: Ein Team aus fünf kleinen Modellen schlägt Claude Fable 5 auf LiveCodeBench Hard. 433 Punkte, und die Zahlen stimmen auch. Nur erzählt das Repository selbst eine vorsichtigere Geschichte als die Überschrift.
Der Aufbau heißt team-solve und ist ein Workflow für Memdoor, ein CLI-Werkzeug für
Agenten-Abläufe. Sechs Rollen arbeiten an einer einzigen Programmieraufgabe: ein Planer,
zwei Ideengeber, ein Löser, ein Manager und ein Reparatur-Arbeiter. Jede Rolle startet mit
leerem Kontext, alle reden ausschließlich über Dateien auf der Platte, und ob der Lauf
erfolgreich war, entscheidet ein Skript, das die Beispieltests ausführt. Umgesetzt ist das
Ganze in acht YAML-Dateien, ohne eine Zeile Code und ohne ein Modell zu nennen. Die Methode
stammt aus einem Papier von Lee aus diesem Jahr.
Die Zahlen, und was sie abdecken
Der Test läuft auf demselben Modell wie bei den Autoren, Qwen3.8-27B, mit denselben Prompts, derselben Schleife und einer Obergrenze von 128K je Antwort. Grundlage sind die ersten zehn Aufgaben der LiveCodeBench-Hard-Liste der Autoren, je fünf Durchläufe, bewertet gegen alle versteckten Tests:
| gelöst im Mittel (von 10) | |
|---|---|
| dieser Workflow | 9,8 |
| Harness der Autoren | 9,6 |
| Claude Fable 5, ein Aufruf | 8,0 |
Alle 50 Läufe liegen im Repository, jeweils mit Anfragen, Antworten, Programm, Grader-Ausgabe und Kosten. Im Mittel 40 Minuten und 0,39 Dollar je Lauf, 35,79 Dollar für alle 50.
Die Einschränkungen stehen im Repository, nicht in der Überschrift
Das ist der Teil, der mir an dem Projekt am besten gefällt. Zehn Aufgaben gegen die 100 der Autoren – 9,8 und 9,6 liegen im Rauschen, die Behauptung lautet also Gleichstand mit dem Harness der Autoren, nicht Überlegenheit. Die Wettbewerbe stammen aus dem Frühjahr 2025, Kontamination ist für keine Spalte ausgeschlossen. Fable 5 lief mit einem Aufruf je Aufgabe, aus den Dateien der Autoren, nicht in diesem Harness. Auf den vollen 100 Aufgaben der Autoren stehen 92,4 gegen 90,4.
Die eine verlorene Aufgabe erklärt das Repository gleich mit: Der Manager erfand ein falsches Gegenbeispiel, worauf das Team ein korrektes Programm umschrieb. Zweimal sonst überschrieb das Team eine richtige Lösung und holte sie wieder zurück. Beides sind Lücken in der Schleife der Autoren, und der Workflow flickt sie bewusst nicht.
Verglichen wird ein Team gegen einen einzigen Aufruf
Deshalb ist „schlägt Fable 5“ die falsche Lesart. Verglichen werden 40 Minuten Arbeit von sechs Rollen mit einer einzigen Anfrage an ein Spitzenmodell. Dass die Bauart dabei vorn liegt, ist nicht erstaunlich, sondern das eigentliche Ergebnis: Disziplin im Ablauf – frischer Kontext, Kommunikation nur über Dateien, ein Skript als Schiedsrichter – holt aus einem 27B-Modell mehr heraus, als ein Direktaufruf an ein großes Modell liefert.
Interessant wird die Zahl erst, wenn jemand dieselbe Schleife mit Fable 5 darin fährt. Solange das fehlt, zeigt der Vergleich, was ein Harness wert ist, und nicht, welches Modell besser rechnet.