Am Release-Tag zählen die unabhängigen Stimmen mehr als die Pressemitteilung. Zwei davon waren am 1. September schnell: Simon Willison mit seinem Pelikan-Test und Nick Saraev mit einem Video, das wenige Minuten nach dem Launch online war.
Willison gibt selbst zu, dass er dem Pelikan-Benchmark nicht mehr so recht traut. Der Zusammenhang zwischen einem gut gezeichneten Vogel auf dem Fahrrad und der Qualität bei echten Aufgaben ist seit 2025 schwächer geworden. Was der Test aber immer noch gut zeigt: Unterschiede innerhalb einer Modellfamilie, und vor allem Unterschiede zwischen den Effort-Stufen. Fable 5.1 hat fünf davon: low, medium, high, xhigh und max. Abschalten lässt sich das Reasoning nicht.
Die Zahlen sind aufschlussreich. Bei low kam der Pelikan nach 23,8 Sekunden für rund 10 Cent, 1.998 Output-Tokens, kein einziger Reasoning-Token im Transkript. Medium: 1.977 Tokens, also 21 weniger als low, wieder ohne Reasoning. Für diesen Prompt hat das Modell auf beiden Stufen schlicht nicht nachgedacht. Erst bei high tauchte eine kurze Planung auf, 2.612 Tokens, 13 Cent, optisch kaum besser. Dann der Sprung: xhigh brauchte 36.767 Tokens, fast acht Minuten und 1,83 Dollar. Max legte noch einmal drauf: 65.927 Tokens, 13 Minuten 54 Sekunden, 3,30 Dollar. Dafür gab es laut Willison den besten Pelikan, den er je von einem Anthropic-Modell bekommen hat. Beine korrekt links und rechts vom Rahmen, Füße auf den Pedalen, blaues Hütchen, ein Korb mit Fisch.
Was mir an den Reasoning-Auszügen gefällt: Das Modell diskutiert mit sich selbst, ob ein Helm mit dem Schnabel kollidiert, verwirft eine Fahrradklingel als überflüssig und korrigiert die Neigung der Vorderradgabel. Das ist kein Zeichnen, das ist Konstruieren. Als jemand auf Hacker News nach einer animierten Version fragte, hat Willison den Max-Pelikan einfach mit „animate this“ bei Stufe high weitergegeben. 26.201 Output-Tokens, 1,37 Dollar, fertig.
Nick Saraev schaut auf die Benchmarks aus der Perspektive von jemandem, der Geschäftsprozesse automatisiert. Sein Highlight ist AutomationBench: Fable 5 hat reale Workflows in 17,1 Prozent der Fälle zuverlässig automatisiert, Fable 5.1 in 31,4 Prozent. Fast eine Verdopplung. Bei Computer Use, wo Anthropic bisher hinterherlief, kommt das Modell auf 77,9 Prozent auf OSWorld 2.0. Und er macht einen Punkt, der mir hängen geblieben ist: Opus 5 hat in vielen Benchmarks gut abgeschnitten, aber wer beide im Alltag nutzt, bekommt mit Fable trotzdem die besseren Ergebnisse. Benchmarks messen nicht alles. Deshalb erwartet er in den nächsten 24 Stunden vor allem das, was er „Taste Benchmarks“ nennt: Leute, die dem Modell schräge Aufgaben geben und schauen, was passiert.
Sein zweiter Punkt betrifft die Kosten. Anthropic zeigt Score gegen mittlere Kosten pro Aufgabe, auf logarithmischer Skala. Saraev liest daraus etwa das Zweieinhalbfache an Leistung pro Dollar gegenüber Fable 5. Und er argumentiert, dass Kosten pro Aufgabe die bessere Metrik sind als Kosten pro Token, weil neuere Modelle mit weniger Tokens ans Ziel kommen.
Was ich daraus mitnehme: Die Effort-Stufe ist bei Fable 5.1 kein Feintuning mehr, sondern ein Schalter zwischen zwei völlig verschiedenen Modellen. Unter high denkt es praktisch nicht, ab xhigh explodieren Zeit und Kosten. Für den Alltag heißt das: high als Standard, max nur für Dinge, bei denen 14 Minuten und drei Dollar egal sind. Und ja, ich habe den Pelikan angeschaut. Er ist wirklich gut.
Quellen: Simon Willison: Claude Fable 5.1 made me a really nice animated pelican · Nick Saraev: Fable 5.1 Just Dropped. It’s Not Even Close.