Modelle & Forschung

DeepSeek-V4.1-Flash-1017: Terminal-Bench 4.0 steigt von 31,2 auf 42,3, bei 763 Milliarden Parametern und MIT-Lizenz

2 Min. Lesezeit KI-generiert

Die Veröffentlichung enthält kein Chat-Template im Jinja-Format. Stattdessen liegen eine Python-Referenzimplementierung und eine Rust-Bibliothek mit Python-Bindings dabei.

Featured image for "DeepSeek-V4.1-Flash-1017: Terminal-Bench 4.0 steigt von 31,2 auf 42,3, bei 763 Milliarden Parametern und MIT-Lizenz"

DeepSeek hat am Samstagnachmittag V4.1-Flash-1017 veröffentlicht, eine Zwischenversion seines Flash-Modells. Angekündigt wurde sie über eine Reihe von Beiträgen auf X, mit der Begründung, die Aktualisierung bringe stärkere Benchmark-Werte, kürzere Bearbeitungszeiten und kürzere Antworten als die Vorgängerversion. Das Modell läuft im Web, in der App und auf der Entwicklerplattform. Die Gewichte liegen unter MIT-Lizenz auf Hugging Face, das Modell hat 763 Milliarden Parameter und ein Kontextfenster von einer Million Tokens.

Die Zahlen aus der Modellkarte

Der größte Sprung steht bei den agentischen Aufgaben. Terminal-Bench 4.0 geht von 31,2 auf 42,3, ProgramBench von 20,3 auf 29,1, Apex Bench v1.1 von 64,6 auf 72,1. Humanity’s Last Exam ohne Werkzeuge steigt von 36,8 auf 42,6. DeepSWE v1.1 klettert von 74,2 auf 77,0 und liegt damit über dem Wert, den DeepSeek für Claude Opus 5 angibt (74,0). Bei NL2Repo-Bench steht Opus 5 mit 75,3 vorn gegen 68,2, bei ProgramBench mit 37,0 gegen 29,1, bei Terminal-Bench 4.0 mit 51,8 gegen 42,3.

Bemerkenswert ist, womit gemessen wurde: Den Terminal-Bench-Wert hat DeepSeek im Claude-Code-Harness erhoben, DeepSWE im Mini-SWE-V2-Harness. Die Vorgängerversion V4.1-Flash hatte den KV-Cache auf 890 Byte pro Token gedrückt; der Zitationshinweis der neuen Karte nennt als Titel weiterhin „Pushing the Limits of KV Cache Compression“.

Kein Chat-Template, dafür eine Rust-Bibliothek

Für die Einbindung hat DeepSeek etwas Ungewöhnliches gemacht. Die Veröffentlichung enthält kein Chat-Template im Jinja-Format. Stattdessen liegt im Ordner encoding eine eigenständige Python-Referenzimplementierung mit Testfällen für Mehrfachrunden, Tool-Aufrufe, Thinking-Modus, numerische Reasoning-Stufen, Systemnachrichten mitten im Gespräch und eingestreute Bilder.

Für den Produktionsbetrieb gibt es dazu deepseek-recipe, eine Sammlung von Rust-Bibliotheken mit Python-Bindings. Sie nimmt Anfragen im Format der Messages API, der Chat Completions und der Responses API, überführt sie in ein einheitliches Conversation-Format und kodiert sie in Prompts oder Token-IDs für V4 und V4.1. Die Antworten parst sie zurück, vollständig oder im Stream, inklusive Thinking, Tool-Aufrufen, Bildern und Generierungsparametern. Inferenz, Tool-Ausführung und HTTP-Transport bleiben beim Aufrufer. Als Sampling-Werte empfiehlt DeepSeek Temperatur 1,0, top_p 1,0 und mindestens 256.000 ausgegebene Tokens.

Gemessen im Harness der Konkurrenz

Dass ein chinesisches Labor seine Agentenwerte im Claude-Code-Harness erhebt und das in die Modellkarte schreibt, ist der eigentliche Nebensatz dieser Veröffentlichung. Das Harness ist damit die Messlatte, nicht nur ein Werkzeug, und wer sein Modell dort testet, akzeptiert die Arbeitsumgebung der Konkurrenz als Maßstab.

Für die Praxis bleibt das Bild, das Flash-Modelle seit einem Jahr abgeben: Bei Repository-Arbeit nach Aufgabenbeschreibung kommt das Modell an Opus 5 heran und zieht in einem Benchmark vorbei, bei langen Terminal-Ketten liegen knapp zehn Punkte dazwischen. Und das alles unter MIT-Lizenz, was für jeden gilt, der 763 Milliarden Parameter selbst betreiben kann.

Quellen

DeepSeekModelleOpen WeightsBenchmarksCoding