DeepSeek hat am Montag DeepInfer veröffentlicht, das Inferenz-Framework, auf dem die eigenen Produktionsdienste laufen. Die Ankündigung kam über den eigenen X-Account, das Repository steht unter Apache 2.0, und binnen eines Tages standen knapp 13.800 Sterne und über 2.100 Punkte auf Hacker News darunter.
Was drin ist
Unterstützt wird zunächst ein Modell: DeepSeek-V4.1-Flash, als Standard-Checkpoint die Fassung V4.1-Flash-1017. Darunter liegen die Kernel-Bibliotheken, die DeepSeek schon einzeln veröffentlicht hatte – FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect – plus eigene TileLang-Kernel.
Die Liste der Funktionen liest sich wie das Protokoll einer Firma, die Latenz zählt: Parallelität über Attention-DP und balanciertes CP, MoE-Expert-Parallelism mit Lastausgleich, spekulatives Dekodieren über DSpark mit einer Verifikation, die sich nach der Konfidenz richtet, verkürztes Prefill über ein begrenztes Replay im SWA-Fenster und ein Scheduler, der die CPU-Arbeit vollständig hinter die GPU-Ausführung legt.
Zwei Einträge fallen heraus, weil sie nichts mit Tempo zu tun haben: batch-invariante Inferenz und deterministisches Sampling. Beides heißt, dass dieselbe Anfrage dasselbe Ergebnis liefert, unabhängig davon, mit welchen anderen Anfragen sie gerade im Batch landet. Für Auswertungen und Fehlersuche ist das Gold wert, und in produktiven Serving-Stacks ist es selten. Beides läuft allerdings nur auf NVIDIA-Hardware.
Was fehlt, steht in der README
DeepSeek schreibt ausdrücklich hin, was ein vollständiger Dienst noch braucht und dieses Release nicht mitbringt: ein KV-Cache-System, die Trennung von Prefill und Decode auf getrennte Maschinen und den Lastausgleich über datenparallele Replikate. Die Benchmarks wurden auf 4 SM100-GPUs für Prefill und 64 für Decode gemessen, jeweils innerhalb einer Scale-up-Domäne.
Voraussetzungen sind Linux, GCC ab 13, Python 3.12 und CUDA 13 beziehungsweise CANN 9.2 für die Ascend-Variante.
Der Ascend-Eintrag ist die eigentliche Nachricht
DeepInfer ist ursprünglich auf vLLM gebaut, mit Anleihen bei SGLang und TensorRT-LLM – das schreibt DeepSeek selbst in die Danksagung. Technisch ist es also kein Bruch, sondern eine sehr weit optimierte Abzweigung. Interessant ist die Hardwarezeile: Huaweis Ascend 950 steht dort gleichberechtigt neben NVIDIAs SM100. Wer in China eine Alternative zum CUDA-Ökosystem sucht, bekommt mit DeepInfer zum ersten Mal einen Serving-Stack, der auf heimischen Beschleunigern nicht nur läuft, sondern dort auch nachweislich Produktionslast trägt.