Im Quellenvergleich
Worin die Quellen übereinstimmen
DeepSeek hat sein selbst entwickeltes Inference-Framework DeepInfer als Open Source veröffentlicht. Inference bezeichnet den Prozess, in dem ein fertiges KI-Modell Anfragen bearbeitet und Antworten erzeugt. DeepInfer soll KI-Modelle effizient laufen lassen und damit günstiger und einfacher einzusetzen sein. Das Framework steht unter der Apache License 2.0 und basiert auf vLLM. DeepInfer unterstützt nur das Modell DeepSeek-V4.1-Flash, ein Mixture-of-Experts-Modell mit 552 Milliarden Parametern, das am 10. September erschien. Begleitend liegt deepseek-recipe bei, eine Sammlung von Rust-Bibliotheken, die Anfragen der APIs Chat Completions, Responses und Messages in Token-Sequenzen umwandelt und Ausgaben samt Reasoning und Tool-Aufrufen auswertet. Laut DeepSeek entspricht die Logik der offiziellen API. DeepSeek kündigte an, Inferenz-Code künftiger Modelle weiter zu veröffentlichen. Die Quellen berichten weitgehend übereinstimmend.
Aktualisierungen
21.10.2026
12:07Das Framework steht unter der Apache License 2.0 und basiert auf vLLM.
DeepInfer unterstützt nur das Modell DeepSeek-V4.1-Flash, ein Mixture-of-Experts-Modell mit 552 Milliarden Parametern, das am 10. September erschien.
Begleitend liegt deepseek-recipe bei, eine Sammlung von Rust-Bibliotheken, die Anfragen der APIs Chat Completions, Responses und Messages in Token-Sequenzen umwandelt und Ausgaben samt Reasoning und Tool-Aufrufen auswertet.
Laut DeepSeek entspricht die Logik der offiziellen API.
DeepSeek kündigte an, Inferenz-Code künftiger Modelle weiter zu veröffentlichen.
Worin sie sich unterscheidenEinordnung von DeepInfer und mögliche Motive·Umfang und Vollständigkeit der Veröffentlichung·Leistungs- und Umsatzangaben zum Betrieb+2 weitere
Einordnung von DeepInfer und mögliche Motive- DeepInfer ist neben den ohnehin günstigen Modellen die fehlende Komponente, um KI noch billiger zu betreiben.1
- Der Autor sieht in der Veröffentlichung einen weiteren Preisdruck auf westliche Anbieter wie OpenAI und Anthropic.1
- Der Autor hält eine politische Motivation für möglich: Verfehlen die westlichen KI-Unternehmen ihre Wachstumsziele, sei das ein Risiko für die Wirtschaftslage in den USA und darüber hinaus.1
- Ein leitender Forscher des Unternehmens beschrieb den wachsenden Gegensatz zwischen Open-Source- und Closed-Source-KI als Kampf zwischen „Licht und Dunkelheit“.2
Umfang und Vollständigkeit der Veröffentlichung- Laut README handelt es sich um Offline-Inferenz; ein API-Server ist nicht dokumentiert.3
- Für einen vollständigen Dienst fehlen laut README ein KV-Cache, die Trennung von Bild-Encoding, Prefill und Decode auf getrennten Maschinen sowie Lastverteilung zwischen Prefill- und Decode-Replikaten.3
- Die Trennung von Prefill und Decode sowie die Lastverteilung sind eng an die interne Infrastruktur gekoppelt und noch nicht vollständig offengelegt.3
- Ein Drittanbieter-Host müsste Inferenz, Tool-Ausführung und HTTP-Transport selbst liefern.3
Leistungs- und Umsatzangaben zum Betrieb- Ein einzelner Cluster bedient 155 000 Milliarden Token pro Tag bei einem Gesamtumsatz von 38 Dollar pro GPU-Stunde zum Nebentarif, also der Hälfte des Spitzentarifs.3
- Die 38 Dollar pro GPU-Stunde sind ein Umsatz, keine Aussage zu Kosten oder Marge.3
- Cluster-Größe, verwendeter Chip und Anteil der Eingabe-Token bleiben offen.3
- Am 1. März 2025 nannte DeepSeek für V3 und R1 einen theoretischen Umsatz von 562 027 Dollar in 24 Stunden, bei durchschnittlich 226,75 Knoten mit je acht H800 und 776 Milliarden Token, was 12,9 Dollar pro GPU-Stunde zum R1-Tarif ergibt.3
- Der Vergleich der Umsatzzahlen bleibt indirekt, da Modell und Tarif abweichen und beide Zahlen von DeepSeek stammen, ohne externe Prüfung.3
- Laut Bloomberg lag am 20. Oktober kein unabhängiger Benchmark vor.3
Hardware-Unterstützung und technische Details- Neu sind der Fokus auf mehrere Chip-Hersteller, NVIDIA und Huawei.3
- Bei NVIDIA ist nur die Architektur SM100 gelistet, H100 und H200 fehlen.3
- Für Huawei verlangt DeepInfer die Toolbox CANN 9.2.3
- Batch-invariante Inferenz und deterministisches Sampling gibt es nur auf NVIDIA.3
- Die beiden Performance-Grafiken messen auf NVIDIA, ohne Zahlen zu nennen.3
- Der KV-Cache baut auf dem 2025 geöffneten Dateisystem 3FS auf, mit rund 100 Petabyte SSD und Aufbewahrung von drei Tagen für Agenten-Traffic und sieben Tagen für Chatbot-Traffic.3
- Die Lastverteilung erreicht etwa 80 Prozent eines perfekt ausbalancierten Offline-Benchmarks.3
- Empfohlen sind 64 bis 128 GPU für Decode bei einem Prefill/Decode-Verhältnis von etwa 1 zu 1.3
Geschichte der Nichtveröffentlichung und Sinneswandel- DeepSeek hatte die Öffnung des Inferenz-Motors im April 2025 noch abgelehnt.3
- Als Gründe für die damalige Nichtveröffentlichung nannte DeepSeek einen alten vLLM-Fork, die enge Kopplung an die interne Infrastruktur und fehlende Kapazität im kleinen Forschungsteam.3
- Den Sinneswandel erklärt das Unternehmen nicht.3