DeepSeek-V2

DeepSeek-V2 ist ein Mixture-of-Experts-Sprachmodell, das DeepSeek im Mai 2024 veröffentlichte. Es umfasst 236 Milliarden Parameter, von denen 21 Milliarden pro Token aktiv sind. Der wichtigste technische Beitrag war Multi-head Latent Attention (MLA), ein Verfahren zur Komprimierung des Key-Value-Caches. Es verringerte den Speicherbedarf deutlich und ermöglichte einen wesentlich höheren Token-Durchsatz als beim früheren dichten DeepSeek-67B-Modell auf derselben Hardware. Das Modell wurde mit 8,1 Billionen Tokens trainiert, bietet ein Kontextfenster von 128.000 Tokens und erzielte bei damaligen offenen Modellen konkurrenzfähige Ergebnisse in MMLU- und Programmier-Benchmarks.

Bemerkenswert war nicht nur die Architektur, sondern auch der Preis: DeepSeek startete seine API zu einem Bruchteil der Preise chinesischer und westlicher Wettbewerber. Das löste branchenweit Preissenkungen aus, die Kommentatoren damals als „Preiskrieg“ bezeichneten. Die hier eingeführten MLA- und DeepSeekMoE-Techniken wurden in allen späteren Modellen von DeepSeek weitergeführt, darunter V3 und R1. V2 bildet damit die Architekturgrundlage für die späteren Spitzenmodelle des Unternehmens.