DeepSeek V3

DeepSeek V3 ist ein Mixture-of-Experts-Modell mit insgesamt 671 Milliarden Parametern, von denen 37 Milliarden pro Token aktiv sind. DeepSeek veröffentlichte es am 26. Dezember 2024. Es ist ein Basismodell ohne speziellen Schlussfolgerungsmodus und nutzt dieselbe Multi-Head-Latent-Attention- und DeepSeekMoE-Architektur wie V2. DeepSeek zufolge kostete das Training etwa 5,6 Millionen US-Dollar an GPU-Zeit – deutlich weniger als westliche Labore für vergleichbare Modelle aufwendeten. Das Modell erreichte 88,5 Punkte bei MMLU und 82,6 bei HumanEval und lag bei vielen Benchmarks ungefähr gleichauf mit GPT-4o und Claude 3.5 Sonnet, trotz der niedrigen Trainingskosten.

V3 steht mit offenen Gewichten unter MIT-Lizenz bereit; DeepSeeks API war deutlich günstiger als konkurrierende Spitzenmodelle. Später diente es als Basismodell für das auf Schlussfolgern ausgerichtete Reinforcement Learning von R1. Seine Kosteneffizienz löste in der Branche eine Debatte darüber aus, wie viel Rechenleistung für Spitzenleistungen tatsächlich nötig ist.