DeepSeek V3
Le modèle de mélange d'experts efficace de DeepSeek, entraîné pour une fraction du coût des rivaux
DeepSeek V3 est un modèle de mélange d’experts de 671 milliards de paramètres, dont 37 milliards actifs par token, que DeepSeek a publié le 26 décembre 2024. C’est un modèle de base sans raisonnement, construit sur la même architecture Multi-head Latent Attention et DeepSeekMoE que V2. DeepSeek a indiqué l’avoir entraîné pour environ 5,6 millions de dollars de temps GPU, un chiffre très inférieur à ce que les labos occidentaux dépensaient pour des modèles comparables. Il a obtenu 88,5 sur MMLU et 82,6 sur HumanEval, ce qui le place à peu près au niveau de GPT-4o et de Claude 3.5 Sonnet sur beaucoup de benchmarks, malgré le faible coût d’entraînement.
V3 est publié sous licence MIT avec des poids ouverts, et DeepSeek a tarifé son API nettement en dessous des modèles frontier concurrents. Il a ensuite servi de base au-dessus de laquelle l’apprentissage par renforcement orienté raisonnement de R1 a été construit. Son coût d’entraînement est devenu un sujet de discussion dans le secteur : combien de calcul faut-il vraiment pour atteindre une performance de niveau frontier.