DeepSeek-V2

DeepSeek-V2 est un modèle de langage à mélange d’experts que DeepSeek a publié en mai 2024, avec 236 milliards de paramètres au total et 21 milliards actifs par token. Son apport technique principal est la Multi-head Latent Attention, une méthode qui compresse le cache clé-valeur, réduit fortement l’usage mémoire et permet de servir bien plus de tokens par seconde que l’ancien modèle dense de 67B de DeepSeek, sur le même hardware. Entraîné sur 8,1 billions de tokens avec une fenêtre de contexte de 128K, il se plaçait bien sur MMLU et les benchmarks de code face aux autres modèles ouverts de l’époque.

Ce qui a fait remarquer V2, ce n’était pas seulement l’architecture, c’était le prix : DeepSeek a lancé son API à une fraction de ce que facturaient les concurrents chinois et occidentaux, ce qui a déclenché une série de baisses dans le secteur. Les commentateurs de l’époque ont parlé d’une « guerre des prix ». Les techniques MLA et DeepSeekMoE introduites ici se retrouvent dans tous les modèles DeepSeek suivants, dont V3 et R1. V2 est donc la base architecturale des sorties frontier ultérieures de l’entreprise.