DeepSeek R1
Le modèle de raisonnement de DeepSeek qui a égalé les modèles frontier fermés en maths et en code
DeepSeek R1 est un modèle de raisonnement publié par le laboratoire chinois DeepSeek le 20 janvier 2025. Il repose sur une architecture de mélange d’experts de 671 milliards de paramètres, dont 37 milliards actifs par token, et une partie de l’entraînement a été faite par apprentissage par renforcement à grande échelle, pas seulement par fine-tuning supervisé. Ça l’a poussé à dérouler les problèmes étape par étape avant de répondre. Au lancement, il a égalé l’o1 d’OpenAI sur les benchmarks de maths, de programmation et de sciences (90,8 sur MMLU, et parmi les meilleurs modèles de l’époque sur des problèmes du type AIME et Codeforces), avec des poids ouverts sous licence MIT et un tarif d’API très en dessous de celui d’o1.
La sortie a fait du bruit bien au-delà des cercles habituels de la recherche en IA : l’app de DeepSeek a brièvement pris la tête du classement de l’App Store américain, et l’annonce qu’un laboratoire chinois relativement petit avait entraîné un modèle de raisonnement de classe frontier pour une fraction du coût habituel a secoué les actions du secteur. R1 est disponible via l’API et l’interface de chat de DeepSeek. Ses poids ouverts permettent aussi de l’auto-héberger : il est largement recopié sur Hugging Face et servi par des fournisseurs d’inférence tiers.