DeepSeek-MoE-16B

DeepSeek-MoE-16B, sorti en janvier 2024, était le premier essai de DeepSeek d’un mélange d’experts à grain fin, et ses choix de conception ont été repris dans les modèles V2 et V3. Il a 16,4 milliards de paramètres au total, mais seulement environ 2,8 milliards actifs par token. Ça vient de deux techniques décrites dans l’article : découper les experts en unités plus petites et plus spécialisées, et isoler un ensemble d’experts partagés qui s’activent toujours, pour capter le savoir commun. Entraîné depuis zéro sur 2 billions de tokens anglais et chinois, il a atteint un niveau comparable aux modèles denses DeepSeek 7B et Llama 2 7B, avec à l’inférence environ 40 % seulement du calcul que ces modèles demandent. La fenêtre de contexte est de 4 096 tokens. Il est sorti sous la licence ouverte de DeepSeek, pour un usage auto-hébergé, surtout comme démonstration de recherche sur la spécialisation des experts, pas comme une sortie pensée pour la production.