DeepSeek LLM 67B
Premier modèle de fondation dense à poids ouverts de DeepSeek
DeepSeek LLM 67B est le premier modèle de fondation dense de DeepSeek, sorti en novembre 2023, avant le virage vers les mélanges d’experts des lignes V2 et V3. C’est un transformeur dense de 67 milliards de paramètres, entraîné sur 2 billions de tokens de texte anglais et chinois. Il a obtenu environ 71,9 au MMLU, à peu près au niveau de Llama 2 70B sur les benchmarks de connaissance générale, tout en le dépassant sur plusieurs tâches en chinois. La fenêtre de contexte de 4 096 tokens est assez courte pour les standards plus tardifs, ce qui reflète les habitudes des entraînements de fin 2023. Il est sorti en versions de base et de chat, sous une licence DeepSeek permissive qui autorise l’usage commercial. C’est la base sur laquelle DeepSeek a construit ses modèles suivants, plus largement utilisés.