DeepSeek-Coder-33B
Ancien modèle de code phare de DeepSeek, avant DeepSeek-Coder-V2
DeepSeek-Coder-33B est un modèle de langage centré sur le code, sorti par DeepSeek en novembre 2023, avant que l’entreprise soit largement connue pour ses modèles de raisonnement plus tardifs. Il a été entraîné depuis zéro sur 2 billions de tokens, surtout répartis entre le code et la langue naturelle, avec une fenêtre de contexte de 16 000 tokens et un entraînement au niveau du projet, qui lui permet de raisonner sur plusieurs fichiers plutôt que sur des extraits isolés. La version ajustée pour les instructions a obtenu 79,3 % en pass@1 sur HumanEval à la sortie, devant la plupart des modèles de code ouverts de l’époque, et pas loin de GPT-3.5 sur les benchmarks de code. Il gère la complétion fill-in-the-middle pour les éditeurs, et couvre un large éventail de langages. DeepSeek l’a depuis remplacé par DeepSeek-Coder-V2, un modèle à mélange d’experts plus gros, avec une fenêtre de contexte plus longue. Le 33B reste toutefois sur Hugging Face pour l’auto-hébergement.