Codestral Mamba

Codestral Mamba est un modèle de génération de code que Mistral AI a sorti en juillet 2024. Son intérêt tient surtout à l’architecture : au lieu du transformeur qu’utilisent presque tous les autres modèles de code, il repose sur Mamba, une architecture de modèle à espace d’états. Ces modèles traitent les séquences avec un coût linéaire, et non quadratique, selon la longueur. La vitesse d’inférence baisse donc moins vite quand le contexte s’allonge. Mistral l’a taillé à environ 7 milliards de paramètres et lui a donné une fenêtre de contexte de 256 000 tokens. L’entreprise indique des performances de récupération en contexte qui restent fiables même à cette longueur.

Sur HumanEval, Codestral Mamba tourne autour de 75 % en pass@1, au niveau de modèles de code à transformeur bien plus gros. Il est publié sous licence Apache 2.0 : les poids se téléchargent, s’ajustent par fine-tuning et s’utilisent dans un cadre commercial. Il est aussi disponible via l’API de Mistral, à 0,25 $ par million de tokens d’entrée et de sortie. Mistral le présentait comme une preuve de concept. Les architectures à espace d’états peuvent égaler les transformeurs sur de vraies tâches de code, avec une inférence plus rapide et moins chère pour les usages à long contexte, comme le raisonnement sur de grands dépôts.