Mistral 7B

Mistral 7B est le modèle qui a fait connaître Mistral AI. Il est sorti le 27 septembre 2023, premier modèle public de la startup française. À 7 milliards de paramètres, il était assez petit pour tourner sur un seul GPU grand public, et il a pourtant battu Llama 2 13B sur chaque benchmark testé par Mistral, et même dépassé Llama 2 34B sur plusieurs tâches de raisonnement et de code, avec 60,1 % au MMLU et 30,5 % sur HumanEval. Il utilise la grouped-query attention et la sliding-window attention pour garder une inférence rapide et économe en mémoire, sur une fenêtre de contexte de 32 000 tokens.

Mistral l’a publié sous licence Apache 2.0, sans restriction d’usage, ce qui était rare pour un modèle de cette qualité à l’époque et l’a aidé à se répandre vite dans la communauté open source, via Hugging Face et des outils comme Ollama et llama.cpp. Il est devenu une base courante pour des fine-tunes et des fusions, et ce succès a installé Mistral AI comme un concurrent sérieux de Meta et d’OpenAI, quelques mois après la création de l’entreprise.