Mistral 7B

Mistral 7B es el modelo que dio a conocer a Mistral AI. Se publicó el 27 de septiembre de 2023 como el primer modelo público de la startup francesa. Con 7000 millones de parámetros cabía en una sola GPU de consumo, y aun así superó a Llama 2 13B en todos los benchmarks que probó Mistral, e incluso a Llama 2 34B en varias tareas de razonamiento y de código, con un 60,1 % en MMLU y un 30,5 % en HumanEval. Usa atención de consultas agrupadas (grouped-query attention) y atención de ventana deslizante para que la inferencia sea rápida y gaste poca memoria, con una longitud de contexto de 32 000 tokens.

Mistral lo publicó bajo licencia Apache 2.0, sin restricciones de uso, algo poco habitual entonces para un modelo de esa calidad. Eso ayudó a que se extendiera deprisa por la comunidad de código abierto, a través de Hugging Face y de herramientas como Ollama y llama.cpp. Se convirtió en una base habitual de fine-tunes y merges, y con ese resultado Mistral AI quedó como competidor serio de Meta y de OpenAI a los pocos meses de fundarse la empresa.