Mistral 7B

Mistral 7B machte Mistral AI bekannt und war das erste öffentliche Modell des französischen Start-ups. Es erschien am 27. September 2023. Mit sieben Milliarden Parametern lief es auf einer einzelnen Consumer-GPU, übertraf aber Llama 2 13B bei allen von Mistral getesteten Benchmarks und schlug Llama 2 34B bei mehreren Aufgaben zum Schlussfolgern und Programmieren. Es erreichte 60,1 Prozent bei MMLU und 30,5 Prozent bei HumanEval. Grouped-Query-Attention und Sliding-Window-Attention sorgen beim Kontextfenster von 32.000 Tokens für schnelle, speichereffiziente Inferenz.

Mistral veröffentlichte das Modell unter Apache 2.0 ohne Nutzungsbeschränkungen. Für ein Modell dieser Qualität war das damals ungewöhnlich und trug dazu bei, dass es sich über Hugging Face und Werkzeuge wie Ollama und llama.cpp schnell in der Open-Source-Community verbreitete. Es wurde zu einer verbreiteten Grundlage für Fine-Tunes und Modellmischungen. Sein Erfolg machte Mistral AI innerhalb weniger Monate zu einem ernsthaften Wettbewerber von Meta und OpenAI.