Mistral 7B

Mistral 7BはMistral AIを広く知らしめたモデルで、フランスのスタートアップが2023年9月27日に初めて公開しました。70億パラメータと小さく、一般向けGPU1台で動かせる一方、Mistralが試したすべてのベンチマークでLlama 2 13Bを上回り、推論とプログラミングの複数タスクではLlama 2 34Bも超えました。MMLUで60.1％、HumanEvalで30.5％を記録しています。Grouped-query attentionとsliding-window attentionを使い、3万2,000トークンのコンテキストでも高速でメモリ効率のよい推論を実現します。

Apache 2.0ライセンスで利用制限なく公開されました。当時、この品質のモデルとしては珍しく、Hugging FaceやOllama、llama.cppなどを通じてオープンソースコミュニティに急速に広まりました。ファインチューニングやモデル統合の基盤として広く使われ、公開から数か月でMistral AIをMetaやOpenAIに対抗する企業として確立しました。