Codestral Mamba

Codestral Mambaは、Mistral AIが2024年7月に公開したコード生成モデルで、特徴はおもにそのアーキテクチャです。ほとんどすべてのコードモデルが使うTransformerではなく、状態空間モデルのアーキテクチャであるMambaで作られています。状態空間モデルは、系列長に対して2乗ではなく線形にスケールして系列を処理します。そのため、コンテキストが長くなっても、推論速度の低下が緩やかです。Mistralはおよそ70億パラメータで作り、256,000トークンのコンテキスト長を持たせました。同社は、その長さでも、コンテキスト内の検索が安定して働くと報告しています。

HumanEvalでは、Codestral Mambaはpass@1で約75パーセントで、はるかに大きなTransformerベースのコードモデルと競える水準です。Apache 2.0ライセンスで公開されており、重みを自由にダウンロードし、ファインチューンし、商用で使えます。MistralのAPIでも、入力と出力の100万トークンあたり0.25ドルで使えます。Mistralは、状態空間アーキテクチャが、実際のコーディングタスクでTransformerに並べることの実証だと位置づけました。大きなリポジトリを扱った推論のような、長いコンテキストの用途で、より速く安い推論ができるという点も挙げています。