Falcon Mamba 7B

Falcon Mamba 7Bは、Technology Innovation Instituteが2024年8月に公開したモデルで、transformerのアテンションではなく、状態空間アーキテクチャのMambaだけで作られた、初の高性能な7Bオープン言語モデルです。アテンション機構がないため、生成する系列が長くなってもメモリ使用量と推論速度は一定です。系列長に応じて計算量が増えるtransformerとは違います。TIIは段階的に学習し、扱えるコンテキストを2,048トークンから8,192トークンまで広げました。ベンチマークの比較では、Mistral 7BやMetaのLlama 3.1 8Bなど、同じ規模のtransformerモデルに並ぶか上回りました。RecurrentGemma 9BやRWKV-v6といったtransformer以外のモデルも上回っています。重みはHugging FaceでTII独自のFalcon Mambaライセンスのもと配布されています。長い系列を扱う処理で、アテンション型とは別の選択肢がほしい研究者や開発者が対象です。