Jamba 1.5 Large

Jamba 1.5 LargeはAI21 LabsのJambaシリーズ最上位モデルで、2024年8月22日に公開されました。TransformerのアテンションブロックとMambaの状態空間レイヤーをMoE構成で組み合わせ、総パラメータ数3,980億のうち推論時に使うのは940億です。この設計により、同等の品質を持つ密なTransformerよりメモリ使用量と推論コストを抑えながら、当時、オープンライセンスのモデルでは最長級の25万6,000トークンのコンテキストを扱えます。AI21は自社APIで入力100万トークンあたり2ドル、出力100万トークンあたり8ドルに設定しました。重みはHugging FaceとAWS BedrockでもJamba Open Model Licenseのもと配布されています。長文書の分析、要約、検索拡張生成などの企業用途を想定し、同分野ではMixtral 8x22BやCommand R+と競合します。