Jamba Large 1.6

Jamba Large 1.6はTransformerのアテンション層とMambaの状態空間モデル層を組み合わせた、AI21 Labsの最上位言語モデルです。2025年3月、Jamba Mini 1.6とともにJamba 1.6シリーズの一部として公開されました。総パラメータ数は3,980億ですが、MoE設計により推論時に使うのは940億で、計算コストを抑えながら25万6,000トークンのコンテキストに対応します。長文書、契約書、コードベースを外部へ送信せず処理したい企業向けに提供され、自社環境への導入とAPI利用の両方が可能です。AI21のベンチマークでは、Meta、Mistral、Cohereのオープンモデルを複数のタスクで上回りました。また、Mamba層が長い系列を効率よく扱うため、同規模の密なTransformerより大幅に高速に動作します。