Granite 13B

Granite 13Bは、IBMが企業向けAIプラットフォームwatsonx向けに開発した初期基盤モデルの1つです。一般的なチャットではなく業務用途を狙ったGraniteモデル群とともに、2023年9月7日に発表されました。130億パラメータを持ち、マルチクエリアテンションと学習済み位置埋め込みを採用しています。EleutherAIのGPT-NeoX-20Bと同じトークナイザーで学習され、コンテキスト長は8,192トークンです。銀行や保険など規制のある業界での文書要約、質問応答、テキスト分類を想定し、学習データの著作権リスクを懸念する顧客向けにIBM標準の補償も付属しました。当時OpenAIやAnthropicが提供していなかった点をIBMは販売上の利点としていました。独自ライセンスでwatsonxからのみ利用でき、後にHugging Faceでオープンライセンスの重みを提供したGranite 3世代とは異なります。企業向けラインアップがオープンウェイト化し、主流モデルに近いベンチマーク性能を目指す中で、後継のGranite各版に置き換えられました。