BLOOM

BLOOMは、BigScienceが作った1,760億パラメータの言語モデルです。BigScienceは、1,000人を超える研究者による1年間の共同作業で、Hugging Faceが取りまとめ、フランス政府のJean Zayスーパーコンピュータが計算資源を提供しました。2022年7月に、GPT-3のようなクローズドなモデルへの答えとして公開されました。46の自然言語と13のプログラミング言語を含むROOTSコーパスで学習しており、当時は大手ラボの多くが見落としていた、少数派の言語を意識して重視しています。プロジェクトは、重みとあわせて学習データ、コード、完全な技術レポートも公開しました。この規模のモデルとしては珍しいことでした。

BLOOMはRAILライセンスで公開されています。商用利用を認めつつ、特定の有害な用途を禁じる、寛容さと制限を併せ持つライセンスで、BigScienceが広めた方式です。2,048トークンのコンテキスト長と密なアーキテクチャは、今のフロンティアモデルと比べると古く、LlamaやMistralといった、より効率的なオープンウェイトのファミリーにほぼ置き換えられました。それでも、多言語の網羅性や、コミュニティが運営するオープンなモデル開発を論じるときの基準点であり続けています。