BLOOMZ

BLOOMZは、BigScienceによるBLOOMの指示チューニング版で、2022年末に公開されました。1,760億パラメータのベースモデルを、自然言語の指示として書かれた多言語タスクの大規模なコレクションxP3でファインチューンしています。このプロジェクトの狙いは言語をまたぐ汎化でした。BLOOMZは主に英語の指示でチューニングされましたが、BLOOMの元の事前学習で出会った言語であれば、ファインチューンで指示と組み合わせて見ていない言語でも、指示に従えることを示しました。指示に従う能力が、言語ごとに別々のチューニングを要さず、言語間で転移することを示した、初期の公開デモの1つです。

BLOOMと同じく、BLOOMZはベースモデルの2,048トークンのコンテキスト長と、密なTransformerのアーキテクチャを引き継いでいます。ライセンスも同じRAILで、広い用途を認めつつ、禁止する用途のリストがあります。今は、本番のチャットモデルというより、多言語の指示チューニングを研究する人の関心が中心です。新しい指示チューニング済みのオープンモデルのほうが、同程度かそれ以下の計算コストで、品質が高くコンテキスト長もはるかに長いためです。