Galactica

Galacticaは、Meta AIが科学のために作った言語モデルです。ほとんどの大規模言語モデルが学習に使う一般的なウェブのテキストではなく、4800万点の論文、教科書、参考資料、百科事典で学習しています。Metaは2022年11月に、1億2500万から1200億パラメータまでのサイズで公開しました。最大のバージョンは、選別した科学テキストの約1060億トークンで学習されています。引用の生成、数学の問題を解くこと、化学の表記を書くこと、Wikipedia風の記事の下書きができ、Metaは研究者が論文を要約し、科学文献を検索するためのツールとして売り込みました。

公開デモは、公開から3日以内に取り下げられました。ユーザーが、でっち上げの引用や、権威ある口調で言い切られた誤った科学的主張をモデルが出す例を示したためです。この件は、十分な安全策なしに生成モデルを公開するリスクを示す、早い時期の例としてよく引用されます。ChatGPTの公開の約2週間前の出来事でした。Metaは研究者向けに、モデルの重みを非商用ライセンスでHugging Faceで入手できる状態にしています。Galacticaは今では、実際に使われるツールというより、戒めとなる事例として言及されることが多いモデルです。