GPT-Neo 2.7B

GPT-Neo 2.7Bは27億パラメータの言語モデルです。EleutherAIが125Mと1.3Bの小型版とともに2021年3月21日に公開した、同グループ初の一般公開モデル群の1つです。mesh-tensorflowライブラリでGPT-3アーキテクチャを再現し、The Pileで約4,200億トークンを使って学習しました。コンテキスト長は2,048トークンで、当時のOpenAI GPT-3小型版に近い一般的な文章生成能力を備えていました。OpenAIがGPT-3をダウンロード可能にしていなかったため、EleutherAIはApache 2.0ライセンスで公開しました。GPT-JやGPT-NeoX-20Bが登場するまでの数か月間、研究者や愛好家はチャットボットから創作支援ツールまで幅広く利用しました。後発の2モデルより前の世代で、現在は主に歴史的な位置づけですが、一般向けGPU 1枚で無理なく動作するため、より大型のオープンモデルが普及した後もリソースが限られたプロジェクトで使われました。