GPT-NeoX-20B

GPT-NeoX-20Bは200億パラメータの言語モデルです。EleutherAIは、MegatronとDeepSpeedを基盤に独自開発した学習フレームワークGPT-NeoXを約1年かけて整備し、2022年4月に発表しました。公開時点では、重みをダウンロードできる最大の高密度自己回帰型言語モデルでした。The Pileで学習し、コンテキスト長は2,048トークンです。EleutherAI独自の評価環境では、多くの標準NLPベンチマークでOpenAIのCurieとDavinciの中間に位置し、数学文章題のワンショット評価ではGPT-3の175B版を上回りました。チームはこの結果を、学習データの質がモデル規模と同じほど重要である証拠として紹介しました。Apache 2.0ライセンスでHugging Faceから公開され、研究者はクローズドAPIへのアクセスなしに大規模モデルを調べ、ファインチューニングできました。後にさらに大きく効率的なオープンモデルが登場しましたが、オープンソースLLM研究の基盤となった学習コードの参照例として影響を残しました。