GPT-2

GPT-2は、OpenAIの15億パラメータの言語モデルです。2019年2月のブログ記事で初めて紹介され、2019年11月5日に全体が公開されました。通常のリリースとは違い、OpenAIは9か月に分けて段階的に出しています。2月に1億2400万パラメータのチェックポイント、5月に3億5500万、8月に7億7400万、そして11月に、完全なコードと一緒に15億パラメータの全モデルを出しました。コンテキスト長は1,024トークン、語彙は50,257トークンで、Redditの外部リンクから集めたコーパスのWebTextで学習しています。

最大のチェックポイントを最初に出さなかったOpenAIの判断は、大きな注目を集めました。AI研究機関が、もっともらしい偽の文章が自動で生成される恐れという悪用リスクを、公開を遅らせる理由に挙げた最初期の例の1つだったためです。今振り返ると、その公開保留の期間は、責任ある開示の先例をつくったことでも、GPT-2自体の能力と同じくらい記憶されています。能力そのものは、後のGPTモデルと比べると控えめに見えますが、当時はその流暢さと一貫性で驚きをもって受け止められました。