Codex

Codexは、OpenAIで最初のコード生成専用モデルで、2021年8月に発表されました。GPT-3の流れをくみ、GitHubの公開ソースコード数十億行でファインチューンされています。公開された最大のバージョンは120億パラメータで、4,096トークンのコンテキスト長を持ちます。OpenAIのHumanEvalベンチマークでは、1回目で問題の28.8%を解き、問題ごとに100回サンプリングできる場合は77.5%まで上がりました。Codexは、2021年にGitHub Copilotが技術プレビューとして始まった際、その元のバージョンを動かしていたモデルです。LLMをチャットや補完のデモではなく、コーディングアシスタントとして大規模に展開した最初の例の1つになりました。OpenAIはプライベートベータのAPIとして数年間提供し、2023年3月に単体のCodex APIを終了して、その機能を後継のGPT-3.5とGPT-4ファミリーのモデルに取り込みました。名前は今も、OpenAIの新しいエージェント型のコーディング製品のブランドとして残っていますが、元のCodexモデルそのものは、APIからは使えません。