CodeGen2

CodeGen2は、Salesforce Researchの第2世代のオープンなコードモデルのファミリーで、元のCodeGenの後継として2023年5月に公開されました。サイズは1B、3.7B、7B、16Bパラメータの4種類です。最初のCodeGenからの主な改良点は、インフィリングに対応したことです。左から右へテキストを生成するだけでなく、前後の文脈をもとに、抜けているコードの一部を埋められます。そのため、既存のファイルの途中にコードを書く必要があるオートコンプリートやコード修復のような、実際のエディタのワークフローに向いています。

モデルは、自然言語と多くのプログラミング言語のソースコードを混ぜて学習しており、寛容なApache 2.0ライセンスで、Hugging FaceとGitHubから公開されています。CodeGen2は約2,000トークンの作業コンテキストでテストされました。今の基準では控えめですが、当時のコードモデルとしては標準的でした。SalesforceはCodexのようなクローズドなコードモデルに代わる、研究者が使いやすい選択肢として位置づけています。その後、より大きな前身モデルの性能に合わせて調整された、小型のCodeGen2.5が続きました。