CodeGen2

CodeGen2 est la famille de modèles de code ouverts de deuxième génération de Salesforce Research, sortie en mai 2023 à la suite du CodeGen d’origine. Elle existe en quatre tailles : 1B, 3,7B, 7B et 16B de paramètres. Le principal progrès par rapport au premier CodeGen est le remplissage (infilling) : le modèle peut compléter un morceau de code manquant à partir du contexte des deux côtés, au lieu de générer le texte seulement de gauche à droite. Il est donc mieux adapté aux vrais flux de travail dans un éditeur, comme l’autocomplétion et la réparation de code, là où il faut écrire au milieu d’un fichier déjà là.

Les modèles sont entraînés sur un mélange de langue naturelle et de code source, dans de nombreux langages de programmation, et publiés sous la licence permissive Apache 2.0 via Hugging Face et GitHub. CodeGen2 a été testé avec un contexte utile d’environ 2 000 tokens, modeste aux standards d’aujourd’hui, mais typique des modèles de code de cette époque. Salesforce le présentait comme une alternative commode pour la recherche, face à des modèles de code fermés comme Codex. Il a ensuite été suivi de CodeGen2.5, un modèle plus petit réglé pour égaler les performances de prédécesseurs plus gros.