CodeGen2

CodeGen2 ist die zweite Generation offener Programmiermodelle von Salesforce Research und erschien im Mai 2023 als Nachfolger des ursprünglichen CodeGen. Es ist in vier Größen mit 1B, 3,7B, 7B und 16B Parametern verfügbar. Die wichtigste Neuerung gegenüber der ersten CodeGen-Version ist die Unterstützung für Infill: Das Modell kann fehlenden Code anhand des umgebenden Codes auf beiden Seiten ergänzen, statt Text nur von links nach rechts zu erzeugen. Dadurch eignet es sich besser für typische Abläufe in Code-Editoren wie Autovervollständigung und Fehlerbehebung, bei denen Code mitten in einer bestehenden Datei ergänzt werden muss.

Die Modelle wurden mit einer Mischung aus natürlicher Sprache und Quellcode aus vielen Programmiersprachen trainiert und unter der freizügigen Apache-2.0-Lizenz über Hugging Face und GitHub veröffentlicht. CodeGen2 wurde mit einem nutzbaren Kontext von etwa 2000 Tokens getestet – nach heutigen Maßstäben wenig, für Programmiermodelle dieser Zeit jedoch üblich. Salesforce positionierte es als forschungsfreundliche Alternative zu geschlossenen Programmiermodellen wie Codex. Später folgte CodeGen2.5, ein kleineres Modell, das auf die Leistung seiner größeren Vorgänger abgestimmt wurde.