CodeGen2

CodeGen2 es la familia de segunda generación de modelos de código abiertos de Salesforce Research, publicada en mayo de 2023 como continuación del CodeGen original. Llega en cuatro tamaños: 1B, 3,7B, 7B y 16B de parámetros. La mejora principal respecto al primer CodeGen es el soporte de infilling: el modelo puede rellenar un fragmento de código que falta a partir del contexto que lo rodea por los dos lados, en lugar de generar texto solo de izquierda a derecha. Eso lo hace más adecuado para flujos reales de un editor, como el autocompletado y la reparación de código, donde el modelo tiene que escribir código en medio de un archivo que ya existe.

Los modelos se entrenan con una mezcla de lenguaje natural y código fuente de muchos lenguajes de programación, y se publican bajo la licencia permisiva Apache 2.0 a través de Hugging Face y GitHub. CodeGen2 se probó con un contexto de trabajo de unos 2000 tokens, modesto para los estándares de hoy pero típico de los modelos de código de aquella época. Salesforce lo situó como alternativa amable para la investigación frente a modelos de código cerrados como Codex, y después llegó CodeGen2.5, un modelo más pequeño ajustado para igualar el rendimiento de predecesores más grandes.