Code Llama

Code Llama es la versión de Llama 2 de Meta centrada en código, publicada en agosto de 2023. Se entrenó más a fondo con datos ricos en código sobre los pesos base de Llama 2 y salió en tres tamaños fundacionales (7B, 13B y 34B de parámetros), cada uno con una versión base, una versión especializada en Python y una versión ajustada para instrucciones, para ayuda a programar al estilo de un chat. Meta añadió después una variante de 70B. Un cambio clave respecto al modelo Llama 2 base fue ampliar la ventana de contexto de 4096 tokens hasta 100 000 tokens, mediante un ajuste de los embeddings posicionales RoPE, lo que hizo al modelo mucho más útil para leer y editar archivos largos o bases de código enteras de una pasada.

En el benchmark HumanEval, el modelo de 34B obtuvo un 53,7 % de pass@1, más o menos a la par de GPT-3.5 en el momento de la publicación, aunque muy por detrás de GPT-4. Code Llama se publica bajo la misma licencia Llama 2 Community License que su modelo de origen, que permite el uso comercial para la mayoría de las empresas, y sus pesos se pueden descargar de forma gratuita en Hugging Face. Fue uno de los primeros modelos de programación de pesos abiertos de adopción amplia y fijó una plantilla con la que competirían después otros modelos de código abiertos, entre ellos Codestral y DeepSeek Coder.