Llama 3
La publicación de pesos abiertos de Meta de 2024 que cerró casi toda la distancia con los modelos cerrados
Llama 3 es la publicación de abril de 2024 que cerró buena parte de la distancia de rendimiento entre los modelos abiertos de Meta y competidores cerrados como GPT-4 y Claude 3. Salió en dos tamaños, 8B y 70B, ambos entrenados con unos 15 billones de tokens y una ventana de contexto de 8192 tokens, más corta que la que llegó meses después con Llama 3.1. En el lanzamiento, Meta dijo que el modelo de 70B superaba a Gemini Pro 1.5 y a Claude 3 Sonnet en varios benchmarks, y que el de 8B superaba al Llama 2 70B, mucho más grande, en MMLU: un salto notable para un modelo de cerca de una novena parte del tamaño. Llama 3 queda en gran medida sustituido por las generaciones 3.1, 3.2 y 3.3, pero fue la publicación que situó la línea Llama de Meta como rival serio de los modelos cerrados de frontera.