Llama 3.1 405B
El modelo denso de pesos abiertos más grande de Meta, a la altura de los modelos cerrados de frontera
Llama 3.1 405B es el modelo Llama 3.1 más grande de Meta, publicado el 23 de julio de 2024 como un transformer denso de 405 000 millones de parámetros, no como un diseño de mezcla de expertos. Admite una ventana de contexto de 128 000 tokens y obtuvo 88,6 en MMLU y 89,0 en HumanEval, en la misma franja que GPT-4 tanto en conocimiento como en benchmarks de programación. Fue el primer modelo de pesos abiertos que igualó de verdad a un modelo cerrado de frontera, en lugar de ir una generación por detrás, y Meta lo publicó junto a versiones más pequeñas de 70B y 8B entrenadas del mismo modo, para que los desarrolladores eligieran el equilibrio entre calidad y coste. Se puede autoalojar a través de Hugging Face, y usar por inferencia alojada en Together AI, Fireworks, AWS Bedrock, Azure y Google Cloud; los proveedores lo cobran bastante por debajo de los modelos cerrados equivalentes, porque Meta no cobra por los pesos. Llama 3.1 405B reforzó el argumento de Meta: un modelo abierto puede situarse en la frontera, en lugar de quedar como una alternativa más barata y más floja.