Llama 3.1 70B
El nivel intermedio de la familia Llama 3.1 de Meta, entre los modelos de 8B y de 405B
Llama 3.1 70B es el nivel intermedio de la familia Llama 3.1 que Meta publicó en julio de 2024, entre la versión de 8000 millones de parámetros y el modelo insignia de 405 000 millones. Meta entrenó toda la familia con más de 15 billones de tokens y alargó la ventana de contexto a 128 000 tokens, un salto grande respecto a los 8192 del Llama 3 original. El modelo de 70B sumó soporte multilingüe y un mejor uso de herramientas, y en benchmarks como MMLU y HumanEval queda cerca del 405B, mucho más grande, con una fracción del coste de cómputo. Como Meta publicó los pesos en abierto bajo la Llama 3.1 Community License, el nivel de 70B se convirtió en una opción habitual para empresas que querían buena calidad y podían autoalojarla o usarla a través de proveedores de API de terceros, como Together AI y AWS Bedrock.