Llama 3
Sortie à poids ouverts de Meta en 2024, qui a comblé l'essentiel de l'écart avec les modèles fermés
Llama 3 est la sortie d’avril 2024 qui a comblé une grande partie de l’écart de performance entre les modèles ouverts de Meta et des concurrents fermés comme GPT-4 et Claude 3. Il est sorti en deux tailles, 8B et 70B, toutes deux entraînées sur environ 15 billions de tokens, avec une fenêtre de contexte de 8 192 tokens, plus petite que ce qui est arrivé quelques mois plus tard avec Llama 3.1. Au lancement, Meta disait que le modèle 70B battait Gemini Pro 1.5 et Claude 3 Sonnet sur plusieurs benchmarks, et que le modèle 8B dépassait le bien plus grand Llama 2 70B au MMLU, un saut notable pour un modèle d’environ un neuvième de la taille. Llama 3 est largement remplacé maintenant par les générations 3.1, 3.2 et 3.3, mais c’est la sortie qui a établi la gamme Llama de Meta comme un concurrent sérieux des modèles fermés de premier plan.