Llama 3.3
Modèle 70B à poids ouverts et économe de Meta, au niveau de prédécesseurs plus grands
Llama 3.3 est un modèle texte seul de 70B que Meta a sorti en décembre 2024 comme mise à niveau directe de Llama 3.1 70B. Meta l’a ajusté avec de nouvelles techniques de post-training plutôt qu’en ajoutant des paramètres, et il finit par égaler ou dépasser le modèle 405B de la même famille sur le suivi d’instructions et les maths, tout en étant environ six fois plus petit. Les scores HumanEval et MMLU ont tous les deux progressé par rapport à Llama 3.1 70B, et des benchmarks indépendants montrent qu’il tient bien face aux modèles contemporains d’autres labos sur les tâches courantes. Comme il coûte bien moins cher à faire tourner qu’un modèle 405B, Llama 3.3 70B est vite devenu un choix courant sur des plateformes d’inférence comme Together AI et Groq, pour les équipes qui veulent une qualité proche du modèle phare à un prix plus bas.