Llama 3.1 8B

Llama 3.1 8B est le petit palier de la même sortie de juillet 2024, fait pour les gens qui veulent faire tourner un modèle capable sur un seul GPU, ou même sur un ordinateur portable haut de gamme. Il partage la fenêtre de contexte de 128 000 tokens et l’entraînement multilingue de ses grands frères, et il obtient un score plus haut que le Llama 3 8B d’origine au MMLU et au HumanEval, grâce à plus de données d’entraînement et à un post-training affiné. Les développeurs l’utilisent pour des assistants sur l’appareil, du traitement par lots peu coûteux et des expériences de fine-tuning, là où les modèles 70B ou 405B seraient trop lourds ou trop chers à servir. Il tourne facilement avec des outils comme Ollama, et c’est l’un des modèles les plus téléchargés sur Hugging Face.