Llemma 7B
Modèle ouvert d'EleutherAI, préentraîné en continu sur des textes de maths et de sciences
Llemma 7B est un modèle de langage centré sur les maths d’EleutherAI, sorti en octobre 2023 en poursuivant le préentraînement par-dessus Code Llama 7B, plutôt qu’en partant de zéro. EleutherAI l’a entraîné davantage sur Proof-Pile-2, un mélange de 200 milliards de tokens d’articles de maths, de preuves formelles et de texte web chargé en maths, donc il se spécialise dans le raisonnement mathématique en chaîne de pensée et peut appeler des outils comme Python ou des prouveurs de théorèmes formels pour résoudre des problèmes. Il existe en 7B et en 34B, et les deux figuraient parmi les modèles de maths ouvertement disponibles les plus solides au moment de la sortie. Comme il hérite de ses poids de base de Code Llama, il porte la Llama 2 Community License plutôt qu’une licence pleinement permissive, ce qui limite certains usages commerciaux par rapport à des licences comme Apache 2.0.