Llemma 7B
El modelo abierto de EleutherAI, con preentrenamiento continuado sobre texto de matemáticas y ciencias
Llemma 7B es un modelo de lenguaje centrado en matemáticas de EleutherAI, publicado en octubre de 2023 al continuar el preentrenamiento sobre Code Llama 7B, en lugar de empezar de cero. EleutherAI lo entrenó más sobre Proof-Pile-2, una mezcla de 200 000 millones de tokens de artículos de matemáticas, demostraciones formales y texto web con mucha matemática, de modo que se especializa en el razonamiento matemático por cadena de pensamiento y puede llamar a herramientas como Python o demostradores formales de teoremas al resolver problemas. Hay tamaños de 7B y 34B, y ambos estaban entre los modelos de matemáticas disponibles en abierto más fuertes en el momento de la publicación. Como hereda los pesos de base de Code Llama, lleva la Llama 2 Community License y no una del todo permisiva, lo que limita algunos usos comerciales frente a licencias como Apache 2.0.