Llemma 7B

Llemma 7B ist ein auf Mathematik spezialisiertes Sprachmodell von EleutherAI, veröffentlicht im Oktober 2023. Statt von Grund auf neu zu beginnen, setzte das Training auf Code Llama 7B auf. EleutherAI trainierte es weiter mit Proof-Pile-2, einer Mischung aus 200 Milliarden Tokens aus Mathematikarbeiten, formalen Beweisen und mathematiklastigen Webtexten. Das Modell ist auf schrittweises mathematisches Schlussfolgern spezialisiert und kann beim Lösen Aufgaben Werkzeuge wie Python oder formale Beweisprüfer aufrufen. Es gibt Varianten mit 7 und 34 Milliarden Parametern; beide gehörten bei der Veröffentlichung zu den stärksten offenen Mathematikmodellen. Da die Basisgewichte von Code Llama stammen, gilt die Llama-2-Community-Lizenz statt einer vollständig freizügigen Lizenz wie Apache 2.0. Dadurch sind einige kommerzielle Nutzungen eingeschränkt.