Llemma 7B

Llemma 7BはEleutherAIの数学特化モデルで、Code Llama 7Bを基盤に追加事前学習し2023年10月に公開しました。数学論文、形式的証明、数学中心のウェブ文章を集めた2,000億トークンのProof-Pile-2で学習し、思考過程を伴う数学推論に特化しています。問題解決時にPythonや形式的定理証明器も利用できます。70億と340億パラメータ版があり、公開時はいずれも高性能な公開数学モデルでした。Code Llama由来のためLlama 2 Community Licenseが適用され、Apache 2.0より商用利用に制限があります。