DeepSeek-Math

DeepSeekMathはDeepSeekが数学的推論のために作った70億パラメータのモデルで、2024年2月に公開されました。DeepSeek-Coder-Baseを初期値にしています。ウェブデータから集めた数学関連の1200億トークンに、自然言語とコードを加えて学習しました。競技レベルのMATHベンチマークでは、外部の電卓やツールを使わずに51.7%を記録しています。これは当時、Gemini-UltraやGPT-4のようなはるかに大きなクローズドモデルに近い水準でした。ベース、指示チューニング、強化学習チューニングの3つのバージョンが公開され、強化学習版はGroup Relative Policy Optimizationで学習されています。これはDeepSeekがこの論文で導入し、のちにDeepSeek-R1でも使ったアルゴリズムです。コンテキスト長は4,096トークンです。汎用のチャットよりも、数学の指導、定理証明、定量的な推論に取り組む研究者や開発者を想定しています。