DeepSeek-Math
Offenes Modell von DeepSeek, spezialisiert auf mathematisches Schlussfolgern
DeepSeekMath ist ein Modell mit sieben Milliarden Parametern, das DeepSeek speziell für mathematisches Schlussfolgern entwickelte. Es erschien im Februar 2024 und wurde aus DeepSeek-Coder-Base initialisiert. Trainiert wurde es mit 120 Milliarden mathematischen Tokens aus Webdaten sowie mit natürlicher Sprache und Code. Auf dem anspruchsvollen MATH-Benchmark erzielte es 51,7 Prozent, ohne externe Rechner oder Werkzeuge zu verwenden. Damit näherte es sich damals der Leistung deutlich größerer geschlossener Modelle wie Gemini Ultra und GPT-4. DeepSeek veröffentlichte Basis-, instruction-tuned und per Reinforcement Learning abgestimmte Varianten. Für die RL-Version nutzte das Unternehmen Group Relative Policy Optimization, einen in der Arbeit eingeführten Algorithmus, den es später auch für DeepSeek-R1 verwendete. Das Modell hat ein Kontextfenster von 4096 Tokens und richtet sich eher an Forschende und Entwickler für Mathe-Nachhilfe, Beweisführung und quantitative Schlussfolgerungen als an allgemeine Chat-Anwendungen.