DeepSeek LLM 67B
Das erste dichte Grundlagenmodell von DeepSeek mit offenen Gewichten
DeepSeek LLM 67B ist das erste dichte Grundlagenmodell von DeepSeek. Es wurde im November 2023 veröffentlicht, bevor sich das Unternehmen den Mixture-of-Experts-Architekturen seiner späteren V2- und V3-Reihen zuwandte. Der dichte Transformer mit 67 Milliarden Parametern wurde mit zwei Billionen englischen und chinesischen Text-Tokens trainiert. Bei MMLU erzielte er ungefähr 71,9 Punkte und lag damit bei Benchmarks zum Allgemeinwissen etwa auf dem Niveau von Llama 2 70B, während er es bei mehreren chinesischsprachigen Aufgaben übertraf. Das Kontextfenster von 4096 Tokens ist nach heutigen Maßstäben vergleichsweise kurz und entsprach den Trainingsbedingungen Ende 2023. Das Modell wurde als Basis- und Chatvariante unter einer freizügigen DeepSeek-Lizenz veröffentlicht, die kommerzielle Nutzung erlaubt, und bildete die Grundlage für die späteren, stärker verbreiteten Modelle von DeepSeek.