DeepSeek-MoE-16B
DeepSeeks frühes fein abgestimmtes Mixture-of-Experts-Modell, das spätere MoE-Architekturen prägte
DeepSeek-MoE-16B erschien im Januar 2024 als früher Versuch von DeepSeek mit einer fein abgestimmten Mixture-of-Experts-Architektur. Seine Designentscheidungen flossen in die späteren Modelle V2 und V3 ein. Das Modell umfasst insgesamt 16,4 Milliarden Parameter, aktiviert pro Token jedoch nur etwa 2,8 Milliarden. Der Forschungsbeitrag beschreibt dafür zwei Techniken: Experten werden in kleinere, stärker spezialisierte Einheiten aufgeteilt und eine Gruppe gemeinsam genutzter Experten wird stets aktiviert, um allgemeines Wissen abzudecken. Das Modell wurde von Grund auf mit zwei Billionen englischen und chinesischen Tokens trainiert. Es erreichte eine mit den dichten Modellen DeepSeek 7B und Llama 2 7B vergleichbare Leistung und benötigte bei der Inferenz nur etwa 40 Prozent des Rechenaufwands. Das Kontextfenster umfasst 4096 Tokens. Die Veröffentlichung unter DeepSeeks offener Lizenz diente vor allem dazu, die Spezialisierung von Experten zu demonstrieren, und weniger als produktionsorientiertes Angebot.