DeepSeek LLM 67B

DeepSeek LLM 67BはDeepSeekが最初に出した密結合の基盤モデルで、2023年11月に公開されました。この後、同社はのちのV2やV3で使うMixture-of-Expertsアーキテクチャへ移っていきます。670億パラメータの密結合transformerで、英語と中国語のテキスト2兆トークンで学習しました。MMLUのスコアは約71.9で、一般知識のベンチマークではLlama 2 70Bとほぼ同等、いくつかの中国語タスクではそれを上回りました。コンテキスト長は4,096トークンと、のちの基準では短めです。これは2023年後半の学習の水準を反映しています。ベースとチャットの両バージョンが、商用利用を認める寛容なDeepSeekライセンスで公開されました。その後DeepSeekがより広く使われるモデルを作るうえでの土台にもなっています。