DeepSeek V3

DeepSeek V3は、DeepSeekが2024年12月26日に公開した、6710億パラメータのMixture-of-Expertsモデルで、1トークンあたりの有効パラメータ数は370億です。推論を行わないベースモデルで、V2と同じMulti-head Latent AttentionとDeepSeekMoEのアーキテクチャで作られています。DeepSeekはGPU時間で約560万ドルかけて学習したと報告しており、これは欧米のラボが同等のモデルに使っていた額よりはるかに低い数字です。MMLUは88.5、HumanEvalは82.6で、学習コストが低いにもかかわらず、多くのベンチマークでGPT-4oやClaude 3.5 Sonnetとほぼ同等でした。

V3はオープンウェイトでMITライセンスのもと公開され、DeepSeekはAPIの価格を競合の最先端モデルよりずっと低く設定しました。のちにR1の推論向け強化学習を積み上げるベースモデルとなっています。コスト効率の高さは、最先端レベルの性能に届くまでに実際どれだけの計算量が必要なのかをめぐって、業界全体の話題になりました。