DeepSeek-R1-Distill-Llama-70B

DeepSeek-R1-Distill-Llama-70Bは、DeepSeekが2025年1月にDeepSeek-R1と同時に公開した蒸留推論モデルです。推論モデルをゼロから学習する代わりに、DeepSeekはMetaのLlama 3.3 70B Instructを、完全版のR1が生成した推論過程でファインチューンしました。これでR1の連鎖的思考による問題解決の力の多くを、より小さく、動かすコストも低い構成に移しています。DeepSeekが公開したR1の蒸留バージョン6つのうち最大で、ベースはQwenとLlamaにわたり、1.5Bから70Bまでのパラメータ数があります。公開時にはAIME 2024でpass@1が70.0%、MATH-500で94.5%となり、同じ数学ベンチマークでGPT-4oやClaude 3.5 Sonnetのような汎用モデルを大きく上回りました。コンテキスト長はLlama 3.3のベースから引き継いだ128,000トークンです。ライセンスはLlama 3.3 Community Licenseで、重みはHugging Faceにあり、Together AIなどのプロバイダー経由でホスティングAPIも使えます。