DeepSeek-R1-Distill-Llama-70B

DeepSeek-R1-Distill-Llama-70B es un modelo de razonamiento destilado que DeepSeek publicó junto a DeepSeek-R1 en enero de 2025. En lugar de entrenar un modelo de razonamiento desde cero, DeepSeek hizo fine-tuning de Llama 3.3 70B Instruct de Meta con trazas de razonamiento generadas por el modelo R1 completo, y trasladó gran parte de la capacidad de resolución de problemas por cadena de pensamiento de R1 a una arquitectura más pequeña y más barata de ejecutar. Es la más grande de las seis variantes destiladas de R1 que publicó DeepSeek, sobre modelos base Qwen y Llama de 1,5B hasta 70B de parámetros, y en la publicación obtuvo un 70,0 % de pass@1 en AIME 2024 y un 94,5 % en MATH-500, muy por delante de modelos de uso general como GPT-4o y Claude 3.5 Sonnet en los mismos benchmarks de matemáticas. Lleva una ventana de contexto de 128 000 tokens, heredada de su base Llama 3.3, y se distribuye bajo la Llama 3.3 Community License, con pesos en Hugging Face y acceso por API alojada a través de proveedores que incluyen Together AI.