DeepSeek V3
Modelo eficiente de mezcla de expertos de DeepSeek, entrenado por una fracción del coste de los rivales
DeepSeek V3 es un modelo de mezcla de expertos de 671 000 millones de parámetros, con 37 000 millones activos por token, que DeepSeek publicó el 26 de diciembre de 2024. Es un modelo base, no de razonamiento, construido sobre la misma arquitectura Multi-head Latent Attention y DeepSeekMoE que V2, y DeepSeek dijo haberlo entrenado por unos 5,6 millones de dólares en tiempo de GPU, una cifra muy por debajo de lo que gastaban los laboratorios occidentales en modelos comparables. Sacó 88,5 en MMLU y 82,6 en HumanEval, más o menos al nivel de GPT-4o y Claude 3.5 Sonnet en muchos benchmarks, pese al bajo coste de entrenamiento.
V3 se publica bajo la licencia MIT con pesos abiertos, y DeepSeek puso su API muy por debajo de los modelos de frontera de la competencia. Después sirvió de modelo base sobre el que se construyó el aprendizaje por refuerzo de R1, orientado al razonamiento, y su eficiencia de coste se convirtió en un tema de conversación en el sector: cuánto cómputo hace falta de verdad para llegar a un rendimiento de frontera.