DeepSeek-MoE-16B

DeepSeek-MoE-16B, publicado en enero de 2024, fue el intento temprano de DeepSeek de una arquitectura de mezcla de expertos de grano fino, y sus decisiones de diseño pasaron a los modelos posteriores V2 y V3 de la empresa. Tiene 16 400 millones de parámetros en total, pero solo unos 2800 millones activos por token, algo que consigue con dos técnicas descritas en su artículo: partir los expertos en unidades más pequeñas y más especializadas, y aislar un conjunto de expertos compartidos que siempre se activan para capturar el conocimiento común. Entrenado desde cero con 2 billones de tokens en inglés y en chino, llegó a un rendimiento comparable al de los modelos densos DeepSeek 7B y Llama 2 7B usando solo alrededor del 40 % del cómputo que esos modelos necesitan en la inferencia. Tiene una ventana de contexto de 4096 tokens y se publicó bajo la licencia abierta de DeepSeek para uso autoalojado, sobre todo como demostración de investigación de la especialización de expertos y no como una publicación centrada en producción.