DeepSeek-VL

DeepSeek-VL es el primer modelo de visión-lenguaje de DeepSeek, publicado el 11 de marzo de 2024 en versiones de 1300 millones y 7000 millones de parámetros. Junta un codificador de visión híbrido, ajustado para imágenes de alta resolución de hasta 1024x1024 píxeles sin un coste de cómputo alto, con un modelo de lenguaje entrenado con una mezcla de capturas de páginas web, datos de OCR, gráficos y documentos, en lugar de limitarse a fotos descritas. Esa mezcla buscaba que sirviera para tareas prácticas, como leer un gráfico o una diapositiva, en lugar de describir solo imágenes genéricas. DeepSeek metió el entrenamiento de visión-lenguaje desde el inicio del preentrenamiento, de modo que el modelo conservó un buen rendimiento solo con texto junto a su grounding visual.

Fue una entrada temprana modesta, pero creíble, en el paso de DeepSeek más allá de los modelos solo de lenguaje, y preparó la arquitectura que DeepSeek amplió más adelante ese mismo año con DeepSeek-VL2, más grande y de mezcla de expertos.