DeepSeek-VL

DeepSeek-VL est le premier modèle vision-langage de DeepSeek, publié le 11 mars 2024 en versions 1,3B et 7B. Il associe un encodeur visuel hybride, réglé pour des images haute résolution jusqu’à 1024x1024 pixels sans coût de calcul lourd, à un modèle de langage entraîné sur un mélange de captures d’écran web, de données OCR, de graphiques et de documents, pas seulement de photos légendées. Ce mélange visait des tâches pratiques, comme lire un graphique ou une diapositive, plutôt que décrire des images génériques. DeepSeek a intégré l’entraînement vision-langage dès le début du préentraînement, pour que le modèle garde de bonnes performances en texte seul en plus de son ancrage visuel.

C’était une entrée modeste mais crédible dans le passage de DeepSeek au-delà des modèles de langage purs. Elle a posé l’architecture que DeepSeek a étendue plus tard dans l’année avec DeepSeek-VL2, plus grand et en mélange d’experts.