DeepSeek-VL

DeepSeek-VL ist das erste Vision-Language-Modell von DeepSeek und erschien am 11. März 2024 in Versionen mit 1,3B und 7B Parametern. Es kombiniert einen hybriden Vision-Encoder, der hochauflösende Bilder bis 1024 × 1024 Pixel ohne hohen Rechenaufwand verarbeiten kann, mit einem Sprachmodell, das nicht nur mit beschrifteten Fotos, sondern auch mit Web-Screenshots, OCR-Daten, Diagrammen und Dokumenten trainiert wurde. Diese Trainingsmischung sollte praktische Aufgaben wie das Lesen von Diagrammen oder Folien ermöglichen, statt sich auf die Beschreibung allgemeiner Bilder zu beschränken. DeepSeek integrierte das Vision-Language-Training bereits zu Beginn des Pretrainings, sodass neben der visuellen Verankerung auch die Leistung bei reinen Textaufgaben erhalten blieb.

Das Modell war ein früher, überschaubarer, aber überzeugender Schritt von DeepSeek über reine Sprachmodelle hinaus. Es legte die Grundlage für die Architektur, die DeepSeek noch im selben Jahr mit dem größeren Mixture-of-Experts-Modell DeepSeek-VL2 weiterentwickelte.