DeepSeek-VL

DeepSeek-VLはDeepSeek初の視覚言語モデルで、2024年3月11日に、1.3Bと7Bのパラメータ数で公開されました。ハイブリッドのビジョンエンコーダと言語モデルを組み合わせています。エンコーダは、重い計算を使わずに最大1024x1024ピクセルの高解像度画像を扱えるよう調整されており、言語モデルはキャプション付きの写真だけでなく、ウェブのスクリーンショット、OCRデータ、グラフ、文書を混ぜて学習しています。この学習の混ぜ方は、一般的な画像を説明するだけでなく、グラフやスライドを読むといった実用的なタスクで役立てるためのものでした。DeepSeekは事前学習の最初から視覚言語の学習を組み入れたので、モデルは視覚的な対応づけに加えて、テキストのみの性能も高く保てました。

純粋な言語モデルの先へ進むDeepSeekの取り組みの中で、控えめながらも確かな初期の一歩でした。同じ年の後半にDeepSeekが拡張した、より大きなMixture-of-ExpertsのDeepSeek-VL2のアーキテクチャの下地にもなっています。