CLIP

CLIP(Contrastive Language-Image Pre-training)は、OpenAIが2021年1月に公開したモデルで、画像とテキストの説明を対応づけることを学習します。インターネットから集めた4億の画像とテキストのペアで学習しており、対応する画像とテキストのエンベディングを近づけ、対応しないペアを遠ざける、対照学習の目的関数を使っています。公開された最大のバリアントは、ViT-L/14の視覚Transformerと、6300万パラメータのテキストTransformerを組み合わせたもので、合計で約4億2800万パラメータです。CLIPは特定の狭いタスクのために学習するのではなく、画像とテキストの汎用的な共同エンベディング空間を学びます。そのため、タスク固有のファインチューニングなしに、画像をテキストのラベル群と比べて、ゼロショットの画像分類ができます。

CLIPが本当に大きな影響を与えたのは、公開後のことで、目立つベンチマークの数字によるものではありません。その画像とテキストのエンコーダは、DALL-E 2の画像生成パイプライン、Stable Diffusionのテキスト条件付け、数多くの画像検索ツールなど、後に続くシステムの土台になりました。MetaやSalesforceなどの研究所は独自のCLIPバリアントやファインチューンを公開しています。それでも、GitHubとHugging FaceでMITライセンスのもとで公開されているOpenAIの元の重みは、公開から何年たっても、マルチモーダルのプロジェクトの出発点として広く使われています。