CLIP

CLIP (Contrastive Language-Image Pre-training) est un modèle qu’OpenAI a publié en janvier 2021 pour associer des images à des descriptions en texte. Il a été entraîné sur 400 millions de paires image-texte prises sur internet, avec un objectif contrastif qui rapproche les embeddings d’une image et d’un texte qui vont ensemble, et éloigne les paires qui ne correspondent pas. La plus grande variante publiée, bâtie sur un vision transformer ViT-L/14 associé à un transformeur de texte de 63 millions de paramètres, totalise environ 428 millions de paramètres. Au lieu d’être entraîné pour une seule tâche étroite, CLIP apprend un espace d’embeddings commun, à usage général, pour les images et le texte. Il peut ainsi classer des images en zero-shot, en comparant une image à un ensemble d’étiquettes textuelles, sans fine-tuning propre à la tâche.

L’effet réel de CLIP est venu après la sortie, pas des scores de benchmark mis en avant. Ses encodeurs d’image et de texte sont devenus la base d’une série de systèmes plus tardifs, dont le pipeline de génération d’images de DALL-E 2, le conditionnement par le texte de Stable Diffusion, et d’innombrables outils de recherche et de récupération d’images. Meta, Salesforce et d’autres labos ont publié leurs propres variantes et ajustements de CLIP, mais les poids d’origine d’OpenAI, sous licence MIT sur GitHub et Hugging Face, restent un point de départ courant pour les projets multimodaux, même des années après la publication.