DALL-E

DALL-E est le modèle texte-vers-image d’origine d’OpenAI, présenté en janvier 2021 comme une variante de GPT-3 à 12 milliards de paramètres, entraînée pour produire des images à partir de légendes. Il traitait la génération d’images comme une prédiction de séquence : un autoencodeur variationnel discret transformait les images en tokens, un transformeur autorégressif apprenait à prédire ces tokens à partir d’un prompt, et un modèle CLIP classait ensuite les images obtenues. Il a été entraîné sur environ 250 millions de paires texte-image prises sur internet, et il pouvait produire des images plausibles pour des combinaisons de concepts qu’il n’avait jamais vus ensemble, comme un fauteuil en forme d’avocat, le fruit. DALL-E n’a jamais été un produit public. OpenAI l’a gardé en aperçu de recherche, puis l’a remplacé par DALL-E 2, fondé sur la diffusion, qui donnait des images plus nettes avec une fraction du nombre de paramètres.