DALL-E

DALL-E ist OpenAIs ursprüngliches Text-zu-Bild-Modell. Es wurde im Januar 2021 als Variante von GPT-3 mit 12 Milliarden Parametern vorgestellt, die darauf trainiert wurde, aus Bildbeschreibungen Bilder zu erzeugen. Die Bildgenerierung wurde als Sequenzvorhersage behandelt: Ein diskreter Variations-Autoencoder wandelte Bilder in Tokens um, und ein autoregressiver Transformer lernte, diese Tokens anhand einer Texteingabe vorherzusagen. Anschließend sortierte ein CLIP-Modell die erzeugten Bilder. Das Training basierte auf etwa 250 Millionen Text-Bild-Paaren aus dem Internet. Das Modell konnte plausible Bilder von ungewöhnlichen Kombinationen erzeugen, etwa einem Sessel in Avocadoform. DALL-E wurde nie als öffentliches Produkt veröffentlicht, sondern blieb eine Forschungsvorschau. Später ersetzte OpenAI es durch das diffusionsbasierte DALL-E 2, das schärfere Bilder mit einem Bruchteil der Parameter erzeugte.