DALL-E

DALL-E es el modelo original de texto a imagen de OpenAI, presentado en enero de 2021 como una variante de GPT-3 de 12 000 millones de parámetros entrenada para generar imágenes a partir de pies de foto. Funcionaba tratando la generación de imágenes como un problema de predicción de secuencias: un autoencoder variacional discreto convertía las imágenes en tokens, y un transformer autorregresivo aprendía a predecir esos tokens a partir de un prompt de texto, con un modelo CLIP usado después para ordenar las imágenes resultantes. Se entrenó con unos 250 millones de pares texto-imagen extraídos de internet y podía producir imágenes plausibles de combinaciones de conceptos que nunca había visto juntos, como un sillón con forma de aguacate. DALL-E nunca se publicó como producto público: OpenAI lo mantuvo como preview de investigación y después lo sustituyó por el DALL-E 2, basado en difusión, que producía imágenes más nítidas con una fracción del número de parámetros.