DALL-E

DALL-EはOpenAIが2021年1月に発表した最初のテキストから画像へのモデルで、GPT-3を基にした120億パラメータの派生モデルです。テキストのキャプションから画像を生成するように学習されています。画像生成を系列予測の問題として扱う仕組みで、離散VAEが画像をトークンに変換し、自己回帰型のtransformerがテキストのプロンプトからそのトークンを予測します。できあがった画像は、あとからCLIPモデルで順位付けされます。インターネットから集めた約2億5000万組のテキストと画像のペアで学習しており、アボカドの形をした肘掛け椅子のように、それまで組み合わされたことのない概念の組み合わせでも、もっともらしい画像を作れました。DALL-Eは一般向けの製品としては公開されず、OpenAIは研究プレビューにとどめました。のちに拡散モデルベースのDALL-E 2に置き換えられ、DALL-E 2はより少ないパラメータ数で、より鮮明な画像を出しました。