DeepFloyd IF

DeepFloyd IFは、Stability AIが支援する研究所DeepFloydが2023年4月に公開したテキストから画像へのモデルです。Stable Diffusionの潜在空間での拡散とは違い、3つのモジュールを連ねたカスケードでピクセル空間を直接扱います。まず64x64の低解像度画像を作り、そこから段階的にアップサンプリングして1024x1024にします。この方式のおかげで、当時の潜在拡散モデルがよく失敗していた、画像内の読める文字の描画に定評がありました。DeepFloydはベースモジュールを3つのサイズで学習しており、最大のものは43億パラメータです。パイプライン全体は、完全なオープンライセンスではなくStability Community Licenseのもとで、非商用の研究プレビューとして公開されました。Stable Diffusionのように主流の製品になることはありませんでしたが、文字描画での成果は、同じ弱点を改善した後発の商用モデルに影響を与えました。