DeepFloyd IF

DeepFloyd IF ist ein Text-zu-Bild-Modell, das DeepFloyd, ein von Stability AI unterstütztes Forschungslabor, im April 2023 veröffentlichte. Anders als Stable Diffusion arbeitet es mit Diffusion direkt im Pixelraum statt im latenten Raum. Die Generierung läuft über eine Kaskade aus drei Modulen: Zunächst entsteht ein Bild mit niedriger Auflösung von 64 × 64 Pixeln, das anschließend schrittweise auf 1024 × 1024 Pixel hochskaliert wird. Dadurch kann das Modell besonders gut lesbaren Text in Bilder einfügen – eine Aufgabe, an der latente Diffusionsmodelle jener Zeit oft scheiterten. DeepFloyd trainierte drei Größen des Basismoduls; die größte hat 4,3 Milliarden Parameter. Die gesamte Pipeline wurde als nicht kommerzielle Forschungsvorschau unter der Stability Community License veröffentlicht und nicht unter einer vollständig offenen Lizenz. Das Modell wurde nicht so verbreitet wie Stable Diffusion, doch seine Ergebnisse bei der Texterzeugung beeinflussten spätere kommerzielle Modelle.