DeepFloyd IF

DeepFloyd IF est un modèle texte-vers-image sorti en avril 2023 par DeepFloyd, un labo de recherche soutenu par Stability AI. Il ne suit pas la diffusion en espace latent de Stable Diffusion : il travaille directement dans l’espace des pixels, sur une cascade de trois modules. Il génère d’abord une image en 64x64, puis la suréchantillonne par étapes jusqu’à 1024x1024. Ça lui a valu une réputation solide pour le texte lisible à l’intérieur des images, une tâche que les modèles de diffusion latente de cette époque rataient souvent. DeepFloyd a entraîné trois tailles du module de base, la plus grande à 4,3 milliards de paramètres. Le pipeline complet est sorti en aperçu de recherche non commercial, sous une Stability Community License, et non sous une licence pleinement ouverte. Il n’est jamais devenu un produit grand public comme Stable Diffusion, mais ses résultats sur le texte ont influencé des modèles commerciaux plus tardifs, qui ont corrigé la même faiblesse.