Hunyuan DiT
Offener Diffusion-Transformer von Tencent für Text-zu-Bild auf Chinesisch und Englisch
Hunyuan-DiT ist das Modell von Tencent mit offenen Gewichten zur Bildgenerierung aus Text. Es basiert auf einer Diffusion-Transformer-Architektur statt auf dem U-Net-Entwurf, den viele frühere Diffusionsmodelle nutzten. Tencent veröffentlichte es im Mai 2024. Es kombiniert einen Entrauschungs-Transformer mit 1,5 Milliarden Parametern mit zweisprachigen CLIP- und mehrsprachigen T5-Text-Encodern. So kann es Eingaben auf Chinesisch und Englisch ähnlich gut umsetzen. Der Schwerpunkt auf beiden Sprachen ist das zentrale Merkmal des Modells: Die meisten offenen Text-zu-Bild-Modelle jener Zeit verarbeiteten chinesische Eingaben nur schlecht. Hunyuan-DiT wurde gezielt trainiert, um diese Lücke zu schließen. Es generiert Bilder mit 1024 × 1024 Pixeln und enthält eine multimodale Chat-Komponente, mit der Nutzer ein Bild über mehrere Dialogrunden verfeinern können, statt die gesamte Eingabe jedes Mal neu zu schreiben. Tencent veröffentlichte die Gewichte auf Hugging Face und GitHub unter der Hunyuan-Lizenz. Ein späteres Update auf Version 1.1 behob übermäßige Sättigung und Wasserzeichenartefakte des ursprünglichen Checkpoints.