CogView3

CogView3 ist ein Text-zu-Bild-Modell von Zhipu AI und der Tsinghua-Universität. Es wurde in einer Forschungsarbeit vom März 2024 beschrieben und im September 2024 auf Hugging Face als Open Source veröffentlicht. Im Zentrum steht Relay-Diffusion, ein kaskadierter Ansatz: Eine Basisstufe mit drei Milliarden Parametern erzeugt zunächst ein Bild mit niedriger Auflösung von 512 × 512 Pixeln. Anschließend wird dem Bild in einer zweiten Stufe Rauschen hinzugefügt, bevor ein kürzerer Diffusionsdurchlauf zur Superauflösung erfolgt. Ältere kaskadierte Modelle konditionierten die zweite Stufe stattdessen direkt mit der niedrig aufgelösten Ausgabe. Zhipu berichtet, dass CogView3 in menschlichen Bewertungen Stable Diffusion XL mit deutlichem Abstand übertrifft und dabei nur etwa die Hälfte der Inferenzzeit benötigt. Eine destillierte Version erreicht eine vergleichbare Qualität mit ungefähr einem Zehntel der SDXL-Inferenzschritte. Modell und Code stehen unter Apache 2.0. Später ergänzte Zhipu die Familie um CogView-3Plus, eine größere Diffusion-Transformer-Variante, sowie eine gehostete Version über die Zhipu-API.