CogVideoX

CogVideoX ist ein Text-zu-Video-Modell mit offenen Gewichten von Zhipu AI, entwickelt mit dem KEG-Labor der Tsinghua-Universität. Es erschien im August 2024 als Nachfolger des ursprünglichen CogVideo-Projekts. Varianten mit 2 und 5 Milliarden Parametern verwenden ein kausales 3D-VAE zur räumlichen und zeitlichen Kompression sowie einen Transformer mit adaptiver Experten-LayerNorm. Unterstützt werden Text-zu-Video, Bild-zu-Video und die Fortsetzung eines Videos ausgehend von einem Bild oder Prompt. Das 5B-Modell erzeugt Clips von bis zu zehn Sekunden mit maximal 768p und 16 Bildern pro Sekunde. Im November 2024 folgte CogVideoX-1.5 mit längeren Ausgaben und höherer Auflösung. Die Gewichte stehen unter Apache 2.0 auf Hugging Face bereit; Zhipu bietet die Modelle auch über eine eigene API an. CogVideoX kann selbst gehostet oder als Dienst genutzt werden, ähnlich wie die Videogeneratoren von Stability AI und Runway.