CogVideoX
Famille de modèles texte-vers-vidéo à poids ouverts de Zhipu
CogVideoX est le modèle texte-vers-vidéo à poids ouverts de Zhipu AI, construit avec le labo KEG de l’université Tsinghua et sorti en août 2024 comme successeur du projet CogVideo d’origine. Il existe en variantes 2B et 5B, avec un VAE causal 3D pour la compression spatiale et temporelle, et un transformeur à expert adaptive LayerNorm. Il gère le texte-vers-vidéo, l’image-vers-vidéo et la continuation d’une vidéo à partir d’une seule image ou d’un prompt. Le modèle 5B produit des séquences jusqu’à 10 secondes, jusqu’à 768p et 16 images par seconde. Zhipu a ensuite sorti une mise à jour CogVideoX-1.5 en novembre 2024, avec des sorties plus longues et de plus haute résolution. Les poids sont sous Apache 2.0 et hébergés sur Hugging Face, et Zhipu sert aussi les modèles via sa propre API. CogVideoX fonctionne donc comme modèle ouvert auto-hébergé et comme service hébergé, un peu comme Stability AI et Runway placent leurs générateurs de vidéo.