CogView3

CogView3 es un modelo de texto a imagen de Zhipu AI y la Universidad de Tsinghua, descrito en un artículo de investigación de marzo de 2024 y publicado en abierto en Hugging Face en septiembre de 2024. Se construye en torno a la difusión por relevos (relay diffusion), un enfoque en cascada en el que una etapa base de 3000 millones de parámetros genera una imagen de baja resolución de 512x512 y una segunda etapa vuelve a añadir ruido a esa imagen antes de ejecutar encima un pase de difusión de superresolución más corto, en lugar de condicionar la segunda etapa directamente a la salida de baja resolución como hacían los modelos en cascada más antiguos. Zhipu informa de que CogView3 supera a Stable Diffusion XL en evaluaciones humanas por un margen amplio y necesita solo alrededor de la mitad del tiempo de inferencia, y una versión destilada iguala esa calidad usando aproximadamente una décima parte de los pasos de inferencia de SDXL. El modelo y el código se publican bajo Apache 2.0, y Zhipu lo siguió con CogView-3Plus, una variante más grande de transformer de difusión de la misma familia, más una versión alojada a través de la API de Zhipu para quien no quiera ejecutarlo por su cuenta.