Kosmos-2
El modelo multimodal con anclaje de Microsoft, que vincula el lenguaje a regiones concretas de la imagen
Kosmos-2 es un modelo multimodal de Microsoft Research, publicado en junio de 2023, con unos 1600 millones de parámetros. Su rasgo distintivo es el anclaje: en lugar de limitarse a describir una imagen en texto, vincula frases de su salida a cajas delimitadoras concretas de la imagen, de modo que una oración sobre «un perro» o «la silla de la izquierda» señala los píxeles exactos a los que se refiere. Microsoft lo entrenó en GrIT, un conjunto grande de pares imagen-texto anclados que construyeron para este fin, combinado con corpus multimodales generales, y lo evaluó en comprensión de expresiones de referencia, anclaje de frases y tareas estándar de visión y lenguaje. Kosmos-2 fue un lanzamiento de investigación, no un producto, pensado para mostrar que el anclaje se podía aprender de extremo a extremo dentro de un modelo de lenguaje, y no añadirlo con un detector aparte. El código y los pesos están abiertos en GitHub y Hugging Face bajo licencia MIT, y el trabajo alimentó la investigación multimodal posterior de Microsoft, incluidas partes de las líneas de visión y lenguaje Florence y Phi.