InternVL2
La familia abierta de modelos de visión y lenguaje del Shanghai AI Lab, a la altura de modelos multimodales propietarios
InternVL2 es una familia de modelos abiertos de visión y lenguaje de OpenGVLab, del Shanghai AI Laboratory, publicada el 4 de julio de 2024, con tamaños desde 1B hasta una configuración principal de 108B (76B de InternViT + Llama 3 70B). Los modelos emparejan el codificador de visión InternViT con una columna de modelo de lenguaje, y la configuración más grande, InternVL2-Llama3-76B, obtuvo un 62,0 % en el benchmark MMMU, a la altura de GPT-4o entonces y por encima de otros modelos multimodales abiertos en tareas de comprensión de documentos y gráficos como DocVQA y ChartQA. Más allá de las imágenes estáticas, InternVL2 puede procesar vídeo muestreando fotogramas y razonando entre ellos, y admite varias imágenes de entrada para tareas de documentos y de comparación. Se publicó bajo la licencia MIT, con pesos en Hugging Face, y entonces era una de las alternativas abiertas más fuertes a sistemas cerrados como GPT-4o y Gemini. El Shanghai AI Lab lo siguió con InternVL2.5 en diciembre de 2024, que llevó al modelo más grande por encima del 70 % en MMMU.