InternVL2
Famille ouverte de modèles vision-langage du Shanghai AI Lab, au niveau des modèles multimodaux propriétaires
InternVL2 est une famille de modèles vision-langage ouverts de l’OpenGVLab du Shanghai AI Laboratory, sortie le 4 juillet 2024, de 1B jusqu’à une configuration phare de 108B (76B InternViT + Llama 3 70B). Les modèles associent l’encodeur de vision InternViT à un modèle de langage, et la plus grande configuration, InternVL2-Llama3-76B, a obtenu 62,0 % sur le benchmark MMMU, au niveau de GPT-4o à l’époque, et devant les autres modèles multimodaux ouverts sur des tâches de compréhension de documents et de graphiques comme DocVQA et ChartQA. Au-delà des images fixes, InternVL2 peut traiter la vidéo en échantillonnant des images et en raisonnant dessus, et il accepte plusieurs images pour les documents et les comparaisons. Il est sorti sous licence MIT, avec les poids sur Hugging Face, et c’était alors l’une des alternatives ouvertes les plus solides aux systèmes fermés comme GPT-4o et Gemini. Le Shanghai AI Lab a enchaîné avec InternVL2.5 en décembre 2024, qui a fait passer le plus grand modèle au-dessus de 70 % sur MMMU.