IDEFICS2

IDEFICS2 est le modèle vision-langage ouvert de Hugging Face, sorti en avril 2024 comme suite à son modèle IDEFICS précédent. Il compte 8 milliards de paramètres. Il combine Mistral-7B comme base de langage et un encodeur de vision SigLIP, et il traite les images à leur résolution et leur rapport d’aspect d’origine, au lieu de tout forcer dans un recadrage carré fixe. Ce choix, plus un entraînement sur un mélange plus efficace de tokens d’image, lui donne un avantage net sur la compréhension de documents, la lecture de graphiques et les tâches chargées en OCR, par rapport à des modèles plusieurs fois plus grands, dont LLaVA-NeXT-34B. Hugging Face a publié les poids sous Apache 2.0, ce qui le rend ouvert à l’usage commercial et au fine-tuning, sans restriction de licence. Il est prévu pour tourner en auto-hébergé, pas via une API hébergée, dans la logique de Hugging Face de garder des bases vision-langage ouvertes solides à disposition des chercheurs et des développeurs.