IDEFICS2

IDEFICS2 ist das offene Vision-Language-Modell von Hugging Face und erschien im April 2024 als Nachfolger des ursprünglichen IDEFICS. Es hat acht Milliarden Parameter und kombiniert Mistral-7B als Sprachmodell mit einem SigLIP-Vision-Encoder. Bilder verarbeitet es in ihrer ursprünglichen Auflösung und mit ihrem ursprünglichen Seitenverhältnis, statt sie alle auf einen quadratischen Ausschnitt zuzuschneiden. Diese Entscheidung und ein effizienterer Umgang mit Bild-Tokens verschaffen ihm bei Dokumentenverständnis, Diagrammauswertung und OCR-intensiven Aufgaben einen Vorteil gegenüber Modellen, die um ein Mehrfaches größer sind, darunter LLaVA-NeXT-34B. Hugging Face veröffentlichte die Gewichte unter Apache 2.0. Damit kann das Modell ohne Lizenzbeschränkungen kommerziell genutzt und feinabgestimmt werden. Es ist für den selbst gehosteten Betrieb statt für eine gehostete API gedacht und passt damit zum Ziel von Hugging Face, Forschenden und Entwicklern leistungsfähige offene Vision-Language-Baselines bereitzustellen.