BLIP

BLIP (Bootstrapping Language-Image Pre-training) ist ein Vision-Language-Modell, das Salesforce Research Anfang 2022 vorstellte. Es bewältigt sowohl Aufgaben zum Verstehen von Bildern wie Bildbeschreibungen und visuelle Fragebeantwortung als auch Abrufaufgaben wie die Zuordnung von Bildern zu Text. Beim Training bereinigte ein Bootstrap-Verfahren verrauschte, aus dem Web gesammelte Bildunterschriften: Das Modell erzeugte synthetische Beschreibungen und filterte unpassende Zuordnungen heraus. So erreichte es starke Ergebnisse, ohne sich ausschließlich auf riesige, ungefilterte Datensätze zu stützen. Mit etwa 223 Millionen Parametern ist BLIP klein im Vergleich zu späteren multimodalen Systemen. Es prägte jedoch die Erkenntnis, dass die Qualität von Bildbeschreibungen beim Vortraining ebenso wichtig ist wie deren Menge.

Salesforce veröffentlichte Gewichte und Code von BLIP offen unter einer BSD-Lizenz. Das Modell wurde zu einer verbreiteten Referenz in der Vision-Language-Forschung und zu einer Grundlage für andere Projekte, darunter frühe Versionen der Interrogator-Funktionen von Stable Diffusion. Der Nachfolger BLIP-2 verbesserte die Effizienz, indem er eingefrorene Bildencoder und Sprachmodelle über ein leichtes Verbindungsmodul kombinierte. Das ursprüngliche BLIP wird weiterhin in wissenschaftlicher Arbeit und selbst gehosteten Abläufen eingesetzt, wenn ein kompaktes, gut dokumentiertes Bildbeschreibungsmodell genügt.