Florence-2
Kompaktes Grundlagenmodell für Bildverarbeitung von Microsoft, das Beschriftung, Erkennung und Segmentierung in einem Modell vereint
Florence-2 ist ein Vision-Grundmodell von Microsoft Research, veröffentlicht im Juni 2024. Es bewältigt Bildbeschriftung, Objekterkennung, Segmentierung und visuelle Verankerung in einem Modell, statt für jede Aufgabe ein eigenes Modell zu erfordern. Es arbeitet promptbasiert: Dasselbe Netzwerk kann je nach Textanweisung eine Bildbeschreibung, Begrenzungsrahmen oder Segmentierungsmaske erzeugen. Dafür nutzt es eine einheitliche Sequence-to-Sequence-Architektur. Microsoft veröffentlichte zwei Größen: eine Basisversion mit 230 Millionen und eine große mit 770 Millionen Parametern. Beide sind im Vergleich zu typischen Vision-Language-Modellen klein. Trainiert wurde Florence-2 auf FLD-5B, einem internen Microsoft-Datensatz mit rund 126 Millionen Bildern und 5,4 Milliarden Annotationen. Dadurch kann das kleine Modell größere spezialisierte Modelle etwa bei COCO-Bildbeschriftung und dem Verständnis verweisender Ausdrücke erreichen oder übertreffen. Microsoft veröffentlichte die Gewichte unter MIT-Lizenz auf Hugging Face und bietet das Modell außerdem über Azure AI Foundry an. Es ist eine beliebte Wahl für Teams, die Bildverarbeitung ohne ein großes multimodales LLM benötigen.