Florence-2

Florence-2は、Microsoft Researchが2024年6月に公開した視覚基盤モデルです。キャプション生成、物体検出、セグメンテーション、視覚的グラウンディングを、タスクごとに別のモデルを用意せず、1つのモデルでこなせるように作られています。プロンプトベースの方式を取り、統一されたsequence-to-sequenceアーキテクチャのもと、同じネットワークが、与えられたテキストの指示に応じてキャプション、バウンディングボックスの集合、セグメンテーションマスクのどれかを出力します。Microsoftは2つのサイズで公開しました。2億3000万パラメータのベース版と、7億7000万パラメータのラージ版で、どちらも一般的な視覚言語モデルと比べるとごく小さい規模です。学習にはFLD-5Bを使いました。Microsoftの社内データセットで、約1億2600万枚の画像と54億のアノテーションを含みます。これのおかげで、この小ささのモデルでも、COCOのキャプション生成や参照表現の理解といったタスクで、より大きな専用モデルに並ぶか、それを上回れます。Microsoftは重みをMITライセンスでHugging Faceに公開し、Azure AI Foundry経由でも提供しています。大きなマルチモーダルLLMを動かさずに視覚の機能がほしいチームに、よく選ばれています。