Kosmos-2

Kosmos-2はMicrosoft Researchが2023年6月に発表したマルチモーダルモデルで、約16億のパラメータを持ちます。特徴はグラウンディングです。画像を文章で説明するだけでなく、出力中のフレーズを画像内の特定のバウンディングボックスに対応付けます。「犬」や「左側の椅子」についての文を、画像内の該当ピクセルに結び付けられます。このために構築したグラウンディング付き画像テキストデータセットGrITと、一般的なマルチモーダルコーパスで学習しました。参照表現の理解、フレーズのグラウンディング、標準的な視覚言語タスクで評価されています。製品ではなく研究成果として公開され、検出器を後付けするのではなく、言語モデル内でグラウンディングをエンドツーエンドに学習できることを示しました。コードと重みはMITライセンスでGitHubとHugging Faceに公開され、FlorenceやPhiの視覚言語モデルを含むMicrosoftの後続研究にもつながりました。