MiniCPM-V

MiniCPM-Vは清華大学から派生した研究所OpenBMBのオープンウェイト視覚言語モデル群です。サーバーGPUなしでスマートフォンなどの限られた端末上で画像・動画を理解できるよう設計されました。2024年5月公開のMiniCPM-Llama3-V 2.5はLlama3の80億パラメータ基盤にSigLip視覚エンコーダーを組み合わせ、OCR、複数画像推論、視覚QAで公開ベンチマーク上GPT-4Vに並ぶか上回る性能をうたい、スマートフォン上で完全オフライン動作します。

後継のMiniCPM-V 4.5や4.6では精度を上げながらパラメータ数を減らし、小型端末内モデルと大規模クラウドモデルの差を縮めています。Apache 2.0でHugging FaceとGitHubから提供され、一般向け機器でオフラインかつプライバシーを保ったマルチモーダルAIを必要とする開発者向けです。