MiniCPM-V
Das multimodale Edge-Modell von OpenBMB, das auf einem Smartphone Vision-Aufgaben auf GPT-4V-Niveau bewältigen kann
MiniCPM-V ist eine Reihe offener Vision-Language-Modelle von OpenBMB, einem aus der Tsinghua-Universität hervorgegangenen Forschungslabor. Sie wurden so entwickelt, dass sie Bild- und Videoverständnis auf Smartphones und anderen Geräten mit begrenzten Ressourcen ermöglichen, ohne eine Server-GPU zu benötigen. Die im Mai 2024 veröffentlichte Version MiniCPM-Llama3-V 2.5 kombiniert ein Llama-3-Modell mit 8B Parametern und einen SigLIP-Vision-Encoder. Laut OpenBMB erreicht oder übertrifft sie GPT-4V in mehreren öffentlichen Benchmarks zu OCR, Schlussfolgern über mehrere Bilder und allgemeiner visueller Fragebeantwortung – und läuft dabei vollständig offline auf einem Smartphone.
OpenBMB hat die Reihe weiterentwickelt. Spätere Versionen wie MiniCPM-V 4.5 und 4.6 verringerten die Parameterzahl weiter und verbesserten zugleich die Genauigkeit. Das spiegelt den allgemeinen Trend wider, den Abstand zwischen kleinen multimodalen Modellen auf Geräten und deutlich größeren Cloud-Modellen zu verringern. Die Modelle stehen unter Apache 2.0 auf Hugging Face und GitHub bereit und richten sich an Entwickler, die multimodale KI offline und datenschutzfreundlich auf Geräten für Verbraucher benötigen.