MiniCPM-V

MiniCPM-V es una línea de modelos de visión-lenguaje de pesos abiertos de OpenBMB, un laboratorio de investigación salido de la Universidad de Tsinghua, hechos para ejecutar comprensión de imagen y de vídeo en teléfonos y otros dispositivos con pocos recursos, sin una GPU de servidor. La publicación de mayo de 2024, MiniCPM-Llama3-V 2.5, une un backbone Llama3 de 8000 millones de parámetros con un codificador de visión SigLip, y afirma un rendimiento en OCR, razonamiento con varias imágenes y respuesta a preguntas visuales que iguala o supera a GPT-4V en varios benchmarks públicos, pese a ejecutarse del todo sin conexión en un teléfono.

Desde entonces OpenBMB ha seguido con la serie. Versiones posteriores, como MiniCPM-V 4.5 y 4.6, bajan aún más el número de parámetros y suben la precisión, en la línea de una tendencia más amplia: cerrar la distancia entre los modelos multimodales pequeños en el dispositivo y otros mucho más grandes alojados en la nube. Los modelos se publican bajo licencia Apache 2.0 en Hugging Face y GitHub, para desarrolladores que necesitan IA multimodal sin conexión y que cuide la privacidad, en hardware de consumo.