NVIDIA NIM
Microservicios de inferencia optimizados para GPU para desplegar modelos de IA
NIM, sigla de NVIDIA Inference Microservices, empaqueta modelos para facilitar su despliegue. Cada microservicio incluye el modelo, motores de inferencia optimizados como TensorRT-LLM y API estándar, todo en un contenedor. Un equipo puede ejecutarlo en la nube, en un centro de datos o en una estación de trabajo con GPU NVIDIA y obtener un rendimiento ajustado.
Su catálogo abarca modelos de lenguaje, visión, voz y biología de NVIDIA y sus socios, con API compatibles con formatos habituales como el de OpenAI. Las empresas usan NIM para mantener los modelos y los datos en su propio entorno y llevar los servicios a producción con rapidez.
Hay acceso gratuito para desarrollo, mientras que el uso empresarial en producción normalmente requiere una licencia de NVIDIA AI Enterprise. NIM funciona con hardware NVIDIA. Entre las alternativas están vLLM, Ollama, Hugging Face TGI, Baseten y Together AI. NVIDIA NIM sirve a organizaciones que despliegan modelos sobre infraestructura NVIDIA.
// alternativas a NVIDIA NIM ver todas →
// herramientas relacionadas en Herramientas para desarrolladores
