NVIDIA NIM
Microservices d'inférence optimisés pour GPU, pour déployer des modèles d'IA
NIM, pour NVIDIA Inference Microservices, emballe un modèle pour qu’il soit facile à déployer. Chaque microservice inclut le modèle, des moteurs d’inférence optimisés comme TensorRT-LLM, et des API standard, livrés comme conteneur. Une équipe peut le faire tourner dans un cloud, un data center ou un poste de travail avec des GPU NVIDIA et obtenir des performances réglées.
Un catalogue couvre des modèles de langage, de vision, de parole et de biologie, de NVIDIA et de partenaires, avec des API compatibles avec des formats courants comme celui d’OpenAI. Les entreprises utilisent NIM pour garder les modèles et les données dans leur environnement tout en atteignant une vitesse de production.
Un accès gratuit existe pour le développement, et l’usage en production dans une entreprise demande en général une licence NVIDIA AI Enterprise. NIM tourne sur du hardware NVIDIA. Parmi les alternatives : vLLM, Ollama, Hugging Face TGI, Baseten et Together AI. NVIDIA NIM convient aux organisations qui déploient des modèles sur une infrastructure NVIDIA.
// alternatives à NVIDIA NIM tout voir →
// outils liés dans Outils de développement
