NVIDIA NIM

NIM steht für NVIDIA Inference Microservices und bündelt ein Modell für die einfache Bereitstellung. Jeder Microservice enthält das Modell, optimierte Inferenz-Engines wie TensorRT-LLM und standardisierte APIs in einem Container. Teams können ihn in einer Cloud, einem Rechenzentrum oder auf einer Workstation mit NVIDIA-GPUs ausführen und erhalten abgestimmte Leistung.

Ein Katalog umfasst Sprach-, Bild-, Sprachverarbeitungs- und Biologiemodelle von NVIDIA und Partnern. Die APIs sind mit gängigen Formaten wie denen von OpenAI kompatibel. Unternehmen nutzen NIM, um Modelle und Daten in der eigenen Umgebung zu halten und zugleich Produktionsleistung zu erreichen.

Für die Entwicklung gibt es kostenlosen Zugriff; der produktive Einsatz in Unternehmen erfordert in der Regel eine NVIDIA AI Enterprise-Lizenz. NIM läuft auf NVIDIA-Hardware. Alternativen sind vLLM, Ollama, Hugging Face TGI, Baseten und Together AI. NVIDIA NIM eignet sich für Organisationen, die Modelle auf NVIDIA-Infrastruktur bereitstellen.