NVIDIA NIM

NIMはNVIDIA Inference Microservicesの略で、モデルをデプロイしやすい形にまとめます。各マイクロサービスには、モデル、TensorRT-LLMなどの最適化された推論エンジン、標準的なAPIが含まれ、コンテナとして届きます。チームは、クラウド、データセンター、NVIDIA GPU搭載のワークステーションのいずれでも動かし、調整済みの性能を得られます。

カタログには、NVIDIAとパートナーによる言語、画像認識、音声、生物学のモデルがそろい、APIはOpenAIの形式など一般的なものと互換があります。企業は、モデルとデータを自社の環境に置いたまま、本番の速度を得るためにNIMを使います。

開発用の無料アクセスがあり、企業での本番利用には、通常NVIDIA AI Enterpriseのライセンスが必要です。NIMはNVIDIAのハードウェアで動きます。代替にはvLLM、Ollama、Hugging Face TGI、Baseten、Together AIがあります。NVIDIA NIMは、NVIDIAのインフラでモデルをデプロイする組織に向いています。