Nemotron 5

Nemotron 5は、ランキング上位を狙うより、NVIDIA独自のGPUと推論基盤でモデルがどう動くかを示すことに重点を置く、同社のオープンウェイトモデルシリーズの一つです。パラメータ数700億の密なモデルで、コンテキスト長は12万8,000トークンです。NVIDIA Open Model Licenseで公開され、NVIDIA NIMマイクロサービスからワンクリックで導入できるほか、Hugging Faceからもダウンロードできます。

NemotronシリーズはNemotron-4 340B以降、品質を大きく損なわずにモデルを小さくする枝刈りや蒸留などの技術を示してきました。Nemotron 5も同じ方針です。70Bサイズは、適切な量子化を使えばH100 1台またはコンシューマーGPU2台に収まることを意図して選ばれました。NVIDIAが本当に訴求しているのはモデル単体ではなく、その下にあるハードウェアとソフトウェアの基盤です。