Nemotron 5
Le modèle à poids ouverts de NVIDIA, réglé pour une inférence efficace sur son propre hardware
Nemotron 5 poursuit la ligne de modèles à poids ouverts de NVIDIA, construits moins pour arriver en tête des classements que pour montrer à quel point les modèles tournent bien sur les GPU et la pile d’inférence de l’entreprise. C’est un modèle dense de 70 milliards de paramètres, avec une fenêtre de contexte de 128 000 tokens, distribué sous la NVIDIA Open Model License et empaqueté pour un déploiement en un clic via les microservices NVIDIA NIM, ainsi qu’en téléchargement simple sur Hugging Face.
Depuis Nemotron-4 340B, NVIDIA se sert de la ligne Nemotron pour montrer des techniques comme l’élagage et la distillation, qui réduisent les modèles sans trop dégrader la qualité, et Nemotron 5 garde ce cap. La taille de 70 milliards a été choisie pour tenir sur un seul H100, ou sur deux GPU grand public avec une quantification raisonnable. L’argument de NVIDIA, ici, c’est surtout la pile hardware et logicielle sous le modèle, pas le modèle lui-même.