Nemotron 5
El modelo de pesos abiertos de NVIDIA, ajustado para una inferencia eficiente en su propio hardware
Nemotron 5 sigue la línea de modelos de pesos abiertos de NVIDIA, hecha menos para encabezar rankings y más para mostrar lo bien que corren los modelos en las GPU y en la pila de inferencia de la propia empresa. Es un modelo denso de 70 000 millones de parámetros, con una ventana de contexto de 128 000 tokens, distribuido bajo la NVIDIA Open Model License y empaquetado para desplegarlo en un clic con los microservicios NVIDIA NIM, además de la descarga normal en Hugging Face.
NVIDIA usa la línea Nemotron desde Nemotron-4 340B para mostrar técnicas como la poda y la destilación, que reducen los modelos sin hundir la calidad, y Nemotron 5 mantiene ese foco. El tamaño de 70B se eligió para caber en una sola H100, o en un par de GPU de consumo con una cuantización razonable. El argumento de NVIDIA aquí es la pila de hardware y de software que hay debajo del modelo, no el modelo en sí.