Nemotron 5
Open-Weight-Modell von NVIDIA, optimiert für effiziente Inferenz auf eigener Hardware
Nemotron 5 setzt NVIDIAs Reihe offener Modelle fort. Im Mittelpunkt stehen weniger Spitzenplätze in Ranglisten als der Nachweis, wie gut Modelle auf den GPUs und dem Inferenz-Stack des Unternehmens laufen. Das dichte Modell mit 70 Milliarden Parametern hat ein Kontextfenster von 128.000 Tokens. Es wird unter der NVIDIA Open Model License angeboten und ist sowohl für die Bereitstellung mit einem Klick über NVIDIA-NIM-Microservices als auch als normaler Download bei Hugging Face verpackt.
Seit Nemotron-4 340B nutzt NVIDIA die Reihe, um Techniken wie Pruning und Destillation zu demonstrieren, die Modelle verkleinern, ohne ihre Qualität stark zu beeinträchtigen. Nemotron 5 führt diesen Schwerpunkt fort. Die Größe von 70 Milliarden Parametern wurde gewählt, damit das Modell auf eine einzelne H100 oder zwei Consumer-GPUs mit angemessener Quantisierung passt. NVIDIAs eigentliches Verkaufsargument ist die darunterliegende Hard- und Softwareplattform, nicht das Modell allein.