Megatron-Turing NLG
Das Forschungsmodell mit 530B Parametern von NVIDIA und Microsoft, eines der größten dichten LLMs seiner Zeit
Megatron-Turing NLG ist ein dichtes Transformer-Sprachmodell mit 530 Milliarden Parametern, das NVIDIA und Microsoft gemeinsam trainierten und im Oktober 2021 ankündigten. Damals war es das größte trainierte monolithische Sprachmodell ohne Mixture-of-Experts. Es verband NVIDIAs Tensor-Parallelisierung aus Megatron-LM mit Microsofts Pipeline-Parallelisierung und dem ZeRO-Optimizer von DeepSpeed und lief auf Hunderten A100-GPUs. Das Modell hat 105 Transformer-Schichten und wurde mit einem Korpus von 270 Milliarden Tokens aus Webtexten, Büchern und anderen kuratierten Quellen trainiert.
Es diente vor allem als Forschungs- und Technikdemonstration dafür, wie weit sich dichte Modelle skalieren und verteilte Trainingssoftware einsetzen ließen, bevor Mixture-of-Experts-Architekturen zum praktischeren Weg für noch größere Modelle wurden. NVIDIA und Microsoft veröffentlichten Ergebnisse zu Textvervollständigung, Leseverständnis und Schlussfolgerungs-Benchmarks. Dabei übertraf das Modell kleinere Vorgänger wie GPT-3 und Turing-NLG. Das Modell selbst wurde jedoch nie als öffentliches Produkt oder API angeboten.