Megatron-Turing NLG

Megatron-Turing NLGはNVIDIAとMicrosoftが共同学習し2021年10月に発表した5300億パラメータの高密度Transformerです。当時、混合エキスパートではない単一構成の言語モデルとして最大でした。数百基のA100 GPU上でNVIDIA Megatron-LMのテンソル並列化とMicrosoft DeepSpeedのパイプライン並列化・ZeROオプティマイザーを組み合わせました。105層で、ウェブ文章、書籍、選定データからなる2,700億トークンで学習しました。

混合エキスパートが大規模化の現実的な道筋となる前に、高密度モデルと分散学習ソフトの限界を示す研究デモでした。文章補完、読解、推論でGPT-3やTuring-NLGを上回る結果が公表されましたが、製品やAPIとして一般公開されませんでした。