Megatron-Turing NLG

Megatron-Turing NLG est un modèle de langage à transformeur dense de 530 milliards de paramètres, que NVIDIA et Microsoft ont entraîné ensemble et annoncé en octobre 2021. C’était alors le plus grand modèle de langage monolithique (hors mélange d’experts) jamais entraîné, construit en combinant le parallélisme tensoriel de Megatron-LM, chez NVIDIA, avec le parallélisme de pipeline de DeepSpeed et l’optimiseur ZeRO, chez Microsoft, sur des centaines de GPU A100. Le modèle a 105 couches de transformeur et a été entraîné sur un corpus de 270 milliards de tokens, tiré de texte web, de livres et d’autres sources sélectionnées.

Il a surtout servi de démonstration de recherche et d’ingénierie, pour voir jusqu’où la montée en échelle des modèles denses et les logiciels d’entraînement distribué pouvaient aller, avant que les architectures de mélange d’experts deviennent la voie plus pratique vers des modèles plus grands. NVIDIA et Microsoft ont publié des résultats en complétion, en compréhension de lecture et en raisonnement, où il dépassait des prédécesseurs plus petits comme GPT-3 et Turing-NLG, mais le modèle lui-même n’a jamais été ouvert comme produit public ni comme API.