GPT-Neo 2.7B

GPT-Neo 2.7B est le modèle de langage de 2,7 milliards de paramètres d’EleutherAI, sorti le 21 mars 2021, avec des versions plus petites de 125M et 1,3B, comme premiers modèles publics du groupe. Il reprend l’architecture de GPT-3 avec la bibliothèque mesh-tensorflow, et a été entraîné sur the Pile pendant environ 420 milliards de tokens. La fenêtre de contexte est de 2 048 tokens, et la génération de texte général est comparable aux plus petits paliers GPT-3 d’OpenAI à l’époque. EleutherAI l’a publié sous licence Apache 2.0 justement parce qu’OpenAI n’avait pas rendu GPT-3 téléchargeable. Chercheurs et amateurs s’en sont servis pour tout, des chatbots aux outils d’écriture, dans les mois avant l’arrivée de GPT-J et de GPT-NeoX-20B, plus gros. Il précède ces deux sorties et n’a plus surtout qu’un intérêt historique. Il tourne encore sans peine sur un seul GPU grand public, ce qui l’a gardé en usage dans des projets aux ressources limitées, bien après l’arrivée de modèles ouverts plus grands.