GPT-2

GPT-2 est le modèle de langage d’OpenAI à 1,5 milliard de paramètres, d’abord montré dans un billet de février 2019, puis publié en entier le 5 novembre 2019. Contrairement à une sortie d’un bloc, OpenAI l’a publié par étapes sur neuf mois : un checkpoint de 124 millions de paramètres en février, une version de 355 millions en mai, une de 774 millions en août, puis le modèle complet de 1,5 milliard en novembre, avec l’intégralité du code. Le modèle utilise une fenêtre de contexte de 1 024 tokens et un vocabulaire de 50 257 tokens, et il a été entraîné sur WebText, un corpus tiré des liens sortants de Reddit.

La décision initiale d’OpenAI de retenir le plus gros checkpoint a beaucoup attiré l’attention, parce que c’était l’une des premières fois qu’un labo d’IA invoquait un risque de mésusage, en particulier la génération automatique de faux textes convaincants, pour retarder une publication. Avec le recul, on retient cette période de non-publication autant pour le précédent qu’elle a posé sur la divulgation responsable que pour les capacités propres de GPT-2, qui paraissent modestes à côté des GPT suivants mais marquaient à l’époque par leur fluidité et leur cohérence.