Gopher

Gopher est un modèle de langage de 280 milliards de paramètres que DeepMind a entraîné et décrit dans un article de décembre 2021, au sein d’une étude sur la façon dont la performance évolue avec la taille. Il a été entraîné sur MassiveText, un corpus de 10,5 téraoctets, et évalué à côté de cinq modèles plus petits, de 44 millions à 7 milliards de paramètres, pour voir comment la capacité progressait avec l’échelle. Sur le benchmark MMLU, Gopher a obtenu 60 % en five-shot, un saut net par rapport aux modèles antérieurs de l’époque.

DeepMind n’a jamais publié Gopher, ni au public ni via une API : il servait uniquement de modèle de recherche. Ce qui en reste surtout vient de l’analyse suivante, publiée comme l’article Chinchilla, qui s’est appuyée sur Gopher et ses modèles frères pour montrer que la plupart des grands modèles de langage de cette période étaient sous-entraînés par rapport à leur nombre de paramètres. Ce résultat a, pendant des années, changé la façon dont les labos répartissaient le calcul entre la taille du modèle et les données d’entraînement.