Gopher

Gopher es un modelo de lenguaje de 280 000 millones de parámetros que DeepMind entrenó y describió en un artículo de diciembre de 2021, como parte de un estudio sobre cómo el rendimiento escala con el tamaño. Se entrenó con MassiveText, un corpus de 10,5 terabytes, y se evaluó junto a cinco modelos más pequeños, de 44 millones a 7000 millones de parámetros, para ver cómo mejoraba la capacidad con la escala. En el benchmark MMLU, Gopher sacó un 60 % en un esquema five-shot, un salto claro respecto a los modelos anteriores de la época.

DeepMind nunca publicó Gopher en abierto ni por API; existió solo como herramienta de investigación. Su legado principal vino del análisis posterior, publicado como el artículo de Chinchilla, que usó Gopher y sus hermanos para mostrar que la mayoría de los modelos de lenguaje grandes de aquel periodo estaban infraentrenados respecto a su número de parámetros. Ese hallazgo cambió durante años cómo los laboratorios repartían el cómputo entre el tamaño del modelo y los datos de entrenamiento.