GPT-2

GPT-2 es el modelo de lenguaje de 1500 millones de parámetros de OpenAI, mostrado en vista previa en una entrada de blog de febrero de 2019 y publicado completo el 5 de noviembre de 2019. A diferencia de un lanzamiento normal, OpenAI lo fue soltando a lo largo de nueve meses: un checkpoint de 124 millones de parámetros en febrero, una versión de 355 millones en mayo, una de 774 millones en agosto y, por fin, el modelo completo de 1500 millones en noviembre, junto a su código completo. El modelo usa una ventana de contexto de 1024 tokens y un vocabulario de 50 257 tokens, y se entrenó con WebText, un corpus extraído de enlaces salientes de Reddit.

La decisión inicial de OpenAI de retener el checkpoint más grande llamó mucho la atención, porque fue de las primeras veces que un laboratorio de IA citó el riesgo de uso indebido, en concreto la posibilidad de generar de forma automática texto falso convincente, como motivo para retrasar una publicación. Visto ahora, el periodo de retención se recuerda tanto por el precedente que sentó en torno a la divulgación responsable como por las capacidades propias de GPT-2, que al lado de los GPT posteriores parecen modestas, pero en su momento llamaban la atención por su fluidez y su coherencia.