GPT-3

GPT-3 es el modelo de lenguaje que OpenAI describió en su artículo de mayo de 2020 «Language Models are Few-Shot Learners» y abrió a través de una API en beta el 11 de junio de 2020. Con 175 000 millones de parámetros, era un orden de magnitud mayor que GPT-2, y el resultado principal fue que un solo modelo, con solo un puñado de ejemplos en el prompt, podía hacer tareas como traducción, aritmética y respuesta a preguntas sin fine-tuning específico de la tarea. La ventana de contexto era pequeña para los estándares posteriores, de unos 2048 tokens.

Los resultados de aprendizaje few-shot del artículo son lo que hizo de GPT-3 un punto de inflexión, en lugar de una simple versión más grande de GPT-2. Mostró que la escala por sí sola, sin cambios de arquitectura, producía capacidades cualitativamente nuevas, y desató la carrera entre laboratorios para entrenar modelos cada vez más grandes. GPT-3 en sí era solo por API y nunca publicó sus pesos, y OpenAI acabó retirando el modelo original en favor de sus sucesores ajustados con instrucciones.