GPT-3
Modell aus dem Jahr 2020, das erstmals die Möglichkeiten von Few-Shot-Learning im großen Maßstab zeigte
GPT-3 ist das Sprachmodell, das OpenAI in der Arbeit „Language Models are Few-Shot Learners“ vom Mai 2020 beschrieb und am 11. Juni 2020 über eine Beta-API zugänglich machte. Mit 175 Milliarden Parametern war es zehnmal größer als GPT-2. Das herausragende Ergebnis war, dass ein einziges Modell mit wenigen Beispielen im Prompt Aufgaben wie Übersetzung, Rechnen und Fragenbeantwortung ohne aufgabenspezifisches Fine-Tuning bewältigen konnte. Nach heutigen Maßstäben war das Kontextfenster mit rund 2.048 Tokens klein.
Die Few-Shot-Ergebnisse machten GPT-3 zu einem Wendepunkt und nicht bloß zu einer größeren GPT-2-Version. Sie zeigten, dass allein die Skalierung ohne Architekturänderungen qualitativ neue Fähigkeiten hervorbringen kann und lösten einen Wettlauf um immer größere Modelle aus. GPT-3 war nur über eine API verfügbar; Gewichte wurden nie veröffentlicht. OpenAI stellte das ursprüngliche Modell später zugunsten instruktionsoptimierter Nachfolger ein.