GPT-2

GPT-2 ist ein Sprachmodell von OpenAI mit 1,5 Milliarden Parametern. Es wurde erstmals im Februar 2019 in einem Blogbeitrag vorgestellt und am 5. November 2019 vollständig veröffentlicht. Statt einer üblichen Veröffentlichung verteilte OpenAI das Modell über neun Monate hinweg: ein Checkpoint mit 124 Millionen Parametern im Februar, eine Version mit 355 Millionen im Mai, eine mit 774 Millionen im August und schließlich im November das vollständige Modell mit 1,5 Milliarden Parametern samt vollständigem Code. GPT-2 hat ein Kontextfenster von 1024 Tokens und ein Vokabular von 50.257 Tokens. Trainiert wurde es mit WebText, einem Korpus aus ausgehenden Reddit-Links.

OpenAIs anfängliche Entscheidung, den größten Checkpoint zurückzuhalten, erregte große Aufmerksamkeit. Zum ersten Mal nannte ein KI-Labor das Missbrauchsrisiko – insbesondere die Möglichkeit, überzeugende gefälschte Texte automatisiert zu erzeugen – als Grund für eine verzögerte Veröffentlichung. Rückblickend ist die Zurückhaltung ebenso wegen des Präzedenzfalls für eine verantwortungsvolle Veröffentlichung in Erinnerung wie wegen der Fähigkeiten von GPT-2. Neben späteren GPT-Modellen wirkt es bescheiden, beeindruckte damals jedoch durch seine Sprachflüssigkeit und Kohärenz.