GPT-J

GPT-J ist ein Sprachmodell mit sechs Milliarden Parametern, das EleutherAI am 9. Juni 2021 veröffentlichte. Es gehörte zu den ersten überzeugenden offenen Nachbildungen der GPT-3-Architektur, während OpenAI GPT-3 hinter einer kostenpflichtigen API hielt. Trainiert wurde es auf The Pile, dem 825-GB-Textdatensatz von EleutherAI. Die Mesh-Transformer-JAX-Bibliothek parallelisierte das Training über TPU-Pods statt GPUs. Mit 28 Schichten und einem Kontextfenster von 2.048 Tokens war es deutlich kleiner als die größte GPT-3-Variante, bewältigte aber Textgenerierung, Fragenbeantwortung und Codevervollständigung gut genug, um zur Standardreferenz für offene NLP-Forschung zu werden. Es erschien unter Apache 2.0, sodass alle es ohne OpenAIs Nutzungsbeschränkungen herunterladen, feinabstimmen und bereitstellen konnten. Dadurch wurde es eine beliebte Grundlage früher offener Chatbot-Projekte. Inzwischen haben GPT-NeoX-20B und spätere Modelle GPT-J abgelöst; es bleibt jedoch ein häufig zitierter Bezugspunkt dafür, wie die Open-Source-Community in der GPT-3-Ära zu geschlossenen Laboren aufschloss.