GPT-NeoX-20B
Das Modell mit offenen Gewichten von EleutherAI, einer der größten öffentlichen Checkpoints seiner Zeit
GPT-NeoX-20B ist ein Sprachmodell mit 20 Milliarden Parametern, das EleutherAI im April 2022 nach etwa einem Jahr Entwicklung ankündigte. Es basiert auf dem eigenen GPT-NeoX-Trainingsframework der Gruppe, das Megatron und DeepSpeed nutzt. Bei der Veröffentlichung war es das größte dichte autoregressive Sprachmodell mit öffentlich herunterladbaren Gewichten. Es wurde mit dem Pile und einem Kontextfenster von 2048 Tokens trainiert. Auf EleutherAIs eigenem Evaluierungsframework lag es bei den meisten gängigen NLP-Benchmarks zwischen Curie und Davinci von OpenAI. Bei einem Test mit einem Beispiel zur Lösung mathematischer Textaufgaben übertraf es GPT-3 mit 175B Parametern. Das Team hob dies als Hinweis darauf hervor, dass die Qualität der Trainingsdaten ebenso wichtig wie die reine Modellgröße ist. Das Modell wurde unter Apache 2.0 über Hugging Face veröffentlicht und bot Forschenden einen großen, einsehbaren Checkpoint zum Untersuchen und Fine-Tuning ohne geschlossene API. GPT-NeoX-20B wurde inzwischen von viel größeren und effizienteren offenen Modellen überholt, blieb aber als eine der Referenz-Codebasen der Open-Source-LLM-Forschung einflussreich.