GPT-Neo 2.7B

GPT-Neo 2.7B ist ein Sprachmodell von EleutherAI mit 2,7 Milliarden Parametern. Es erschien am 21. März 2021 zusammen mit kleineren Versionen mit 125M und 1,3B Parametern als erste öffentliche Modellreihe der Gruppe. Es bildet die GPT-3-Architektur mit der Bibliothek mesh-tensorflow nach und wurde mit dem Pile über etwa 420 Milliarden Tokens trainiert. Das Kontextfenster umfasst 2048 Tokens. Bei der Textgenerierung erreichte es damals ungefähr die Leistung der kleineren GPT-3-Stufen von OpenAI. EleutherAI veröffentlichte es unter Apache 2.0, weil OpenAI GPT-3 nicht zum Herunterladen bereitstellte. In den Monaten vor GPT-J und GPT-NeoX-20B nutzten Forschende und Hobbyentwickler es für Chatbots, kreative Schreibwerkzeuge und weitere Anwendungen. Es erschien vor beiden späteren EleutherAI-Modellen und ist heute vor allem historisch interessant. Da es problemlos auf einer einzelnen Consumer-GPU läuft, wurde es jedoch auch nach dem Erscheinen größerer offener Modelle für Projekte mit knappen Ressourcen verwendet.