Cerebras-GPT

Cerebras-GPT ist eine Modellfamilie mit Größen von 111 Millionen bis 13 Milliarden Parametern. Cerebras trainierte sie auf eigenen wafergroßen CS-2-Systemen und veröffentlichte sie im März 2023. Im Mittelpunkt stand weniger das Übertreffen von Benchmarks als Offenheit: Cerebras veröffentlichte Gewichte, Trainingscode und einen ausführlichen technischen Bericht zu Hyperparametern und Skalierungsverhalten jeder Modellgröße. Dabei orientierte sich das Unternehmen an rechenoptimalen Trainingsrezepten ähnlich denen von Chinchilla. So wurde Cerebras-GPT zu einer der umfassender dokumentierten offenen Modellfamilien seiner Zeit und bot Forschenden eine saubere, reproduzierbare Grundlage zur Untersuchung von Skalierungsgesetzen.

Alle Cerebras-GPT-Checkpoints stehen unter Apache 2.0 auf Hugging Face bereit und können kostenlos kommerziell und wissenschaftlich genutzt werden. Die Modelle verwenden eine weitgehend übliche GPT-Architektur mit einem Kontextfenster von 2.048 Tokens. Gemessen an den Standards von 2023 war ihre reine Leistungsfähigkeit im Vergleich zu Modellen wie LLaMA eher begrenzt, denn Cerebras priorisierte transparentes, reproduzierbares Training gegenüber maximaler Benchmark-Leistung. Heute wird die Familie vor allem in Forschungsarbeiten zu Skalierungsgesetzen und als Beispiel dafür zitiert, wie ein KI-Hardwareunternehmen seine Chips durch Training und Veröffentlichung einer vollständigen Modellreihe demonstriert.