BLOOM

BLOOM ist ein Sprachmodell mit 176 Milliarden Parametern, das BigScience entwickelte – eine einjährige Kooperation von über tausend Forschenden unter Koordination von Hugging Face. Rechenleistung stellte der französische Supercomputer Jean Zay bereit. Das Modell erschien im Juli 2022 als Antwort auf geschlossene Systeme wie GPT-3. Es wurde mit dem ROOTS-Korpus trainiert, das 46 natürliche Sprachen und 13 Programmiersprachen abdeckt, mit bewusstem Schwerpunkt auf unterrepräsentierten Sprachen, die die meisten großen Labore damals vernachlässigten. Zusammen mit den Gewichten veröffentlichte das Projekt die Trainingsdaten, den Code und einen vollständigen technischen Bericht – bei einem Modell dieser Größe war das ungewöhnlich.

BLOOM steht unter der RAIL-Lizenz, die kommerzielle Nutzung erlaubt, aber bestimmte schädliche Anwendungen untersagt. Diesen Ansatz trug BigScience mit zur Verbreitung bei. Das Kontextfenster von 2048 Tokens und die dichte Architektur wirken neben heutigen Spitzenmodellen veraltet. BLOOM wurde größtenteils durch effizientere Modellfamilien mit offenen Gewichten wie Llama und Mistral abgelöst, bleibt aber ein wichtiger Bezugspunkt für mehrsprachige Abdeckung und offene, gemeinschaftlich gesteuerte Modellentwicklung.