BLOOM

BLOOM est un modèle de langage de 176 milliards de paramètres, construit par BigScience, une collaboration d’un an réunissant plus de mille chercheurs, coordonnée via Hugging Face, avec du calcul offert par le supercalculateur Jean Zay du gouvernement français. Il est sorti en juillet 2022 comme réponse à des modèles fermés comme GPT-3. Il a été entraîné sur le corpus ROOTS, qui couvre 46 langues naturelles et 13 langages de programmation, avec un accent voulu sur des langues peu représentées que la plupart des grands laboratoires ignoraient alors. Le projet a publié ses données d’entraînement, son code et un rapport technique complet en même temps que les poids, ce qui était rare pour un modèle de cette échelle.

BLOOM est publié sous la licence RAIL, une licence permissive mais restreinte : elle autorise l’usage commercial tout en interdisant certaines applications nuisibles précises, une approche que BigScience a contribué à populariser. Sa fenêtre de contexte de 2 048 tokens et son architecture dense paraissent datées à côté des modèles de frontière actuels. Des familles à poids ouverts plus efficaces, comme Llama et Mistral, l’ont en grande partie remplacé. Il reste un repère dans les discussions sur la couverture multilingue et sur un développement de modèles ouvert, gouverné par la communauté.