BLOOM

BLOOM es un modelo de lenguaje de 176 000 millones de parámetros construido por BigScience, una colaboración de un año con más de mil investigadores, coordinada a través de Hugging Face y con cómputo donado por el superordenador Jean Zay del gobierno francés. Se lanzó en julio de 2022 como respuesta a modelos cerrados como GPT-3, entrenado con el corpus ROOTS, que cubre 46 lenguas naturales y 13 lenguajes de programación, con un énfasis deliberado en lenguas poco representadas que la mayoría de los grandes laboratorios ignoraban entonces. El proyecto publicó los datos de entrenamiento, el código y un informe técnico completo junto a los pesos, algo poco habitual en un modelo de esa escala.

BLOOM se publica bajo la licencia RAIL, una licencia permisiva pero con restricciones que permite el uso comercial y prohíbe aplicaciones dañinas concretas, un enfoque que BigScience ayudó a popularizar. Su ventana de contexto de 2048 tokens y su arquitectura densa se ven antiguas al lado de los modelos de frontera actuales, y en gran parte lo han sustituido familias de pesos abiertos más eficientes, como Llama y Mistral, pero sigue siendo un punto de referencia en los debates sobre cobertura multilingüe y sobre un desarrollo de modelos abierto y gobernado por la comunidad.