Galactica

Galactica est un modèle de langage que Meta AI a construit pour la science, entraîné sur 48 millions d’articles, de manuels, de documents de référence et d’encyclopédies, plutôt que sur le texte général du web qui sert à entraîner la plupart des grands modèles de langage. Meta l’a publié en novembre 2022, dans des tailles allant de 125 millions à 120 milliards de paramètres, la plus grande version étant entraînée sur environ 106 milliards de tokens de texte scientifique sélectionné. Il pouvait générer des citations, résoudre des problèmes de maths, écrire de la notation chimique et rédiger des articles dans le style de Wikipédia, et Meta le présentait comme un outil pour les chercheurs, pour résumer des articles et chercher dans la littérature scientifique.

La démo publique a été retirée dans les trois jours après le lancement, une fois que des utilisateurs ont montré qu’il produisait des citations inventées et des affirmations scientifiques fausses, dites sur un ton d’autorité. L’épisode est devenu un exemple précoce souvent cité des risques à sortir des modèles génératifs sans assez de garde-fous, et il précède le lancement de ChatGPT d’environ deux semaines. Meta a gardé les poids disponibles pour les chercheurs sur Hugging Face, sous une licence non commerciale, et on cite surtout Galactica aujourd’hui comme un cas d’école, pas comme un outil encore en usage.