BTLM-3B
Le modèle compact à poids ouverts de Cerebras, réglé pour dépasser ce que son nombre de paramètres laisse attendre
BTLM-3B-8K est un modèle de langage de 3 milliards de paramètres que Cerebras a construit avec l’Opentensor Foundation et entraîné sur ses systèmes CS-2 à l’échelle du wafer. Annoncé à l’été 2023, il visait un but précis : égaler la qualité de modèles à 7 milliards de paramètres tout en restant assez petit pour tourner sur des téléphones et des appareils à peu de mémoire. Cerebras indique qu’une fois quantifié, BTLM-3B tient dans environ 3 GB de mémoire et tourne sur des appareils comme l’iPhone, le Google Pixel, et même un Raspberry Pi, avec des résultats au niveau de modèles 7B de l’époque, comme RedPajama-INCITE-7B, sur les benchmarks courants.
Le modèle a été entraîné sur 627 milliards de tokens du jeu de données SlimPajama, moins que ce qu’utilisaient plusieurs modèles 3B concurrents à l’époque. Il utilise des embeddings de position ALiBi pour une fenêtre de contexte native de 8 192 tokens, avec une extrapolation raisonnable au-delà. Cerebras a publié BTLM-3B sous Apache 2.0, donc libre pour un usage commercial. Il a brièvement été celui qui obtenait les meilleurs résultats parmi les modèles ouverts en 3B, avant que de petits modèles plus récents, chez Microsoft, Google et ailleurs, le dépassent.