BTLM-3B
Modelo compacto de pesos abiertos de Cerebras, ajustado para rendir por encima de su número de parámetros
BTLM-3B-8K es un modelo de lenguaje de 3000 millones de parámetros que Cerebras construyó con la Opentensor Foundation y entrenó en los sistemas CS-2 de escala de oblea de Cerebras. Anunciado en el verano de 2023, se diseñó con un objetivo concreto: igualar la calidad de los modelos de 7000 millones de parámetros y seguir siendo lo bastante pequeño para correr en teléfonos y en dispositivos con poca memoria. Cerebras informa de que BTLM-3B, una vez cuantizado, cabe en unos 3 GB de memoria y se ejecuta en hardware como el iPhone, el Google Pixel e incluso una Raspberry Pi, con un rendimiento en la línea de modelos contemporáneos de 7B como RedPajama-INCITE-7B en benchmarks habituales.
El modelo se entrenó con 627 000 millones de tokens del conjunto SlimPajama, menos de los que usaron entonces varios modelos competidores de 3B, y emplea embeddings de posición ALiBi para admitir una ventana de contexto nativa de 8192 tokens, con una extrapolación razonable más allá de ese punto. Cerebras publicó BTLM-3B bajo Apache 2.0, así que es de uso comercial gratuito, y durante un tiempo tuvo el título de mejor modelo abierto de 3B antes de que modelos pequeños más nuevos de Microsoft, Google y otros lo superaran.