BTLM-3B
Das kompakte Modell von Cerebras mit offenen Gewichten, das mehr leistet, als seine Parameterzahl erwarten lässt
BTLM-3B-8K ist ein Sprachmodell mit drei Milliarden Parametern, das Cerebras gemeinsam mit der Opentensor Foundation entwickelte und auf den Wafer-Scale-CS-2-Systemen von Cerebras trainierte. Es wurde im Sommer 2023 angekündigt und sollte die Qualität von Modellen mit 7B Parametern erreichen, aber klein genug bleiben, um auf Smartphones und Geräten mit wenig Speicher zu laufen. Laut Cerebras passt das quantisierte BTLM-3B in etwa 3 GB Speicher und läuft auf Geräten wie iPhone, Google Pixel und sogar Raspberry Pi. Bei gängigen Benchmarks liegt es auf dem Niveau damaliger 7B-Modelle wie RedPajama-INCITE-7B.
Das Modell wurde mit 627 Milliarden Tokens aus dem SlimPajama-Datensatz trainiert – weniger als bei mehreren konkurrierenden 3B-Modellen jener Zeit. ALiBi-Positionsembeddings ermöglichen ein natives Kontextfenster von 8192 Tokens und eine brauchbare Extrapolation darüber hinaus. Cerebras veröffentlichte BTLM-3B unter Apache 2.0 zur kostenlosen kommerziellen Nutzung. Kurzzeitig galt es als leistungsstärkstes offenes 3B-Modell, bevor neuere kleine Modelle von Microsoft, Google und anderen es übertrafen.