BitNet b1.58

BitNet b1.58 ist eine Forschungsreihe von Microsoft zu Sprachmodellen mit ternären Gewichten. Jeder Gewichtswert ist auf -1, 0 oder 1 beschränkt, statt wie üblich als 16- oder 32-Bit-Gleitkommazahl vorzuliegen. Die ursprüngliche Arbeit „The Era of 1-bit LLMs“ erschien im Februar 2024. Sie zeigte, dass Modelle, die nativ auf diese Weise trainiert – statt nachträglich quantisiert – werden, bei vergleichbarer Größe mit Modellen wie Llama 2 mithalten und zugleich Speicherbedarf und Inferenzenergie deutlich senken können. Im April 2025 folgte BitNet b1.58 2B4T: ein offen veröffentlichtes Modell mit zwei Milliarden Parametern, trainiert auf vier Billionen Tokens. Sein Speicherbedarf außerhalb der Embeddings beträgt etwa 0,4 GB und liegt damit deutlich unter ähnlich großen Modellen wie Gemma 3 1B oder MiniCPM 2B. Gewichte und Inferenzcode stehen unter MIT-Lizenz auf GitHub und Hugging Face bereit. Das Projekt ist weniger wegen Benchmark-Siegen bemerkenswert als dafür, dass es 1-Bit-Training ohne große Leistungseinbußen demonstriert – wichtig für leistungsfähige Modelle auf Smartphones und Edge-Geräten.