BitNet b1.58

BitNet b1.58は、三値の重みで作る言語モデルを探るMicrosoftの研究の系列です。三値の重みとは、通常の16ビットや32ビットの浮動小数点ではなく、すべての重みを-1、0、1に限ったものです。2024年2月の最初の論文「The Era of 1-bit LLMs」は、後から量子化するのではなく、最初からこの形式で学習したモデルが、同程度のサイズのLlama 2などの全精度モデルに並びつつ、メモリ使用量と推論時のエネルギーを大きく減らせることを示しました。Microsoftは2025年4月に、4兆トークンで学習した20億パラメータのチェックポイントBitNet b1.58 2B4Tを公開してこれに続きました。埋め込みを除くメモリ使用量は約0.4GBで、Gemma 3 1BやMiniCPM 2Bのような同規模のモデルよりずっと小さい値です。重みと推論コードはMITライセンスでGitHubとHugging Faceにあります。このプロジェクトが注目されるのは、ほかのモデルをベンチマークで上回ることより、1ビットでの学習が大きな性能の低下なしに成り立つと示した点です。スマートフォンやエッジデバイスで高性能なモデルを動かすうえで意味があります。