Grok-1

Grok-1はイーロン・マスクのAI企業xAIが開発した初の大規模言語モデルで、2023年11月からX Premium+の利用者に提供されました。3,140億パラメータの混合エキスパートモデルで、8個のエキスパートと上位2つを選ぶルーティングを備えています。各トークンで有効になる重みは全体の約4分の1で、コンテキスト長は8,192トークンです。xAIは2024年3月17日、基盤モデルの重みとアーキテクチャをApache 2.0ライセンスで公開しました。当時、一般公開された最大のオープンウェイトMoEモデルでした。ただし公開されたのは事前学習済みの重みのみで、指示調整版やチャット対応版は含まれなかったため、主に研究者やインフラチームが利用しました。xAIはPyTorchではなく、独自のJAX・Rust環境で学習し、事前学習はGrok-2に置き換えられる前の2023年10月に完了していました。