Arctic

Arcticは、Snowflakeが2024年4月に公開した大規模言語モデルです。一般的なチャットではなく、SQL生成、プログラミング、指示への追従といった企業での作業向けに作られています。Mixture-of-Expertsの設計で、128のエキスパートにまたがる合計4,800億パラメータを持ちますが、1トークンあたりで動くのは約170億だけです。このため、同規模の密なモデルより推論コストを抑えられます。Snowflakeはベースとinstructの両方のチェックポイントをApache 2.0ライセンスで公開しており、重みは自前でホストすることも、Snowflake Cortex経由で動かすこともできます。テキストからSQLを生成するSpiderベンチマークでは約79%の精度で、Snowflakeは、クエリをサードパーティのAPIに送らずに、高性能なオープンモデルをデータウェアハウスに持ち込む手段として打ち出しました。コンテキスト長は4Kと短く、一般的なチャットは苦手ですが、対象とした限られた企業向けのタスクでは高い性能を出します。