Arctic
Das offene Unternehmensmodell von Snowflake, optimiert für SQL und RAG
Arctic ist ein großes Sprachmodell, das Snowflake im April 2024 veröffentlichte. Es wurde für Unternehmensaufgaben wie SQL-Generierung, Programmierung und das Befolgen von Anweisungen statt für allgemeine Chats entwickelt. Das Modell verwendet eine Mixture-of-Experts-Architektur mit insgesamt 480 Milliarden Parametern in 128 Experten, von denen pro Token nur etwa 17 Milliarden aktiv sind. Dadurch bleiben die Inferenzkosten im Vergleich zu dichten Modellen ähnlicher Größe niedrig. Snowflake veröffentlichte sowohl Basis- als auch Instruct-Checkpoints unter Apache 2.0. Die Gewichte lassen sich dadurch selbst hosten oder über Snowflake Cortex ausführen. Auf dem Spider-Text-zu-SQL-Benchmark erreichte es etwa 79 Prozent Genauigkeit. Snowflake positionierte es als Möglichkeit, leistungsfähige offene Modelle in Data Warehouses einzusetzen, ohne Abfragen an eine Drittanbieter-API zu senden. Das Modell nimmt ein kürzeres Kontextfenster von 4K Tokens und schwächere allgemeine Chatfähigkeiten zugunsten starker Leistung bei den eng umrissenen Unternehmensaufgaben in Kauf, für die es entwickelt wurde.