DBRX ist das Modell mit offenen Gewichten von Databricks und wurde im März 2024 als Basismodell für das instruction-tuned DBRX Instruct veröffentlicht. Es ist ein fein abgestimmtes Mixture-of-Experts-Modell mit insgesamt 132 Milliarden Parametern und 36 Milliarden aktiven Parametern pro Token. Trainiert wurde es von Grund auf mit 12 Billionen Tokens aus Text und Code auf Databricks eigenem Mosaic-AI-Trainingsstack. Bei der Veröffentlichung gab Databricks an, dass es andere damalige offene Modelle wie Llama 2 70B und Mixtral bei Benchmarks wie MMLU und HumanEval übertraf. Das Modell sollte zeigen, dass auch ein auf Unternehmen ausgerichtetes Unternehmen ohne das Forschungsbudget eines großen KI-Labors ein konkurrenzfähiges Grundlagenmodell trainieren kann. DBRX hat ein Kontextfenster von 32.000 Tokens und steht unter der Databricks Open Model License. Die Gewichte sind auf Hugging Face zur Selbstbereitstellung sowie über Databricks eigene Serving-Infrastruktur verfügbar.