DBRX Instruct

DBRX Instruct ist die feinabgestimmte, chatfertige Version von DBRX, die Databricks im März 2024 zusammen mit dem DBRX-Basismodell veröffentlichte. Es verwendet eine fein aufgelöste Mixture-of-Experts-Architektur mit insgesamt 132 Milliarden Parametern, von denen pro Token nur 36 Milliarden aktiv sind. Trainiert wurde es mit zwölf Billionen Tokens aus Text und Code. Databricks stimmte das Modell gezielt auf das Befolgen von Anweisungen und Gespräche über mehrere Dialogrunden ab. Bei der Veröffentlichung meldete das Unternehmen, dass es GPT-3.5 bei MMLU (73,7 gegenüber 70,0 Prozent) und HumanEval (70,1 gegenüber 48,1 Prozent) übertraf. Das Modell unterstützt ein Kontextfenster von 32.000 Tokens und wird unter der Databricks Open Model License bereitgestellt, die kommerzielle Nutzung mit Einschränkungen für sehr große Bereitstellungen erlaubt. Unternehmen können es über die Plattform von Databricks verwenden oder die Gewichte von Hugging Face selbst hosten.