DBRX Instruct
Variante ajustée pour les instructions du modèle DBRX à poids ouverts de Databricks
DBRX Instruct est la version ajustée par fine-tuning, prête pour le chat, du modèle DBRX de Databricks, sortie en mars 2024 en même temps que le modèle de base. Il utilise un mélange d’experts à grain fin, avec 132 milliards de paramètres au total, dont seulement 36 milliards sont actifs pour un token donné. Il a été entraîné sur 12 billions de tokens de texte et de code. Databricks l’a réglé pour le suivi d’instructions et la conversation à plusieurs tours. Au lancement, l’entreprise indiquait qu’il dépassait GPT-3.5 au MMLU (73,7 % contre 70,0 %) et sur HumanEval (70,1 % contre 48,1 %). La fenêtre de contexte est de 32 000 tokens. Il est distribué sous la Databricks Open Model License, qui permet un usage commercial avec quelques restrictions pour les très grands déploiements. On le fait tourner sur la plateforme de Databricks, ou en auto-hébergeant les poids depuis Hugging Face.