DBRX
Modèle à mélange d'experts et à poids ouverts de Databricks
DBRX est le grand modèle de langage à poids ouverts de Databricks, sorti en mars 2024 comme modèle de base de DBRX Instruct, la version ajustée pour les instructions. C’est un mélange d’experts à grain fin, avec 132 milliards de paramètres au total et 36 milliards de paramètres actifs par token, entraîné depuis zéro sur 12 billions de tokens de texte et de code, avec la pile d’entraînement Mosaic AI de Databricks. À la sortie, Databricks indiquait qu’il dépassait d’autres modèles ouverts de l’époque, dont Llama 2 70B et Mixtral, sur des benchmarks comme MMLU et HumanEval. Il était présenté comme la preuve qu’une entreprise tournée vers les clients professionnels pouvait entraîner un modèle de fondation compétitif sans le budget de recherche d’un grand labo. La fenêtre de contexte est de 32 000 tokens. Il est publié sous la Databricks Open Model License, avec les poids sur Hugging Face pour l’auto-hébergement, ou via l’infrastructure de serving de Databricks.