DBRX Instruct
Variante ajustada para instrucciones del modelo DBRX de pesos abiertos de Databricks
DBRX Instruct es la versión con fine-tuning y lista para chat del modelo DBRX de Databricks, publicada en marzo de 2024 junto al modelo base DBRX. Usa una arquitectura de mezcla de expertos de grano fino, con 132 000 millones de parámetros en total, de los que solo 36 000 millones están activos para un token dado, y se entrenó con 12 billones de tokens de texto y código. Databricks lo ajustó de forma específica para el seguimiento de instrucciones y la conversación de varios turnos, y en el lanzamiento la empresa informó de que superaba a GPT-3.5 en MMLU (73,7 % frente a 70,0 %) y en HumanEval (70,1 % frente a 48,1 %). Admite una ventana de contexto de 32 000 tokens y se distribuye bajo la Databricks Open Model License, que permite el uso comercial con algunas restricciones para despliegues muy grandes. Las organizaciones lo ejecutan a través de la propia plataforma de Databricks o autoalojan los pesos desde Hugging Face.