DBRX

DBRX es el gran modelo de lenguaje de pesos abiertos de Databricks, publicado en marzo de 2024 como modelo base detrás del DBRX Instruct ajustado para instrucciones. Es un modelo de mezcla de expertos de grano fino, con 132 000 millones de parámetros en total y 36 000 millones de parámetros activos por token, entrenado desde cero con 12 billones de tokens de texto y código usando la propia pila de entrenamiento Mosaic AI de Databricks. En la publicación, Databricks informó de que superaba a otros modelos abiertos de la época, entre ellos Llama 2 70B y Mixtral, en benchmarks como MMLU y HumanEval, y se presentó como prueba de que una empresa centrada en el mercado empresarial podía entrenar un modelo fundacional competitivo sin depender del presupuesto de investigación de un gran laboratorio. Tiene una ventana de contexto de 32 000 tokens y se publica bajo la Databricks Open Model License, con pesos disponibles en Hugging Face para autoalojarlos o a través de la propia infraestructura de servicio de Databricks.