DBRX Instruct

DBRX InstructはDatabricksのDBRXモデルをファインチューンしてチャットですぐ使えるようにしたバージョンで、2024年3月にDBRXのベースモデルと同時に公開されました。細粒度のMixture-of-Expertsアーキテクチャで、総パラメータ数は1320億ですが、1トークンごとに動くのは360億だけです。テキストとコード12兆トークンで学習しています。Databricksは指示への追従と複数ターンの会話に特化して調整しており、公開時にはMMLU(73.7%対70.0%)とHumanEval(70.1%対48.1%)でGPT-3.5を上回ったと報告しています。コンテキスト長は32,000トークンで、Databricks Open Model Licenseで配布されます。このライセンスは商用利用を認めており、ごく大規模な運用には一部制限があります。利用はDatabricksのプラットフォーム経由か、Hugging Faceの重みを自前でホストする形です。