DBRX

DBRXはDatabricksのオープンウェイトの大規模言語モデルで、指示チューニング版のDBRX Instructのベースモデルとして2024年3月に公開されました。細粒度のMixture-of-Expertsモデルで、総パラメータ数は1320億、1トークンあたりの有効パラメータ数は360億です。テキストとコード12兆トークンを使い、DatabricksのMosaic AI学習スタックでゼロから学習しています。公開時にDatabricksは、MMLUやHumanEvalなどのベンチマークで、Llama 2 70BやMixtralを含む当時の他のオープンモデルを上回ったと報告しました。企業向けのビジネスを手がける会社でも、大手ラボ並みの研究予算に頼らず競争力のある基盤モデルを学習できる、という実例として打ち出されました。コンテキスト長は32,000トークンで、Databricks Open Model Licenseで公開されています。重みはHugging Faceにあり、自前でホストするか、Databricksの配信基盤から使えます。