DistilBERT

DistilBERTはGoogleのBERTを圧縮したバージョンで、Hugging Faceが2019年10月に公開しました。知識蒸留という手法を使い、事前学習の間に、小さな生徒モデルが大きな教師であるBERTの出力をまねるよう学習させています。パラメータ数は6600万で、元のBERT-baseより40%小さく、約60%速く動きます。それでいてGLUEベンチマークでは、BERTの性能の約97%を保ちます。SQuADの質問応答やIMDbの感情分類のようなタスクでは、サイズを削ったのに、本物のBERTとの差は数ポイントに収まります。

論文「DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter」はNLPで最も引用された論文の一つになりました。モデル自体も、モバイル端末を含む限られたハードウェアでBERT級の言語理解がほしいチームにとって、標準的な選択肢になりました。Apache 2.0ライセンスで公開されており、公開から何年たっても、Hugging Faceで最もダウンロードされているモデルの一つです。