ELECTRA

ELECTRAはテキストエンコーダの事前学習の手法で、GoogleとStanfordの研究者がICLR 2020向けの論文で発表し、この手法で作った事前学習済みモデルのファミリーも出しました。BERTのマスク言語モデリングの目的関数では、ランダムに隠した単語をモデルが予測します。ELECTRAはそうではなく、小さな生成器にいくつかのトークンをもっともらしい別のものに置き換えさせ、識別器がどのトークンが入れ替えられたかを見抜くように学習します。この「置換トークン検出」の目的関数では、マスクされたトークンだけでなく系列内のすべてのトークンから学習の信号が得られます。そのため、事前学習のサンプル効率がずっと高くなります。

公開された最大のバージョンであるELECTRA-Largeは3億3500万パラメータで、RoBERTaやXLNetの4分の1の事前学習計算量で、それらに匹敵するGLUEスコアに達しました。計算量の予算を同じにすると、それらを明確に上回りました。Googleはコードと重みをApache 2.0ライセンスで公開しており、より小さなELECTRA-SmallとELECTRA-Baseは、BERT並みの精度がほしいが、BERT並みの学習コストは避けたいチームに選ばれてきました。