ELECTRA

ELECTRA ist eine Methode zum Vortraining von Text-Encodern, die Forschende von Google und Stanford in einer 2020 auf der ICLR veröffentlichten Arbeit vorstellten, zusammen mit einer Reihe darauf trainierter Modelle. Anders als beim Masked-Language-Modeling von BERT, bei dem das Modell zufällig ausgeblendete Wörter vorhersagt, trainiert ELECTRA einen kleinen Generator, der Tokens durch plausible Alternativen ersetzt. Ein Diskriminator erkennt anschließend, welche Tokens ausgetauscht wurden. Dieses Verfahren zur Erkennung ersetzter Tokens liefert für jedes Token einer Sequenz ein Lernsignal statt nur für maskierte Wörter und macht das Vortraining dadurch deutlich effizienter.

Die größte veröffentlichte Version, ELECTRA-Large, hat 335 Millionen Parameter und erzielte GLUE-Werte auf Augenhöhe mit RoBERTa und XLNet, benötigte aber nur ein Viertel ihres Vortrainingsaufwands. Bei gleichem Rechenbudget übertraf sie diese Modelle sogar. Google veröffentlichte Code und Gewichte unter Apache 2.0. Die kleineren Varianten ELECTRA-Small und ELECTRA-Base wurden zu beliebten Optionen für Teams, die BERT-Genauigkeit ohne dessen Trainingskosten wollten.