ALBERT

ALBERT（A Lite BERT）は、Google ResearchとToyota Technological Instituteが2019年9月に発表した言語表現モデルで、BERTの後継にあたります。埋め込みの因数分解とレイヤー間のパラメータ共有という2つの削減手法で、パラメータ数を大きく減らしながら、はるかに大きなモデルに並ぶ精度を保ちます。最大構成のALBERT-xxlargeは約2億2,300万パラメータで、BERT-largeの約18分の1です。それでも学習は速く、公開時点でGLUE、SQuAD 2.0、RACEの最高スコアを更新しました。

ALBERTはBERTと同じくエンコーダのみのモデルです。分類、質問応答、読解といった理解タスク向けで、自由な文章生成には向きません。入力は1シーケンスあたり512トークンまでです。Googleはコードと学習済みの重みを公開しており、2020年代初めには、デコーダのみの生成モデルが注目を集める前のNLP研究や実運用で、よく使われるベースラインになりました。