BERT

BERT（Bidirectional Encoder Representations from Transformers）は、Google Researchが2018年10月に発表した言語モデルで、NLPタスクの事前学習に対する分野の考え方を変えました。テキストを左から右へ読む従来のモデルとは違い、BERTはマスクした単語の予測と次の文の予測で学習します。そのため、両方向の文脈を同時に使った表現を作れます。Googleは主に2つのサイズを公開しました。1億1,000万パラメータのBERT-baseと、3億4,000万パラメータのBERT-largeで、どちらも入力は512トークンまでです。重みはApache 2.0でGitHub、後にHugging Faceで自由に入手できます。ファインチューンしたBERTは、公開時に質問応答や自然言語推論を含む11のNLPベンチマークで新記録を出しました。分類、固有表現抽出、検索ランキングなどのタスクで、ファインチューンする標準的なベースモデルになりました。現在ではRoBERTaやDeBERTaといった新しいエンコーダモデルや、その後の埋め込みモデルにほとんど置き換えられていますが、NLPで最も引用された論文の1つであり、そのアーキテクチャは後のエンコーダベースのシステムの多くの土台になっています。