ESM-2

ESM-2は、Meta AIが2022年10月に公開したタンパク質言語モデルです。約2億5000万のタンパク質配列で学習しており、多重配列アラインメントの工程は使いません。サイズは複数あり、最大は150億パラメータで、公開時点では最大のタンパク質言語モデルでした。Metaの調べでは、モデルを大きくすると、明示的に教えていなくても内部表現にタンパク質の3次元構造の情報が表れ始めます。この性質を使っているのがMetaの構造予測システムESMFoldです。ESMFoldはESM-2でタンパク質配列を読み、得られた表現をそのまま原子座標に変換します。AlphaFoldのようなツールが頼るアラインメントデータベースを使わないため、構造予測が大幅に速くなりました。Metaは重みを公開し、ESM-2を使って、これまで性質が調べられていなかった数億のタンパク質について予測構造を集めた公開データベース、ESM Metagenomic Atlasも作りました。