BioGPT

BioGPTは、Microsoft Researchが2022年10月に発表した言語モデルで、汎用モデルを後から適応させたものではなく、最初から生物医学のテキスト向けに作られています。GPT-2型のデコーダアーキテクチャで、約1,500万件のPubMedの要旨をゼロから学習しました。3億4,700万パラメータのベース版と、15億パラメータのBioGPT-Large版があります。ファインチューンではなく、最初から生物医学のテキストで学習しているので、生物医学の関係抽出、医学文献への質問応答、文書分類といったタスクで、従来の汎用言語モデルを上回りました。MicrosoftはMITライセンスで、両方のチェックポイントをHugging FaceとGitHubに公開しています。分野特化のモデルをゼロから学習しなくても生物医学のNLPツールを作れるため、研究グループがよく出発点にします。汎用の指示チューニング済みチャットモデルが広がる前のモデルで、その後更新されていません。現在は汎用のアシスタントではなく、限られた生物医学のテキストタスク向けの、軽量でセルフホストできる選択肢としてよく使われます。