Flan-T5

Flan-T5は、Googleが2022年10月に公開した、テキストからテキストへ変換するtransformer、T5の指示チューニング版です。基本のアーキテクチャは変えず、指示の形で書かれた1,000を超えるタスクでT5をファインチューニングしています。タスクは翻訳、要約、推論、分類にわたり、言語も多岐にわたります。このファインチューニングで、そのままでも、素のT5よりずっと使いやすくなりました。素のT5は、よい性能を出すにはタスクごとのチューニングが必要でした。Googleはこのファミリーを複数のサイズで公開しました。小さいものは8000万パラメータ、大きいものはFlan-T5-XXLの110億パラメータで、すべてApache 2.0ライセンスのもと、Hugging Faceから自由にダウンロードできます。512トークンのコンテキスト長は今の基準では短く、扱えるのは短い文書やプロンプトに限られます。指示チューニングの研究では今もよくベースラインとして使われます。また、大きなデコーダー専用のLLMを動かす計算コストをかけずに、単純なNLPタスクのためにオープンでセルフホストできるモデルがほしいチームにとって、軽い選択肢でもあります。