Falcon 2

Falcon 2は、Technology Innovation Instituteが2024年5月に公開した110億パラメータのモデルファミリーです。11言語にわたる5.5兆トークンで学習されています。以前のFalcon 180Bと、後のFalcon 3世代の間に位置し、TIIが視覚言語版のFalcon 2 11B VLMを加えたのがこの世代です。テキスト専用のベースモデルに加えて、画像を入力に取り、その内容をテキストで説明したり推論したりできます。学習は段階的に進め、コンテキスト長を2,048トークンから8,192トークンまで広げました。ライセンスはTII独自のTII Falcon Licenseで、Apache 2.0をベースにした寛容なライセンスに、利用規定が加わったものです。TIIは、同程度のパラメータ数のMetaのLlama 3 8Bを、いくつかのベンチマークで上回ったとしています。