Falcon 180B

Falcon 180Bは、アラブ首長国連邦のTechnology Innovation Instituteが2023年9月に公開した、1800億パラメータの言語モデルです。3.5兆トークンで学習されています。公開時点で一般に入手できる最大の言語モデルで、Hugging FaceのOpen LLM Leaderboardで首位に立ちました。Llama 2 70Bを上回り、MMLUが約70など、いくつかのベンチマークでGPT-3.5に並ぶか、それを超えています。TIIはApache 2.0をベースにしたロイヤリティフリーのライセンスで配布しましたが、第三者にモデルを提供するホスト型の展開には別途許可が必要という条項が付いています。2,048トークンのコンテキスト長は、後のモデルと比べると小さく見えます。Falcon 180Bは、より小さく効率のよいTIIのFalcon 2とFalcon 3に世代交代しましたが、2023年後半の時点でオープンウェイトモデルがどこまで来ていたかを示す基準として今も参照されます。