Falcon 7B

Falcon 7Bは、TIIが最初に公開したFalconのうち小さいほうのモデルです。Falcon 40Bと同じRefinedWebデータセットで学習しており、GPU1枚で安く動かせるサイズにしています。TIIは2023年の初めに約2週間かけて学習し、寛容なApache 2.0ライセンスで公開しました。そのため開発者は、ロイヤリティなしで商用に使い、改変し、展開できます。当時は、同程度のオープンモデルの多くが研究用途に限られていたため、このライセンスは目を引きました。Falcon 7Bは、40Bモデルと同じ、multiquery attention付きのデコーダー専用transformerを使います。コンテキスト長は2,048トークンで、必要な計算量が少ないため、2023年から2024年初めにかけて、ファインチューニングの実験やオンデバイス用途でよく選ばれました。その後TIIはFalcon 3とFalcon Mambaファミリーに移り、Falcon 7Bは旧世代のモデルとして、今もHugging Face上で広くミラーされています。