Falcon 3

Falcon 3は、アブダビのTechnology Innovation Instituteが2024年12月に公開したオープンウェイトの言語モデルファミリーです。1B、3B、7B、10Bパラメータの4サイズがあり、それぞれにベース版とinstruct版があります。TIIはGPU1枚やノートPCといった控えめなハードウェアで動くように作りつつ、大きなオープンモデルとも競えることを狙いました。10Bモデルは公開時点で、13B未満のモデルを対象にしたHugging Faceのランキングで首位に立ちました。MMLUは73.1、GSM8Kは83.1で、同程度のLlamaやGemmaの派生モデルを上回っています。ほとんどのサイズが32Kトークンのコンテキスト長に対応します(1Bモデルは8Kまで)。重みはHugging Faceで、TII独自のFalcon Licenseのもと、セルフホスト用に配布されています。Falcon 3は、先行するFalconとFalcon Mambaに続くもので、フロンティア級のパラメータ数を追うのをやめ、小さく安く動くモデルへ移ったTIIの方針を表しています。