Falcon 3
La famille de petits modèles efficaces à poids ouverts de TII
Falcon 3 est une famille de modèles de langage à poids ouverts du Technology Innovation Institute, à Abou Dhabi, sortie en décembre 2024 en quatre tailles : 1B, 3B, 7B et 10B de paramètres, chacune en versions base et instruct. TII a construit la gamme pour tourner sur du matériel modeste, y compris un seul GPU ou un ordinateur portable, tout en tenant la comparaison avec des modèles ouverts plus grands. Le modèle 10B a pris la tête du leaderboard de Hugging Face pour les modèles sous 13B de paramètres au lancement, avec 73,1 au MMLU et 83,1 au GSM8K, devant les variantes Llama et Gemma comparables à l’époque. La plupart des tailles prennent en charge une fenêtre de contexte de 32K tokens (le modèle 1B est limité à 8K), et TII distribue les poids sur Hugging Face sous sa propre Falcon License, pour un usage auto-hébergé. Falcon 3 suit les sorties Falcon et Falcon Mamba plus anciennes, et marque le virage de TII vers des modèles plus petits, moins chers à faire tourner, plutôt que la course aux nombres de paramètres de frontière.