Falcon 2
La génération Falcon de TII entre Falcon 180B et Falcon 3, avec une variante vision-langage
Falcon 2 est une famille de modèles de 11 milliards de paramètres, publiée par le Technology Innovation Institute en mai 2024 et entraînée sur 5,5 billions de tokens dans 11 langues. Elle se place entre Falcon 180B, plus ancien, et la génération Falcon 3, venue après, et c’est là que TII a ajouté une variante vision-langage, Falcon 2 11B VLM, qui peut prendre une image en entrée et la décrire ou raisonner dessus en texte, à côté du modèle de base limité au texte. L’entraînement suivait une approche par étapes qui a fait passer la fenêtre de contexte de 2 048 tokens à 8 192. TII l’a publié sous sa propre licence TII Falcon License, une licence permissive basée sur Apache 2.0 avec une politique d’usage acceptable en plus, et affirmait qu’il dépassait Llama 3 8B de Meta sur plusieurs benchmarks, à un nombre de paramètres proche.