Falcon 180B
Le modèle à poids ouverts de TII qui menait les leaderboards ouverts à sa sortie
Falcon 180B est un modèle de langage de 180 milliards de paramètres, publié en septembre 2023 par le Technology Innovation Institute des Émirats arabes unis et entraîné sur 3,5 billions de tokens. À sa sortie, c’était le plus grand modèle de langage disponible ouvertement, et il a pris la tête du Hugging Face Open LLM Leaderboard : il dépassait Llama 2 70B et égalait ou battait GPT-3.5 sur plusieurs benchmarks, dont un score MMLU autour de 70. TII l’a distribué sous une licence sans redevance basée sur Apache 2.0, avec une clause en plus qui exige une autorisation séparée pour les déploiements hébergés qui proposent le modèle à des tiers. Sa fenêtre de contexte de 2 048 tokens paraît courte aux standards venus après, et Falcon 180B a été en grande partie remplacé par les générations Falcon 2 et Falcon 3 de TII, plus petites et plus efficaces, mais il reste un point de repère sur le chemin parcouru par les modèles à poids ouverts fin 2023.