Falcon 180B
Das offene Modell von TII, das bei seiner Veröffentlichung offene Bestenlisten anführte
Falcon 180B ist ein Sprachmodell mit 180 Milliarden Parametern, das das Technology Innovation Institute (TII) der Vereinigten Arabischen Emirate im September 2023 veröffentlichte. Es wurde mit 3,5 Billionen Tokens trainiert. Bei seiner Veröffentlichung war es das größte offen verfügbare Sprachmodell und führte die Open-LLM-Bestenliste von Hugging Face an. Es übertraf Llama 2 70B und erreichte oder übertraf GPT-3.5 in mehreren Benchmarks, darunter mit einem MMLU-Wert von etwa 70. TII veröffentlichte es unter einer gebührenfreien, auf Apache 2.0 basierenden Lizenz. Für gehostete Bereitstellungen, bei denen das Modell Dritten angeboten wird, war jedoch eine gesonderte Genehmigung erforderlich. Das Kontextfenster von 2048 Tokens wirkt nach heutigen Maßstäben klein. Falcon 180B wurde größtenteils durch die kleineren und effizienteren Generationen Falcon 2 und Falcon 3 von TII abgelöst, bleibt aber ein Bezugspunkt für den Entwicklungsstand offener Modelle Ende 2023.