Falcon 40B
Das frühere offene Modell von TII, das vor Falcon 180B Bestenlisten anführte
Falcon 40B ist ein kausales Sprachmodell mit ausschließlich Decoder und 40 Milliarden Parametern. Es wurde im Mai 2023 vom Technology Innovation Institute veröffentlicht. Trainiert wurde es mit etwa einer Billion Tokens aus RefinedWeb, einem umfangreichen Webdatensatz, den TII selbst zusammenstellte und filterte, sowie ausgewählten zusätzlichen Korpora. Bei der Veröffentlichung führte es die Open-LLM-Bestenliste von Hugging Face unter den offenen Modellen an. Mit 82,7 Punkten bei MMLU und 76,3 bei HumanEval lag es vor damaligen Konkurrenten wie MPT und RedPajama und konkurrierte bei mehreren Benchmarks mit dem größeren Llama 2 70B von Meta. Multiquery-Attention und FlashAttention senken die Inferenzkosten im Verhältnis zur Größe. TII veröffentlichte es gebührenfrei unter Apache 2.0 – für ein Modell dieser Größenordnung damals ungewöhnlich freizügig. Das trug zur frühen Nutzung in Unternehmen bei, unter anderem über AWS SageMaker JumpStart. Falcon 40B wurde inzwischen durch Falcon 180B und die Falcon-3-Familie abgelöst. Sein Kontextfenster von 2048 Tokens ist gegenüber heutigen Modellen klein.