Falcon 3

Falcon 3 ist eine Familie von Sprachmodellen mit offenen Gewichten des Technology Innovation Institute in Abu Dhabi. Sie erschien im Dezember 2024 in vier Größen mit 1B, 3B, 7B und 10B Parametern, jeweils als Basis- und Instruct-Version. TII entwickelte die Reihe für den Betrieb auf moderater Hardware, einschließlich einer einzelnen GPU oder eines Laptops, bei gleichzeitiger Konkurrenzfähigkeit mit größeren offenen Modellen. Bei der Veröffentlichung führte das 10B-Modell die Bestenliste von Hugging Face für Modelle unter 13B Parametern an und erzielte 73,1 Punkte bei MMLU sowie 83,1 bei GSM8K. Damit lag es vor vergleichbaren Llama- und Gemma-Varianten jener Zeit. Die meisten Größen unterstützen ein Kontextfenster von 32K Tokens; beim 1B-Modell sind es 8K. TII stellt die Gewichte auf Hugging Face unter der eigenen Falcon-Lizenz zur Selbstbereitstellung bereit. Falcon 3 folgte auf Falcon und Falcon Mamba und spiegelt TIIs stärkere Ausrichtung auf kleinere, günstigere Modelle statt auf immer höhere Parameterzahlen wider.