Falcon 2
Die Falcon-Generation von TII zwischen Falcon 180B und Falcon 3, ergänzt um eine Vision-Language-Variante
Falcon 2 ist eine Modellfamilie mit 11 Milliarden Parametern, die das Technology Innovation Institute im Mai 2024 veröffentlichte. Sie wurde mit 5,5 Billionen Tokens in elf Sprachen trainiert. Die Generation liegt zwischen dem früheren Falcon 180B und Falcon 3. Mit Falcon 2 ergänzte TII die Reihe um eine Vision-Language-Variante, Falcon 2 11B VLM, die Bilder als Eingabe entgegennehmen und sie in Text beschreiben oder analysieren kann. Daneben gibt es das reine Textmodell. Das Training erfolgte stufenweise und erweiterte das Kontextfenster von 2048 auf 8192 Tokens. TII veröffentlichte Falcon 2 unter seiner eigenen TII Falcon License, einer freizügigen, auf Apache 2.0 basierenden Lizenz mit zusätzlicher Richtlinie zur zulässigen Nutzung. Das Institut gab an, dass das Modell Meta Llama 3 8B bei mehreren Benchmarks trotz ähnlicher Parameterzahl übertraf.