LLaMA
Ursprüngliche Open-Weight-Veröffentlichung von Meta aus dem Jahr 2023, die den Boom offener LLMs auslöste
LLaMA ist Metas ursprüngliches großes Sprachmodell. Es erschien im Februar 2023 in vier Größen von 7 bis 65 Milliarden Parametern und hatte nach heutigen Maßstäben ein bescheidenes Kontextfenster von 2.048 Tokens. Anders als bei späteren Llama-Generationen war der Zugang zunächst beschränkt: Meta vergab die Gewichte auf Einzelfallbasis an Forschende und unter einer nichtkommerziellen Lizenz, statt sie frei zu veröffentlichen. Innerhalb weniger Wochen nach der Veröffentlichung gelangten sie jedoch öffentlich ins Netz. Meta zufolge übertraf das 13B-Modell GPT-3 mit 175 Milliarden Parametern in mehreren Benchmarks; das 65B-Modell war konkurrenzfähig mit PaLM und Chinchilla. Diese Behauptungen lenkten die Aufmerksamkeit der Open-Source-LLM-Community auf effizientes Training. LLaMA löste die Welle offener Fine-Tunes und Ableger wie Alpaca und Vicuna aus, die die Open-Source-NLP-Forschung 2023 prägten, obwohl Llama 2, 3 und 4 es inzwischen vollständig abgelöst haben.