Llama 3
Open-Weight-Veröffentlichung von Meta aus dem Jahr 2024, die den Abstand zu geschlossenen Modellen weitgehend schloss
Llama 3 erschien im April 2024 und verkleinerte den Leistungsabstand zwischen Metas offenen Modellen und geschlossenen Konkurrenten wie GPT-4 und Claude 3 deutlich. Die Veröffentlichung umfasste Varianten mit 8 und 70 Milliarden Parametern, beide mit etwa 15 Billionen Tokens trainiert und mit einem Kontextfenster von 8.192 Tokens – kleiner als bei Llama 3.1, das nur wenige Monate später folgte. Meta zufolge übertraf das 70B-Modell Gemini Pro 1.5 und Claude 3 Sonnet bei mehreren Benchmarks. Das 8B-Modell schlug bei MMLU sogar das viel größere Llama 2 70B, ein bemerkenswerter Fortschritt für ein etwa neunmal kleineres Modell. Llama 3 wurde inzwischen größtenteils von den Generationen 3.1, 3.2 und 3.3 abgelöst. Die Veröffentlichung machte Metas Llama-Reihe jedoch zu einer ernsthaften Konkurrenz für geschlossene Spitzenmodelle.