Llama 3.1 405B
Größtes dichtes Open-Weight-Modell von Meta, konkurrenzfähig mit geschlossenen Frontier-Modellen
Llama 3.1 405B ist Metas größtes Modell der Llama-3.1-Reihe. Es erschien am 23. Juli 2024 als dichter Transformer mit 405 Milliarden Parametern, nicht als Mixture-of-Experts-Modell. Das Kontextfenster umfasst 128.000 Tokens. Bei MMLU erzielte es 88,6 Punkte und bei HumanEval 89,0 und lag damit bei Wissens- und Programmier-Benchmarks im Bereich von GPT-4. Damit erreichte erstmals ein Modell mit offenen Gewichten tatsächlich das Niveau eines geschlossenen Spitzenmodells, statt eine Generation hinterherzuhinken. Meta veröffentlichte zugleich kleinere Varianten mit 70 und 8 Milliarden Parametern, sodass Entwickler:innen Qualität und Kosten abwägen konnten. Selbst gehostet ist das Modell über Hugging Face verfügbar; verwaltete Inferenz bieten unter anderem Together AI, Fireworks, AWS Bedrock, Azure und Google Cloud zu Preisen unter vergleichbaren geschlossenen Modellen an, da Meta für die Gewichte nichts verlangt. Llama 3.1 405B untermauerte Metas Argument, dass offene Modelle zur Leistungsspitze gehören können.