Llama 3.1 70B
Modell mittlerer Größe aus Metas Llama-3.1-Veröffentlichung zwischen den Varianten mit 8B und 405B Parametern
Llama 3.1 70B ist die mittlere Variante der im Juli 2024 veröffentlichten Llama-3.1-Familie und liegt zwischen dem 8B-Modell und dem Spitzenmodell mit 405 Milliarden Parametern. Meta trainierte die ganze Reihe mit mehr als 15 Billionen Tokens und erweiterte das Kontextfenster auf 128.000 Tokens, deutlich mehr als die 8.192 Tokens des ursprünglichen Llama 3. Das 70B-Modell ergänzte Mehrsprachigkeit und verbesserte Werkzeugnutzung. Bei MMLU und HumanEval liegt es nahe am viel größeren 405B-Modell, benötigt aber einen Bruchteil der Rechenleistung. Da Meta die Gewichte unter der Llama-3.1-Community-Lizenz offen veröffentlichte, wurde 70B zur beliebten Wahl von Unternehmen, die leistungsfähige Modelle selbst hosten oder über Anbieter wie Together AI und AWS Bedrock nutzen möchten.