Llama 3.1 70B

Llama 3.1 70Bは、Metaが2024年7月に公開したLlama 3.1シリーズの中位モデルで、パラメータ数80億の版と主力の4,050億版の間に位置します。シリーズ全体で15兆を超えるトークンを使って学習し、元のLlama 3の8,192から大幅に拡張した128,000トークンのコンテキスト長に対応します。70Bモデルは多言語対応とツール利用も改善しました。MMLUやHumanEvalなどのベンチマークでは、計算コストを大きく抑えながら、はるかに大きな405Bモデルに近い性能です。MetaはLlama 3.1 Community Licenseで重みを公開しており、セルフホストやTogether AI、AWS BedrockなどのサードパーティAPIで強い性能を使いたい企業によく選ばれています。