Llama 3.1 405B

Llama 3.1 405BはMetaが2024年7月23日に公開した、Llama 3.1シリーズ最大のモデルです。Mixture of Expertsではなく、4,050億パラメータの高密度Transformerです。コンテキスト長は128,000トークンで、MMLUは88.6、HumanEvalは89.0を記録し、知識とコーディングの両方でGPT-4と同程度でした。オープンウェイトモデルが世代遅れではなく、非公開の最先端モデルに実際に匹敵した初の例となりました。Metaは同じ方法で学習した70Bと8Bの小型版も同時に公開し、開発者が品質とコストのバランスを選べるようにしました。Hugging Faceからセルフホストでき、Together AI、Fireworks、AWS Bedrock、Azure、Google Cloudなどの推論サービスからも利用できます。Metaは重みに料金を課していないため、プロバイダーは同等の非公開モデルより低価格で提供しています。Llama 3.1 405Bを通じて、オープンモデルも単に安価で性能が劣る代替ではなく、最先端に並べるというMetaの主張が示されました。