Llama 3

Llama 3はMetaが2024年4月に公開し、GPT-4やClaude 3などの非公開モデルとの性能差を大きく縮めました。8Bと70Bの2サイズで登場し、どちらも約15兆トークンで学習され、コンテキスト長は8,192トークンでした。Metaによると、公開時の複数のベンチマークで70BモデルがGemini Pro 1.5とClaude 3 Sonnetを上回りました。8Bモデルはパラメータ数が約9分の1でありながら、MMLUでより大きなLlama 2 70Bを上回りました。現在はLlama 3.1、3.2、3.3世代にほぼ置き換わっていますが、MetaのLlamaシリーズが非公開の最先端モデルと真剣に競えることを示したリリースでした。