LMArena

LMArenaは、UCバークレーの研究者によるLMSYS Chatbot Arenaという研究プロジェクトから始まりました。プロンプトを入力すると匿名の2つのモデルから回答が返り、好みのほうに投票します。モデル名が明かされるのは投票のあとです。非常に多くの人の票を、チェスのEloレーティングに似た統計手法でレーティングに変換します。固定のテスト問題ではなく、実際の好みを反映した順位になります。

サイトはテキストチャットを超えて広がりました。コーディング、ビジョン、画像生成、検索、動画それぞれに別のランキングがあり、難しいプロンプトや特定の言語といったカテゴリもあります。AIラボが未公開のモデルをコードネームでここで試すことも多く、上位に入ったことは発表で広くシグナルとして使われます。特定のモデルと直接チャットすることもでき、サイトは一部のデータを研究者向けに公開しています。

Arenaは無料で使えます。このやり方には限界があります。順位は投票者の好みを映すので、正確さよりも文体、長さ、書式が有利になることがあり、ラボがArena向けにモデルを調整できるという批判もあります。ランキングは、タスクごとのテストと並べて、あくまで1つのシグナルとして扱ってください。Artificial Analysis、Hugging Faceのランキング、Scale AIのSEALランキングは、別の方法でモデルを測ります。人気モデルの比較をざっと見たいなら、Arenaが最もよく引用される情報源です。