LMArena

LMArena a commencé comme le LMSYS Chatbot Arena, un projet de recherche de chercheurs de l’UC Berkeley. Tu saisis un prompt, tu reçois des réponses de deux modèles anonymes, et tu votes pour celle que tu préfères. Les noms des modèles ne sont révélés qu’ensuite. Les votes d’un très grand nombre de personnes sont convertis en notes, avec une méthode statistique proche des scores Elo aux échecs, ce qui produit un classement qui reflète des préférences réelles plutôt que des questions de test fixes.

Le site a dépassé le chat textuel. Il y a des classements séparés pour la programmation, la vision, la génération d’images, la recherche et la vidéo, ainsi que des catégories comme les prompts difficiles ou des langues précises. Les labos d’IA y testent souvent des modèles non sortis sous des noms de code, et un rang élevé sert largement de signal dans les annonces. On peut aussi discuter directement avec des modèles précis, et le site publie une partie de ses données pour les chercheurs.

Arena est gratuit. L’approche a des limites : les classements reflètent ce que les votants aiment, ce qui peut récompenser le style, la longueur et la mise en forme plus que la justesse, et des critiques ont soutenu que les labos peuvent ajuster des modèles pour y bien figurer. Prends le classement comme un signal parmi d’autres, à côté de tests propres à une tâche. Artificial Analysis, les classements de Hugging Face et les classements SEAL de Scale AI mesurent les modèles autrement. Pour une vue rapide de la comparaison des modèles courants, Arena est la source la plus citée.