LMArena

LMArena nació como el Chatbot Arena de LMSYS, un proyecto de investigación de investigadores de UC Berkeley. Escribes un prompt, recibes respuestas de dos modelos anónimos y votas por la que prefieres, y solo entonces se revelan los nombres de los modelos. Los votos de un número muy grande de personas se convierten en puntuaciones con un método estadístico parecido al Elo del ajedrez, lo que produce una clasificación que refleja preferencias reales y no preguntas de prueba fijas.

El sitio ha crecido más allá del chat de texto. Hay rankings separados para programación, visión, generación de imágenes, búsqueda y vídeo, además de categorías como prompts difíciles o idiomas concretos. Los laboratorios de IA suelen probar allí modelos no publicados con nombres en clave, y un puesto alto se usa mucho como señal en los anuncios. Los usuarios también pueden chatear directamente con modelos concretos, y el sitio publica parte de sus datos para investigadores.

Arena es de uso gratuito. El enfoque tiene límites: las clasificaciones reflejan lo que gusta a los votantes, lo que puede premiar el estilo, la longitud y el formato por encima de la precisión, y los críticos sostienen que los laboratorios pueden ajustar los modelos para rendir bien allí. Conviene tratar el ranking como una señal más junto a pruebas específicas para cada tarea. Artificial Analysis, los rankings de Hugging Face y los rankings SEAL de Scale AI miden los modelos de otra manera. Para una vista rápida de cómo se comparan los modelos populares, Arena es la fuente más citada.