LMArena

LMArena begann als LMSYS Chatbot Arena, ein Forschungsprojekt von Forschenden der UC Berkeley. Du gibst einen Prompt ein, erhältst Antworten von zwei anonymen Modellen und stimmst für deine bevorzugte Antwort ab. Erst danach werden die Modellnamen gezeigt. Stimmen sehr vieler Menschen werden mit einem statistischen Verfahren ähnlich den Elo-Wertungen im Schach in Ranglisten umgerechnet. So spiegeln sie echte Vorlieben wider, statt Antworten auf feste Testfragen zu bewerten.

Die Website deckt inzwischen mehr als Text-Chat ab. Es gibt separate Ranglisten für Programmierung, Bildverarbeitung, Bilderzeugung, Suche und Video sowie Kategorien für anspruchsvolle Prompts oder bestimmte Sprachen. KI-Labore testen dort häufig unveröffentlichte Modelle unter Codenamen. Ein hoher Rang wird oft in Ankündigungen als Signal verwendet. Nutzer können auch direkt mit bestimmten Modellen chatten. Ein Teil der Daten wird für Forschende veröffentlicht.

Arena ist kostenlos nutzbar. Der Ansatz hat Grenzen: Ranglisten spiegeln wider, was Abstimmende mögen. Stil, Länge und Formatierung können stärker gewichtet werden als Genauigkeit. Kritiker haben zudem argumentiert, dass Labore Modelle gezielt dafür optimieren könnten. Nutze die Rangliste als einen Hinweis neben Tests für konkrete Aufgaben. Artificial Analysis, Ranglisten von Hugging Face und SEAL-Ranglisten von Scale AI bewerten Modelle anders. Für einen schnellen Vergleich beliebter Modelle ist Arena die am häufigsten zitierte Quelle.