Ragas

Ragas hilft Teams zu messen, wie gut ein RAG-System arbeitet. Entwickler:innen geben Fragen, abgerufene Textstellen und generierte Antworten ein. Sprachmodelle bewerten dann unter anderem, ob die Antwort durch den Kontext gestützt wird, die Frage beantwortet und der abgerufene Kontext relevant war.

Da für nicht jeden Fall von Hand Antworten gelabelt werden müssen, können Teams schneller evaluieren. Ragas kann aus Dokumenten außerdem synthetische Testsätze erzeugen. Es lässt sich mit Frameworks wie LangChain und LlamaIndex sowie mit Beobachtungswerkzeugen integrieren.

Ragas ist kostenlos und quelloffen. Sprachmodelle als Bewertungsinstanz bringen eigene Schwankungen mit sich; Bewertungen eignen sich daher eher zum Vergleich von Versionen als als absolute Wahrheit. Alternativen sind TruLens, DeepEval, Arize Phoenix, Braintrust und Promptfoo. Ragas eignet sich für Entwickler:innen, die RAG-Pipelines abstimmen.