Ragas

Ragas ayuda a los equipos a medir el funcionamiento de un sistema RAG. El desarrollador le proporciona preguntas, pasajes recuperados y respuestas generadas. Ragas usa modelos de lenguaje para puntuar si la respuesta está respaldada por el contexto, si responde a la pregunta y si el contexto recuperado era pertinente.

Como no requiere respuestas etiquetadas a mano para cada caso, los equipos pueden evaluar con rapidez. También puede generar conjuntos de pruebas sintéticos a partir de documentos. Se integra con frameworks como LangChain y LlamaIndex y con herramientas de observabilidad.

Ragas es gratuito y de código abierto. Usar un modelo de lenguaje como juez introduce inconsistencias propias, así que las puntuaciones sirven mejor para comparar versiones que como verdad absoluta. Entre las alternativas están TruLens, DeepEval, Arize Phoenix, Braintrust y Promptfoo. Ragas sirve a desarrolladores que ajustan sistemas RAG.