Arize AI

Arize ayuda a los equipos a ver qué hacen sus modelos después del despliegue. En el machine learning clásico, sigue el rendimiento, detecta cuándo los datos de entrada se alejan de los de entrenamiento y ayuda a identificar en qué segmentos de usuarios falla un modelo. Las alertas avisan de los problemas antes de que afecten al negocio.

En las aplicaciones con LLM, traza cada petición a lo largo de la cadena de prompts, recuperación y llamadas a herramientas, y ejecuta evaluaciones que puntúan las respuestas por relevancia, alucinaciones y seguridad. Así los desarrolladores pueden averiguar por qué una respuesta fue errónea y probar correcciones. Arize Phoenix, la herramienta de código abierto de la empresa, ofrece trazas y evaluación que pueden ejecutarse en local.

Arize tiene opciones gratuitas y de código abierto, y planes de pago para empresas. Configurar bien las evaluaciones requiere reflexión, porque los jueces automáticos pueden ser inconsistentes. Entre las alternativas están Langfuse, LangSmith, Weights & Biases Weave, Braintrust, Datadog LLM Observability y Fiddler. Arize sirve para equipos de ML e IA que tienen modelos en producción.