Langfuse

Langfuse da visibilidad a los desarrolladores sobre las aplicaciones LLM. Al añadir su SDK o una integración, cada petición se traza con sus prompts, respuestas del modelo, llamadas a herramientas, latencia y coste, incluidos los pasos anidados de los flujos de agentes. Los ingenieros inspeccionan los fallos en una interfaz web y ven el uso por usuarios y sesiones.

Además de la observabilidad, apoya el trabajo de calidad. La gestión de prompts permite versionarlos y desplegarlos sin cambios de código, las funciones de evaluación puntúan las respuestas mediante jueces LLM, comentarios de usuarios o comprobaciones propias, y los conjuntos de datos permiten hacer experimentos antes del lanzamiento. El producto se puede alojar por cuenta propia, lo que conviene a equipos con requisitos de privacidad.

Langfuse tiene un nivel gratuito en la nube, planes de pago y una versión de código abierto gratuita. ClickHouse adquirió la empresa y el proyecto sigue abierto. Entre las alternativas están LangSmith, Braintrust, Arize Phoenix, Helicone y Weights & Biases Weave. Langfuse sirve a equipos que construyen aplicaciones LLM en producción.