AgentOps

AgentOps aborda un problema propio de los agentes de IA: toman muchas decisiones, llaman a herramientas y encadenan peticiones a modelos, lo que hace difícil entender los fallos. Con unas pocas líneas de código, los desarrolladores registran cada sesión del agente, y la plataforma muestra una línea de tiempo con prompts, respuestas del modelo, llamadas a herramientas y errores. Una vista de repetición permite recorrer exactamente lo que hizo el agente, lo que ayuda a encontrar por qué entró en un bucle, alucinó o no llegó a terminar.

Los paneles siguen el coste y el rendimiento. Muestran cuántos tokens consumió cada ejecución y cuánto costó, la latencia de cada paso y las tasas de fallo, y comparan el comportamiento entre versiones. Se integra con frameworks populares como CrewAI, AutoGen, LangChain y el OpenAI Agents SDK, y admite muchos proveedores de modelos. Los equipos lo usan para detectar regresiones y controlar el gasto.

AgentOps tiene un nivel gratuito para desarrolladores y planes de pago para volúmenes mayores, con opciones para empresas que quieren alojarlo por cuenta propia. Se sitúa en un espacio muy concurrido de herramientas de observabilidad de LLM, entre ellas LangSmith, Langfuse, Arize Phoenix, Helicone y Weights & Biases Weave. Registrar prompts y respuestas plantea cuestiones de privacidad, sobre todo con datos sensibles. AgentOps encaja con desarrolladores que crean agentes y quieren ver lo que ocurre dentro de sus ejecuciones.