AgentOps

AgentOps traite un problème propre aux agents d’IA : ils prennent beaucoup de décisions, appellent des outils et enchaînent des requêtes de modèle, ce qui rend les échecs difficiles à comprendre. En ajoutant quelques lignes de code, les développeurs enregistrent chaque session d’agent, et la plateforme montre une timeline de prompts, de réponses du modèle, d’appels d’outils et d’erreurs. Une vue de relecture permet de suivre exactement ce que l’agent a fait, ce qui aide à voir pourquoi il a bouclé, halluciné, ou n’a pas fini.

Les tableaux de bord suivent le coût et la performance. Ils montrent combien de tokens chaque exécution a consommés et ce que ça a coûté, la latence par étape, et les taux d’échec, et ils comparent le comportement entre versions. Il s’intègre à des frameworks courants comme CrewAI, AutoGen, LangChain et le SDK Agents d’OpenAI, et prend en charge de nombreux fournisseurs de modèles. Les équipes s’en servent pour trouver des régressions et maîtriser la dépense.

AgentOps a une offre gratuite pour les développeurs et des offres payantes pour des volumes plus hauts, avec des options entreprises pour l’auto-hébergement. Il est dans un espace encombré d’outils d’observabilité LLM, dont LangSmith, Langfuse, Arize Phoenix, Helicone, et Weave de Weights & Biases. Enregistrer prompts et sorties pose des questions de confidentialité, surtout avec des données sensibles. AgentOps convient aux développeurs d’agents qui veulent voir l’intérieur de leurs exécutions.