AgentOps

AgentOps adressiert ein Problem von KI-Agenten: Sie treffen viele Entscheidungen, rufen Werkzeuge auf und verketten Modellanfragen. Dadurch sind Fehler schwer nachzuvollziehen. Mit wenigen Codezeilen können Entwickler:innen jede Agentensitzung aufzeichnen. Die Plattform zeigt den zeitlichen Ablauf von Prompts, Modellantworten, Werkzeugaufrufen und Fehlern. In einer Wiedergabe lässt sich genau nachvollziehen, was der Agent getan hat und warum er sich möglicherweise in einer Schleife verfing, halluzinierte oder die Aufgabe nicht abschloss.

Dashboards verfolgen Kosten und Leistung. Sie zeigen den Tokenverbrauch und Preis jedes Durchlaufs, die Latenz einzelner Schritte und Fehlerraten und vergleichen das Verhalten verschiedener Versionen. AgentOps integriert sich in gängige Frameworks wie CrewAI, AutoGen, LangChain und das OpenAI Agents SDK und unterstützt viele Modellanbieter. Teams finden damit Regressionen und kontrollieren Ausgaben.

AgentOps bietet einen kostenlosen Entwickler-Tarif und kostenpflichtige Pläne für höhere Nutzung sowie Enterprise-Optionen zum Selbsthosting. Der Markt für LLM-Observability ist dicht besetzt. Dazu gehören LangSmith, Langfuse, Arize Phoenix, Helicone und Weights & Biases Weave. Die Aufzeichnung von Prompts und Ausgaben wirft Datenschutzfragen auf, besonders bei sensiblen Daten. AgentOps eignet sich für Entwickler:innen, die Agenten bauen und deren Abläufe nachvollziehen möchten.