Langfuse

Langfuse verschafft Entwickler:innen Einblick in LLM-Anwendungen. Über das SDK oder eine Integration wird jede Anfrage mit Prompts, Modellantworten, Werkzeugaufrufen, Latenz und Kosten aufgezeichnet – auch verschachtelte Schritte in Agentenabläufen. In einer Weboberfläche untersuchen Entwickler:innen Fehler und sehen die Nutzung nach Personen und Sitzungen.

Neben Beobachtbarkeit unterstützt Langfuse die Qualitätssicherung. Die Prompt-Verwaltung versioniert und veröffentlicht Prompts ohne Codeänderungen. Evaluierungen bewerten Ausgaben mithilfe von LLM-Prüfern, Nutzerfeedback oder eigenen Kriterien. Mit Datensätzen können Teams Experimente vor einer Veröffentlichung durchführen. Für datenschutzbewusste Teams lässt sich das Produkt selbst hosten.

Langfuse bietet einen kostenlosen Cloudtarif, kostenpflichtige Pläne und eine kostenlose Open-Source-Version. ClickHouse hat das Unternehmen übernommen; das Projekt bleibt quelloffen. Alternativen sind LangSmith, Braintrust, Arize Phoenix, Helicone und Weights & Biases Weave. Langfuse eignet sich für Teams, die produktive LLM-Anwendungen entwickeln.