Langfuse

Langfuse donne aux développeurs de la visibilité sur les applications LLM. En ajoutant son SDK ou une intégration, chaque requête est tracée avec ses prompts, les réponses du modèle, les appels d’outils, la latence et le coût, y compris les étapes imbriquées des flux d’agents. Les ingénieurs inspectent les échecs dans une interface web et voient l’usage par utilisateurs et par sessions.

Au-delà de l’observabilité, il sert au travail de qualité. La gestion de prompts permet de versionner et de déployer des prompts sans changer le code, des fonctions d’évaluation notent les sorties via des juges LLM, des retours utilisateurs ou des contrôles sur mesure, et des jeux de données permettent de lancer des expériences avant la sortie. Le produit peut être auto-hébergé, ce qui convient aux équipes sensibles à la vie privée.

Langfuse a une offre cloud gratuite, des offres payantes, et une version open source gratuite. ClickHouse a racheté l’entreprise, et le projet reste ouvert. Les alternatives incluent LangSmith, Braintrust, Arize Phoenix, Helicone et Weights & Biases Weave. Langfuse convient aux équipes qui construisent des applications LLM en production.