Langfuseは、LLMアプリケーションの中身を開発者に見せます。SDKや連携を追加すると、各リクエストが、プロンプト、モデルの応答、ツール呼び出し、レイテンシ、コストとともにトレースされ、エージェントのワークフローの入れ子のステップも含まれます。エンジニアはウェブインターフェースで失敗を調べ、ユーザーやセッションごとの利用状況を確認できます。
可観測性のほかに、品質向上の機能もあります。プロンプト管理では、コードを変えずにプロンプトのバージョン管理とデプロイができます。評価機能は、LLMによる判定、ユーザーのフィードバック、独自のチェックで出力を採点し、データセットでリリース前に実験ができます。セルフホストもできるため、プライバシーを重視するチームに向きます。
Langfuseには無料のクラウド枠、有料プラン、無料のオープンソース版があります。同社はClickHouseに買収されましたが、プロジェクトはオープンなままです。代替にはLangSmith、Braintrust、Arize Phoenix、Helicone、Weights & Biases Weaveがあります。Langfuseは、本番のLLMアプリケーションを作るチームに向いています。
