LangSmithは、チームがAIアプリケーションを理解し、改善するのを助けます。開発者がアプリケーションからトレースを送ると、LangSmithがプロンプト、取得したドキュメント、ツール呼び出し、モデルの出力を、時間とコストとともに各ステップで表示します。エージェントがどこでつまずいたかを見つけられます。
評価が2つ目の柱です。チームは実際のトラフィックからデータセットを作り、プロンプトやモデルのバージョンごとに実験を回し、自動の評価器や人によるレビューで結果を採点します。監視ダッシュボードとアラートが本番の品質を追跡し、デプロイ用の製品ではLangGraphで作ったエージェントをホストします。
LangSmithには無料枠と有料プランがあり、企業向けにはセルフホストもあります。LangChainのツールと最もスムーズに連携しますが、ほかのフレームワークでも使えます。代替にはLangfuse、Braintrust、Arize Phoenix、Helicone、Weights & Biases Weaveがあります。LangSmithは、LangChainとLangGraphでエージェントを作るチームに向いています。
