Braintrust

Braintrustは、チームがAIの品質をソフトウェアの品質と同じように扱えるようにします。開発者は各モデル呼び出しとエージェントのステップを記録し、実際のトラフィックからテストケースのデータセットを作ります。プログラムによる検査や言語モデルの判定を含む採点機能が出力を評価するので、プロンプトやモデルの変更を出荷前に試せます。

製品はいくつかの部品を組み合わせています。プレイグラウンドではプロンプトとモデルを並べて比較でき、実験は結果を時系列で追い、オンラインの監視は本番トラフィックを採点してアラートを出します。ゲートウェイは呼び出しを別々のモデル提供者へ振り分けられ、共同作業の機能でエンジニアとそれ以外の人が出力を確認できます。

Braintrustには無料枠とチーム向けの有料プランがあり、企業向けの選択肢もあります。評価の良さはテストケースと採点次第で、自動の判定は間違うことがあります。代替にはLangSmith、Langfuse、Arize Phoenix、Weights & Biases Weave、Heliconeがあります。Braintrustは、体系的なテストが必要なAI機能を出荷するチームに向いています。