Patronus AI

Patronus AIは、AIアプリの問題点を見つけるのを手伝います。開発者が自分のシステムにテストセットを流すと、Patronusが評価器で出力を採点し、ハルシネーション、安全でない内容、機密データの漏えい、ポリシー違反を調べます。レッドチーミングのツールは、敵対的な入力で弱点を探ります。

同社は、金融の質問応答のテストなどのベンチマークを公開し、ハルシネーション検出用の判定モデルなど、評価用のモデルも学習させています。監視機能は本番のトラフィックを見張り、品質が下がるとチームに知らせます。

Patronusには無料枠と有料プランがあります。自動評価自体も完璧ではないため、人の目によるレビューと組み合わせてください。代替にはBraintrust、Arize Phoenix、Galileo、Langfuse、Promptfooなどがあります。Patronus AIは、LLMを体系的にテストしたいチームに向いています。