Promptfoo

Promptfooは、開発者がAIシステムを体系的にテストするためのツールです。設定ファイルにテストケースと評価基準を定義し、複数のモデルでプロンプトを実行して、出力を並べて比較します。期待する内容、形式、安全性を確認するアサーションも使えます。コマンドラインとCIパイプラインから実行できます。

レッドチーミング機能は、敵対的な入力を生成して、ジェイルブレイク、プロンプトインジェクション、データ漏えいなどの脆弱性を調べ、アプリケーションが破られる箇所を報告します。多くのプロバイダーとローカルモデルに対応し、広く採用されています。

OpenAIは、エージェントプラットフォームにセキュリティテストを組み込むためにPromptfooを買収すると発表しました。今後の方向性が変わる可能性があるため、プロジェクトの最新の状況を確認してください。中核のツールはこれまで無料のオープンソースで、企業向けの選択肢もあります。代替にはBraintrust、Patronus AI、Giskard、Garak、LangSmithがあります。AIアプリケーションをテストする開発者に向いています。