Giskard

Giskardは、AIの品質と安全性のテストに焦点を当てています。チームがモデルまたはアプリケーションをつなぐと、このツールは弱点を見つけるためのテストケースとプローブを作ります。事実の誤り、有害な出力、プロンプトインジェクション、機密データの露出、グループごとの不公平な振る舞いを確認します。

見つかった問題はテストスイートになり、たとえばCIパイプラインで継続的に実行できるので、リリース前にリグレッションを捉えられます。言語モデルのアプリケーションでは、検索拡張のシステムに対応し、自動の攻撃によるレッドチーミングのやり方もあります。ハブでは、リスクとコンプライアンスのチーム向けの共同作業とレポートを扱います。

オープンソースのライブラリは無料で、商用版にはチーム向けの機能が加わります。自動テストは人によるレビューを補いますが、置き換えるものではありません。代替にはPromptfoo、Garak、Deepchecks、Arize Phoenix、Lakeraがあります。Giskardは、体系的なAIの品質テストを求めるチームに向いています。