Giskard

Giskard konzentriert sich auf Qualitäts- und Sicherheitstests für KI. Teams verbinden ein Modell oder eine Anwendung; das Werkzeug erstellt Testfälle und prüft mögliche Schwachstellen. Es sucht nach sachlichen Fehlern, schädlichen Ausgaben, Prompt-Injection, Offenlegung sensibler Daten und unfairer Behandlung verschiedener Gruppen.

Ergebnisse werden zu einer Testsuite, die fortlaufend, etwa in einer CI-Pipeline, ausgeführt werden kann, damit Rückschritte vor der Veröffentlichung auffallen. Für Sprachmodellanwendungen unterstützt Giskard RAG-Systeme und automatisiertes Red Teaming. Ein Hub bietet Zusammenarbeit und Berichte für Risiko- und Compliance-Teams.

Die quelloffene Bibliothek ist kostenlos; kommerzielle Angebote ergänzen Teamfunktionen. Automatisierte Tests unterstützen die menschliche Prüfung, ersetzen sie aber nicht. Alternativen sind Promptfoo, Garak, Deepchecks, Arize Phoenix und Lakera. Giskard eignet sich für Teams, die KI systematisch auf Qualität testen möchten.