Giskard

Giskard se concentre sur les tests de qualité et de sûreté de l’IA. Une équipe branche un modèle ou une application, et l’outil génère des cas de test et des sondes pour trouver les faiblesses. Il cherche les erreurs factuelles, les sorties nuisibles, l’injection de prompt, l’exposition de données sensibles et les comportements injustes selon les groupes.

Les constats deviennent une suite de tests qui peut tourner en continu, par exemple dans un pipeline de CI, pour attraper les régressions avant la mise en production. Pour les applications de modèles de langage, Giskard prend en charge les systèmes RAG et propose une approche de red teaming avec des attaques automatisées. Un hub sert à la collaboration et aux rapports pour les équipes risque et conformité.

La bibliothèque open source est gratuite, et les offres commerciales ajoutent des fonctions d’équipe. Les tests automatisés complètent la revue humaine, ils ne la remplacent pas. Les alternatives incluent Promptfoo, Garak, Deepchecks, Arize Phoenix et Lakera. Giskard convient aux équipes qui veulent des tests systématiques de la qualité de l’IA.