Promptfoo aide les développeurs à tester des systèmes d’IA de façon systématique. On définit des cas de test et des critères dans un fichier de configuration, on lance des prompts sur plusieurs modèles et on compare les sorties côte à côte, avec des assertions qui vérifient le contenu attendu, le format ou la sécurité. Il se lance en ligne de commande et dans des pipelines de CI.
Des fonctions de red teaming génèrent des entrées adverses pour sonder les jailbreaks, l’injection de prompt, les fuites de données et d’autres vulnérabilités, et signalent où une application échoue. Il prend en charge de nombreux fournisseurs et des modèles locaux, et a été largement adopté.
OpenAI a annoncé le rachat de Promptfoo pour intégrer des tests de sécurité à sa plateforme d’agents, donc sa direction peut évoluer : vérifie l’état actuel du projet. L’outil de base a été gratuit et open source, avec des options entreprise. Parmi les alternatives : Braintrust, Patronus AI, Giskard, Garak et LangSmith. Promptfoo convient aux développeurs qui testent des applications d’IA.
// alternatives à Promptfoo tout voir →
// outils liés dans Outils de développement
