Promptfoo

Promptfoo ayuda a los desarrolladores a probar sistemas de IA de forma sistemática. El usuario define casos de prueba y criterios en un archivo de configuración, ejecuta prompts en distintos modelos y compara las respuestas en paralelo. Las aserciones comprueban el contenido, el formato o la seguridad esperados. Funciona desde la línea de comandos y en pipelines de CI.

Las funciones de pruebas adversarias generan entradas diseñadas para detectar jailbreaks, inyección de prompts, filtraciones de datos y otras vulnerabilidades, e indican dónde falla una aplicación. Admite muchos proveedores y modelos locales y se ha adoptado ampliamente.

OpenAI anunció que adquiría Promptfoo para integrar pruebas de seguridad en su plataforma de agentes, por lo que su rumbo podría cambiar; conviene consultar el estado actual del proyecto. La herramienta principal ha sido gratuita y de código abierto, con opciones para empresas. Entre sus alternativas están Braintrust, Patronus AI, Giskard, Garak y LangSmith. Encaja con desarrolladores que prueban aplicaciones de IA.