Promptfoo

Promptfoo hilft Entwickler:innen, KI-Systeme systematisch zu testen. Testfälle und Kriterien werden in einer Konfigurationsdatei definiert; Prompts laufen über mehrere Modelle und Ausgaben lassen sich nebeneinander vergleichen. Prüfregeln kontrollieren erwartete Inhalte, Formate oder Sicherheit. Das Werkzeug läuft lokal und in CI-Pipelines.

Red-Teaming-Funktionen erzeugen gezielte Angriffe, um Jailbreaks, Prompt-Injection, Datenlecks und weitere Schwachstellen aufzudecken. Promptfoo meldet, an welchen Stellen eine Anwendung versagt. Viele Anbieter und lokale Modelle werden unterstützt; das Tool ist weit verbreitet.

OpenAI kündigte die Übernahme von Promptfoo an, um Sicherheitstests in seine Agentenplattform zu integrieren; die Ausrichtung kann sich ändern. Prüfe den aktuellen Projektstatus. Das Kernwerkzeug war kostenlos und quelloffen, Unternehmensoptionen gibt es ebenfalls. Alternativen sind Braintrust, Patronus AI, Giskard, Garak und LangSmith. Promptfoo eignet sich für Entwickler:innen, die KI-Anwendungen testen.