Lakera

Lakera défend les applications construites sur des modèles de langage. Son produit Guard se place entre les utilisateurs et un modèle, scanne les prompts à la recherche de tentatives de passer outre les instructions, d’extraire des secrets ou d’injecter du contenu malveillant, et vérifie les sorties pour les fuites et les contenus nuisibles. Les développeurs l’ajoutent avec un appel d’API.

L’entreprise est née de la recherche sur les attaques adverses et s’est fait connaître avec Gandalf, un jeu public où les joueurs essaient de faire révéler un mot de passe à un modèle, ce qui a produit un grand jeu de données d’attaques. Des outils de red teaming testent les applications avant le lancement.

Check Point, une entreprise de cybersécurité, a racheté Lakera pour ajouter la sécurité de l’IA à sa plateforme. Lakera a eu une offre gratuite et des offres payantes. Aucun filtre n’attrape tout, donc des défenses en couches et des permissions limitées restent importantes. Les alternatives incluent Prompt Security, Protect AI, HiddenLayer, Giskard et les garde-fous des fournisseurs cloud. Lakera convient aux équipes qui déploient des applications LLM.