Portkey

Portkey se place entre les applications et les fournisseurs de modèles. Les développeurs envoient des requêtes à Portkey, qui les transmet au fournisseur choisi et gère les nouvelles tentatives, les replis vers d’autres modèles, le cache et la répartition de charge. Cela augmente la fiabilité et facilite le changement de modèle.

La plateforme ajoute de la visibilité et de la gouvernance : logs et analytique sur le coût et la latence, gestion des prompts, garde-fous qui contrôlent entrées et sorties, et budgets et contrôles d’accès pour les équipes. Elle prend en charge le Model Context Protocol et les frameworks d’agents.

Portkey a une offre gratuite et des offres payantes, et la passerelle est en partie open source. Une couche en plus ajoute une dépendance. Parmi les alternatives : LiteLLM, OpenRouter, Cloudflare AI Gateway, Helicone et Kong AI Gateway. Portkey convient aux équipes qui font tourner des applications d’IA en production.