Cloudflare AI Gateway

AI Gateway est un proxy pour les appels aux modèles de langage. Un développeur pointe les requêtes de son app vers une URL Cloudflare au lieu de celle du fournisseur, et la passerelle les transmet tout en enregistrant ce qui se passe. Ça donne un tableau de bord des requêtes, des tokens, des coûts et des erreurs à travers des fournisseurs comme OpenAI, Anthropic et Google.

Il ajoute des fonctions de contrôle. Le cache renvoie des réponses stockées pour les requêtes répétées, pour économiser de l’argent et du temps, les limites de débit protègent les budgets, et les tentatives et les replis basculent vers un autre modèle quand l’un échoue. Les logs aident à déboguer les prompts, et des fonctions de garde-fous et de gestion de clés appuient la sécurité.

Les fonctions de base sont disponibles sur les offres Cloudflare, beaucoup d’entre elles gratuites, avec quelques limites sur le stockage des logs. C’est utile pour les applications en production qui appellent plusieurs modèles. Parmi les alternatives : Portkey, LiteLLM, Helicone, OpenRouter et Kong AI Gateway. Cloudflare AI Gateway convient aux développeurs qui veulent de la visibilité et du contrôle sur le trafic des modèles.