Cloudflare AI Gateway

AI Gateway es un proxy para las llamadas a modelos de lenguaje. Un desarrollador dirige las solicitudes de su app a una URL de Cloudflare en lugar de a la del proveedor, y la pasarela las reenvía mientras registra lo que ocurre. Esto da un panel de solicitudes, tokens, costes y errores entre proveedores como OpenAI, Anthropic y Google.

Añade funciones de control. La caché devuelve respuestas almacenadas para solicitudes repetidas y ahorra dinero y tiempo, los límites de uso protegen los presupuestos, y los reintentos y modelos de respaldo cambian a otro modelo cuando uno falla. Los registros ayudan a depurar prompts, y las barreras de protección y la gestión de claves apoyan la seguridad.

Las funciones principales están disponibles en los planes de Cloudflare, muchas de ellas gratis, con algunos límites en el almacenamiento de registros. Es útil para aplicaciones en producción que llaman a varios modelos. Entre las alternativas están Portkey, LiteLLM, Helicone, OpenRouter y Kong AI Gateway. Cloudflare AI Gateway encaja con desarrolladores que quieren visibilidad y control sobre el tráfico de modelos.