Cloudflare AI Gateway

AI Gateway ist ein Proxy für Aufrufe von Sprachmodellen. Entwickler:innen richten Anfragen ihrer App an eine Cloudflare-Adresse statt direkt an den Anbieter. Das Gateway leitet sie weiter und protokolliert den Ablauf. Ein Dashboard zeigt Anfragen, Tokens, Kosten und Fehler über Anbieter wie OpenAI, Anthropic und Google hinweg.

Zusätzliche Kontrollfunktionen umfassen Caching, das gespeicherte Antworten auf wiederholte Anfragen zurückgibt und so Kosten und Zeit spart, sowie Ratenbegrenzungen zum Schutz des Budgets. Wiederholungen und Fallbacks wechseln bei einem Ausfall zu einem anderen Modell. Protokolle helfen beim Debuggen von Prompts; Schutzregeln und Schlüsselverwaltung unterstützen die Sicherheit.

Die Kernfunktionen sind in Cloudflare-Tarifen enthalten, viele davon kostenlos, teils mit Speicherlimits für Protokolle. AI Gateway eignet sich für Produktivsysteme, die mehrere Modelle aufrufen. Alternativen sind Portkey, LiteLLM, Helicone, OpenRouter und Kong AI Gateway. Cloudflare AI Gateway eignet sich für Entwickler:innen, die Datenverkehr zu Modellen nachvollziehen und steuern möchten.