Portkey

Portkey sitzt zwischen Anwendungen und Modellanbietern. Entwickler:innen senden Anfragen an Portkey, das sie an den ausgewählten Anbieter weiterleitet und Wiederholungen, Ausweichmodelle, Caching und Lastverteilung übernimmt. Das erhöht die Zuverlässigkeit und erleichtert Modellwechsel.

Die Plattform ergänzt Überwachung und Steuerung: Protokolle und Analysen zu Kosten und Latenz, Promptverwaltung, Prüfregeln für Eingaben und Ausgaben sowie Budgets und Zugriffskontrollen. Sie unterstützt das Model Context Protocol und Agenten-Frameworks.

Portkey bietet einen kostenlosen Tarif und kostenpflichtige Pläne; Teile des Gateways sind quelloffen. Eine zusätzliche Schicht bringt eine weitere Abhängigkeit. Alternativen sind LiteLLM, OpenRouter, Cloudflare AI Gateway, Helicone und Kong AI Gateway. Portkey eignet sich für Teams mit KI-Anwendungen im Produktivbetrieb.