LiteLLM

LiteLLMは、多数のモデル提供元をつなぐ手間をなくすためのツールです。開発者はOpenAI形式でコードを一度書くだけで、選んだ提供元への呼び出しはLiteLLMが変換します。モデルを替えるときも、書き換えるのは名前だけで済みます。

プロキシサーバーにはチーム向けの機能があります。仮想キー付きのゲートウェイ、チームごとの予算とレート制限、ログ、デプロイ間の負荷分散、提供元の障害時の自動フォールバックです。プラットフォームチームは、社内ユーザーがモデルを管理された経路で使えるようにし、コストを追跡する目的で使います。

LiteLLMは無料のオープンソースで、シングルサインオンや監査ログなどを加えた有料の企業向け版もあります。ゲートウェイを動かす以上、運用とセキュリティは自分たちで負うことになります。代替にはOpenRouter、Portkey、Cloudflare AI Gateway、Helicone、Kong AI Gatewayがあります。複数のモデル提供元を管理する開発者やプラットフォームチームに向いています。