LiteLLM

LiteLLM résout le problème d’intégrer de nombreux fournisseurs de modèles. Les développeurs écrivent le code une fois contre le format OpenAI, et LiteLLM traduit l’appel vers le fournisseur choisi. Changer de modèle revient alors à changer un nom, pas à réécrire le code.

Le serveur proxy ajoute des fonctions pour les équipes : une passerelle avec des clés virtuelles, des budgets et des limites de débit par équipe, de la journalisation, un équilibrage de charge entre déploiements, et un repli automatique quand un fournisseur échoue. Les équipes plateforme s’en servent pour donner aux utilisateurs internes un chemin contrôlé vers les modèles et pour suivre les coûts.

LiteLLM est gratuit et open source, avec une version entreprise payante qui ajoute des fonctions comme l’authentification unique et les journaux d’audit. Faire tourner une passerelle, c’est en assumer l’exploitation et la sécurité. Les alternatives incluent OpenRouter, Portkey, Cloudflare AI Gateway, Helicone et Kong AI Gateway. LiteLLM convient aux développeurs et aux équipes plateforme qui gèrent plusieurs fournisseurs de modèles.