LiteLLM

LiteLLM resuelve el problema de integrar muchos proveedores de modelos. Los desarrolladores escriben el código una sola vez con el formato de OpenAI, y LiteLLM traduce la llamada al proveedor que elijan. Cambiar de modelo pasa a ser cambiar un nombre, no reescribir código.

El servidor proxy añade funciones para equipos: una pasarela con claves virtuales, presupuestos y límites de uso por equipo, registros, balanceo de carga entre despliegues y respaldo automático cuando un proveedor falla. Los equipos de plataforma lo usan para dar a los usuarios internos un acceso controlado a los modelos y para controlar los costes.

LiteLLM es gratuito y de código abierto, con una versión empresarial de pago que añade funciones como el inicio de sesión único y los registros de auditoría. Ejecutar una pasarela implica asumir su operación y su seguridad. Entre las alternativas están OpenRouter, Portkey, Cloudflare AI Gateway, Helicone y Kong AI Gateway. LiteLLM encaja con desarrolladores y equipos de plataforma que gestionan varios proveedores de modelos.