BentoML se ocupa del paso entre un modelo que funciona y un servicio en marcha. Un desarrollador escribe un pequeño servicio en Python que carga un modelo, define una API y atiende las solicitudes. BentoML lo convierte en un paquete estándar, llamado Bento, que incluye las dependencias y se puede transformar en un contenedor Docker.
El framework admite funciones que necesitan los servicios en producción: agrupar solicitudes por lotes para ganar eficiencia, ejecutar varios modelos, usar GPU y monitorizar. Funciona con modelos de PyTorch, TensorFlow, scikit-learn, Hugging Face y otros, y admite servir grandes modelos de lenguaje mediante backends optimizados. BentoCloud es la plataforma gestionada de la empresa para desplegar y escalar.
El proyecto de código abierto es gratuito y BentoCloud es de pago. Los equipos siguen necesitando entender la infraestructura para operar bien los servicios. Entre las alternativas están Ray Serve, KServe, Seldon, Baseten, Modal, y vLLM o Triton para motores de inferencia concretos. BentoML encaja en ingenieros de ML que quieren una forma coherente de llevar modelos a producción.
// alternativas a BentoML ver todas →
// herramientas relacionadas en Herramientas para desarrolladores
