BentoML s’occupe de l’étape entre un modèle qui fonctionne et un service qui tourne. Un développeur écrit un petit service Python qui charge un modèle, définit une API et traite les requêtes. BentoML en fait un paquet standard, appelé un Bento, qui inclut les dépendances et peut devenir un conteneur Docker.
Le framework prend en charge des fonctions dont les services de production ont besoin : regrouper les requêtes pour l’efficacité, faire tourner plusieurs modèles, utiliser le GPU et superviser. Il fonctionne avec des modèles de PyTorch, TensorFlow, scikit-learn, Hugging Face et d’autres, et prend en charge le service de grands modèles de langage via des backends optimisés. BentoCloud est la plateforme managée de l’entreprise pour le déploiement et la mise à l’échelle.
Le projet open source est gratuit, et BentoCloud est payant. Les équipes doivent encore comprendre l’infrastructure pour bien faire tourner les services. Parmi les alternatives : Ray Serve, KServe, Seldon, Baseten, Modal, et vLLM ou Triton pour des moteurs d’inférence précis. BentoML convient aux ingénieurs ML qui veulent une façon cohérente de livrer des modèles.
// alternatives à BentoML tout voir →
// outils liés dans Outils de développement
