BentoML

BentoML unterstützt den Schritt vom funktionierenden Modell zum laufenden Dienst. Entwickler:innen schreiben einen kleinen Python-Dienst, der ein Modell lädt, eine API definiert und Anfragen verarbeitet. BentoML erstellt daraus ein standardisiertes Paket namens Bento mit allen Abhängigkeiten, das sich in einen Docker-Container umwandeln lässt.

Das Framework unterstützt Funktionen für Produktionsdienste: Anfragen zur Effizienz bündeln, mehrere Modelle ausführen, GPUs nutzen und den Betrieb überwachen. Es funktioniert mit Modellen aus PyTorch, TensorFlow, scikit-learn, Hugging Face und weiteren Frameworks. Für große Sprachmodelle gibt es optimierte Bereitstellungs-Backends. BentoCloud ist die verwaltete Plattform des Unternehmens für Bereitstellung und Skalierung.

Das Open-Source-Projekt ist kostenlos; BentoCloud ist kostenpflichtig. Teams benötigen weiterhin Infrastrukturkenntnisse für einen zuverlässigen Betrieb. Alternativen sind Ray Serve, KServe, Seldon, Baseten, Modal und vLLM oder Triton für bestimmte Inferenz-Engines. BentoML eignet sich für ML-Ingenieur:innen, die Modelle einheitlich bereitstellen möchten.