BentoML

BentoMLは、動くモデルと稼働しているサービスのあいだの段階を扱います。開発者は、モデルを読み込み、APIを定義し、リクエストを処理する小さなPythonサービスを書きます。BentoMLはこれを、依存関係を含みDockerコンテナにできる、Bentoと呼ばれる標準パッケージに組み立てます。

このフレームワークは、本番サービスに必要な機能に対応しています。効率のためのリクエストのバッチ処理、複数モデルの実行、GPUの利用、モニタリングです。PyTorch、TensorFlow、scikit-learn、Hugging Faceなどのモデルで動き、最適化されたバックエンドを通して大規模言語モデルのサービングにも対応します。BentoCloudは、デプロイとスケールのための同社のマネージドなプラットフォームです。

オープンソースのプロジェクトは無料で、BentoCloudは有料です。サービスをうまく運用するには、チームがインフラを理解している必要があります。代替にはRay Serve、KServe、Seldon、Baseten、Modalがあり、特定の推論エンジンにはvLLMやTritonがあります。BentoMLは、モデルを出す手順を揃えたいMLエンジニアに向いています。