Baseten

Basetenは、AI製品を作る企業のためにモデルを動かします。チームはモデルをパッケージします。多くはオープンソースのTrussを使い、需要に合わせて増減するエンドポイントとしてデプロイします。GPUの用意、スケーリング、監視はプラットフォームが担います。これらは製品作りから注意をそらす雑務です。

性能を重視しています。推論エンジンの最適化、短いコールドスタート、最新GPUへの対応で、低い遅延とコストでモデルを配信できます。チームはライブラリからオープンモデルをデプロイしたり、自前のモデルを持ち込んだり、ファインチューンしたりできます。安定したトラフィックには専用のデプロイも使えます。顧客自身のクラウドで動かす選択肢もあり、セキュリティの要件に応えます。

Basetenは従量課金で、企業向けプランもあります。気軽な利用者ではなく、エンジニアリングのスキルがあるチーム向けです。代替にはTogether AI、Fireworks AI、Modal、Replicate、Amazon SageMakerがあります。Basetenは、本番でモデルを動かしている企業に向いています。