Anyscale

Anyscaleは、Pythonのコードを多数のマシンに広げやすくするフレームワーク、Rayの作者が設立しました。RayはAIの分野で、分散したモデルの学習、大規模なデータ処理、強化学習、モデルのサービングなどに広く使われ、いくつかの大規模なAIシステムの基盤になっています。Anyscaleには、クラスタの用意、スケーリング、監視を担うマネージドのプラットフォームがあるので、チームがインフラを自分で運用する必要はありません。

プラットフォームには、最適化したランタイム、ジョブのスケジューリング、開発と本番向けのツールがあります。大規模モデルの学習とファインチューニング、大きなデータセットに対するバッチ推論、オートスケール付きのオンラインサービングに対応し、コスト効率とGPUの利用率を重視しています。主要なクラウドと、顧客自身のクラウドアカウントで動き、PyTorchやvLLMなどのライブラリと連携します。

Anyscaleは従量課金と企業向けの条件で販売され、Ray自体はApache 2.0ライセンスの無料のオープンソースなので、Anyscaleなしでも動かせます。代替にはDatabricks、AWS SageMaker、Google Vertex AI、サーバーレスのGPU計算向けのModal、Kubeflowを使うKubernetesベースの構成があります。Anyscaleは、運用の負担なしにRayを使いたいMLチームに向いています。