Anyscale

Anyscale a été fondé par les créateurs de Ray, un framework qui facilite la répartition de code Python sur beaucoup de machines. Ray est très utilisé en IA pour l’entraînement distribué de modèles, le traitement de données à grande échelle, l’apprentissage par renforcement et le service de modèles, et il est le moteur de plusieurs grands systèmes d’IA. Anyscale propose une plateforme gérée qui s’occupe du montage des clusters, de la montée en charge et de la supervision, pour que les équipes n’aient pas à exploiter l’infrastructure elles-mêmes.

La plateforme fournit des runtimes optimisés, l’ordonnancement des jobs, et des outils pour le développement et la production. Elle prend en charge l’entraînement et le fine-tuning de grands modèles, l’inférence par lots sur de grands jeux de données, et le service en ligne avec autoscaling, avec un souci d’efficacité de coût et d’utilisation des GPU. Elle tourne sur les grands clouds et dans le compte cloud du client, et fonctionne avec des bibliothèques comme PyTorch et vLLM.

Anyscale se vend à l’usage et en offre pour les entreprises, et Ray lui-même est gratuit et open source sous licence Apache 2.0, donc les équipes peuvent le faire tourner sans Anyscale. Parmi les alternatives : Databricks, AWS SageMaker, Google Vertex AI, Modal pour le calcul GPU serverless, et des piles Kubernetes avec Kubeflow. Anyscale convient aux équipes ML qui veulent Ray sans la charge d’exploitation.