Anyscale

Anyscale wurde von den Entwicklern von Ray gegründet, einem Framework, das Python-Code einfacher auf mehrere Rechner verteilt. Ray wird in der KI unter anderem für verteiltes Modelltraining, umfangreiche Datenverarbeitung, Reinforcement Learning und Modellbereitstellung genutzt und bildet die Grundlage verschiedener großer KI-Systeme. Anyscale bietet eine verwaltete Plattform, die Cluster einrichtet, skaliert und überwacht, sodass Teams die Infrastruktur nicht selbst betreiben müssen.

Die Plattform stellt optimierte Laufzeitumgebungen, Auftragsplanung sowie Werkzeuge für Entwicklung und Produktion bereit. Sie unterstützt Training und Feinabstimmung großer Modelle, Stapelinferenz über große Datensätze und skalierbare Online-Bereitstellung. Dabei liegt ein Schwerpunkt auf Kosteneffizienz und GPU-Auslastung. Anyscale läuft auf großen Cloudplattformen und im eigenen Cloudkonto eines Kunden und funktioniert mit Bibliotheken wie PyTorch und vLLM.

Anyscale wird nutzungsbasiert und über Unternehmensverträge angeboten. Ray selbst ist unter der Apache-2.0-Lizenz kostenlos und quelloffen und kann auch ohne Anyscale betrieben werden. Alternativen sind Databricks, AWS SageMaker, Google Vertex AI, Modal für serverloses GPU-Computing und Kubernetes-Lösungen mit Kubeflow. Anyscale eignet sich für ML-Teams, die Ray ohne den Betriebsaufwand nutzen möchten.