Metaflow

Mit Metaflow schreiben Data Scientists Workflows als einfache Python-Klassen. Schritte sind Funktionen; das Framework verfolgt Code, Daten und Parameter jedes Laufs, sodass Ergebnisse reproduzierbar sind. Schritte lassen sich per Dekorator auf Cloud-Rechenleistung skalieren, ohne dass Fachleute Infrastruktur lernen müssen.

Netflix entwickelte Metaflow, damit Data Scientists eigene Experimente vom Laptop in den Produktivbetrieb bringen können. Funktionen umfassen versionierte Artefakte, Planung über Orchestratoren wie Argo Workflows und AWS Step Functions sowie eine Oberfläche zur Laufprüfung. Outerbounds, gegründet von den Metaflow-Entwicklern, bietet eine verwaltete Plattform.

Metaflow ist kostenlos und quelloffen. Es ist auf ML- und Datenabläufe ausgerichtet, nicht auf allgemeine Anwendungsorchestrierung. Alternativen sind Kubeflow, Dagster, Prefect, Airflow und ZenML. Metaflow eignet sich für Data-Science-Teams mit Bedarf an einfachen, reproduzierbaren Abläufen.