Metaflow

Metaflowでは、データサイエンティストがワークフローを普通のPythonクラスとして書きます。各ステップは関数で、フレームワークが実行ごとにコード、データ、パラメータを記録するので、どの結果も再現できます。デコレータを付けるとステップをクラウドの計算資源に広げられ、インフラを覚える必要はありません。

Netflixは、データサイエンティストがノートPCでの実験から本番までを自力で進められるようにするためにこれを作りました。バージョン管理されたアーティファクト、Argo WorkflowsやAWS Step Functionsなどのオーケストレーターによるスケジューリング、実行を確認するUIなどがあります。Metaflowの作者たちが設立したOuterboundsが、マネージド型のプラットフォームを提供しています。

Metaflowは無料のオープンソースです。対象はMLとデータのワークフローで、一般的なアプリケーションのオーケストレーションではありません。代替にはKubeflow、Dagster、Prefect、Airflow、ZenMLがあります。シンプルで再現しやすいワークフローを求めるデータサイエンスチームに向いています。