Metaflow

Metaflow permet aux data scientists d’écrire des flux comme de simples classes Python. Les étapes sont des fonctions, et le framework suit le code, les données et les paramètres de chaque exécution, pour que n’importe quel résultat puisse être reproduit. Il étend des étapes vers du calcul cloud avec un décorateur, sans que le scientifique ait à apprendre l’infrastructure.

Netflix l’a construit pour que les data scientists passent d’une expérience sur portable à la production par eux-mêmes. Les fonctions incluent des artefacts versionnés, la planification via des orchestrateurs comme Argo Workflows et AWS Step Functions, et une interface pour inspecter les exécutions. Outerbounds, une entreprise fondée par les créateurs de Metaflow, propose une plateforme managée.

Metaflow est gratuit et open source. Il vise les flux ML et data, pas l’orchestration générale d’applications. Les alternatives incluent Kubeflow, Dagster, Prefect, Airflow et ZenML. Metaflow convient aux équipes de data science qui veulent des flux simples et reproductibles.