Metaflow

Metaflow permite a los científicos de datos escribir flujos de trabajo como clases normales de Python. Los pasos son funciones, y el framework registra el código, los datos y los parámetros de cada ejecución para que cualquier resultado se pueda reproducir. Con un decorador, escala los pasos a recursos de computación en la nube sin exigir conocimientos de infraestructura.

Netflix lo creó para que los científicos de datos pudieran llevar por sí mismos un experimento del portátil a producción. Incluye artefactos versionados, programación mediante orquestadores como Argo Workflows y AWS Step Functions, y una interfaz para inspeccionar ejecuciones. Outerbounds, una empresa fundada por los creadores de Metaflow, ofrece una plataforma gestionada.

Metaflow es gratuito y de código abierto. Está orientado a flujos de trabajo de ML y datos, no a la orquestación general de aplicaciones. Entre sus alternativas están Kubeflow, Dagster, Prefect, Airflow y ZenML. Conviene a equipos de ciencia de datos que quieren flujos de trabajo sencillos y reproducibles.