Apache Airflow

Los flujos de trabajo son archivos de Python que definen tareas y dependencias. Una interfaz web muestra las ejecuciones, los registros y los fallos. Existen versiones alojadas de proveedores de nube y de Astronomer.

Airflow se encarga de la orquestación, no del procesamiento de los datos en sí. Hacerlo funcionar bien a gran escala requiere esfuerzo.

Prefect y Dagster son alternativas más recientes. Airflow encaja con ingenieros de datos que orquestan pipelines por lotes.