Apache Airflow

Les flux de travail sont des fichiers Python qui définissent des tâches et des dépendances. Une interface web montre les exécutions, les logs et les échecs. Des versions hébergées existent chez des fournisseurs cloud et chez Astronomer.

Airflow orchestre, il ne fait pas le traitement des données lui-même. Bien le faire tourner à l’échelle demande de l’effort.

Prefect et Dagster sont des alternatives plus récentes. Airflow convient aux ingénieurs data qui orchestrent des pipelines par lots.