Apache Airflow

Arbeitsabläufe sind Python-Dateien, in denen Aufgaben und Abhängigkeiten definiert werden. Eine Weboberfläche zeigt Ausführungen, Protokolle und Fehler an. Gehostete Versionen gibt es von Cloud-Anbietern und Astronomer.

Airflow koordiniert Abläufe, verarbeitet die Daten aber nicht selbst. Der zuverlässige Betrieb in großem Maßstab erfordert Aufwand.

Prefect und Dagster sind neuere Alternativen. Airflow eignet sich für Dateningenieure, die Batch-Pipelines koordinieren.