Dagster

Entwickler:innen definieren Datenbestände in Python; Dagster verfolgt ihre Herkunft und Aktualität. Eine Benutzeroberfläche zeigt Ausführungen und Abhängigkeiten, und Tests lassen sich lokal ausführen. Dagster Cloud bietet einen gehosteten Dienst.

Der Open-Source-Kern ist kostenlos. Die Struktur unterscheidet sich von Airflow, weshalb Teams bei einem Wechsel ihre Arbeitsweise anpassen müssen.

Airflow und Prefect sind Alternativen. Dagster eignet sich für Data Engineers, die Pipelines auf Basis von Datenbeständen verwalten möchten.