Apache Airflow

ワークフローは、タスクと依存関係を定義するPythonファイルです。ウェブの画面が実行、ログ、失敗を示します。クラウド事業者とAstronomerからホスト版があります。

Airflowが担うのはオーケストレーションであり、データ処理そのものではありません。規模を広げてうまく動かすには手間がかかります。

PrefectとDagsterは、より新しい代替です。Airflowは、バッチのパイプラインをオーケストレーションするデータエンジニアに向いています。