Prefect
Orchestration open source de flux Python pour les pipelines de données et de ML
Prefect permet aux développeurs de transformer des fonctions Python en flux fiables. En ajoutant des décorateurs, un script devient un flow avec des tâches qui réessaient en cas d’échec, tournent selon un calendrier et rapportent leur état. Les équipes voient les exécutions, les logs et les résultats dans un dashboard.
Il prend en charge des flux dynamiques, la concurrence et le déploiement sur différentes infrastructures, d’un portable à Kubernetes. Un service cloud hébergé gère la planification et l’observabilité, et le serveur open source peut être auto-hébergé. On s’en sert pour des pipelines de données et des jobs de machine learning.
Prefect a une offre gratuite et des offres payantes. Il joue dans un secteur chargé, et les équipes le choisissent pour son approche d’abord Python. Parmi les alternatives : Airflow, Dagster, Temporal, Metaflow et Flyte. Prefect convient aux équipes data qui veulent une orchestration moderne et pythonique.