AIRFLOW-EDI

Orchestrateur DAGs Python EDI batch.

Définition

Airflow expose DAG, Operator, Sensor, XCom (cross-comm), Pool (throttle ressources). Operators EDI natifs : SFTPOperator, SSHOperator, custom EDIFACT parser via PythonOperator. Airflow 3 (juin 2024) introduit DAG versioning, deferrable operators, modern executors (CeleryExecutor → KubernetesExecutor).

Origine

Créé par Maxime Beauchemin chez Airbnb en 2014 ; Apache top-level avril 2016 ; v3 juin 2024.

Exemple en contexte

Un hub EDI orchestre 200 partenaires SFTP fetches chaque heure via Airflow KubernetesExecutor.

Termes liés

• Dagster — concurrent moderne.