MARQUEZ-DETAIL

Backend lineage OpenLineage ref.

Définition

Marquez stocke jobs, datasets, runs, facets. PostgreSQL backend, Java + Dropwizard. UI React. Reçoit événements OpenLineage en REST. Donné à LF AI & Data 2020 ; intégration Airflow, dbt, Spark native.

Origine

Open-source par WeWork en 2018 ; rejoint LF AI & Data 2020.

Exemple en contexte

Un pipeline Airflow EDI envoie ses events OpenLineage à Marquez — visualisation lineage from EDIFACT → fact_invoice.

Termes liés

• OpenLineage — standard.