DATAHUB-SPEC

Plateforme metadata open-source DataHub.

Définition

DataHub utilise un metadata model Pegasus (PDL), API GraphQL et REST, ingestion via Python framework. Connecteurs 80+ : Snowflake, BigQuery, Redshift, dbt, Airflow, Looker, Tableau, Power BI. Search ES backed, lineage column-level. License Apache 2.0.

Origine

Créé par LinkedIn en 2015 ; open-sourcé 2020 ; Acryl Data 2021.

Exemple en contexte

Un data engineer recherche "customer_id" dans DataHub et trouve les 47 tables qui le contiennent.

Termes liés

• Apache Atlas — concurrent open-source.