APACHE-PARQUET

Stockage colonne data lake compression efficace.

Définition

Parquet utilise une structure row group → column chunk → page. Encodings : dictionary, run-length, delta, byte-stream-split. Min/max statistics par column chunk pour predicate pushdown. Nested schema via Dremel encoding (definition/repetition levels).

Origine

Créé par Twitter et Cloudera en 2013 ; Apache top-level mai 2015.

Exemple en contexte

Un data lake stocke 1 PB d'analytics events en Parquet avec compression ZSTD pour 70% space saving vs JSON.

Termes liés

• Arrow — jumeau in-memory.