Apache Parquet V3

Parquet 2.10 ajoute encryption et variant type.

Définition

Parquet 2.10 (mai 2024) : Parquet Modular Encryption (PME) GA, variant type semi-structured aligné Iceberg / Delta UniForm, geometry WKB type, column index improvements, bloom filter encoding. Évolutions parallèles 2.11 + 2.12 en cours 2024. Compatible Apache Spark, Apache Iceberg, Delta Lake, Apache Hudi, Trino, Snowflake, BigQuery.

Origine

Twitter + Cloudera 2013, Apache Software Foundation top-level 2015. Versions 2.x depuis 2017.

Usage

Format de fichier columnar standard data lakes et lakehouse. Backbone storage des tables Iceberg / Delta / Hudi.

Termes liés

• Parquet — fiche socle.
• Apache Iceberg V3 — consommateur principal.
• Delta Lake V4 — consommateur principal.