KAFKA-EDI

Plateforme distribuée de log immuable et de streaming Apache Kafka, fondation des architectures Event-Driven EDI à grande échelle (>10K msg/s).

Définition

Kafka organise les données en Topics partitionnés et répliqués sur des Brokers. Les consommateurs (Consumer Groups) progressent indépendamment via des offsets persistants. Idéal pour l'event sourcing EDI : tout INVOIC, MDN, statut entre dans un Topic dédié.

Origine

Créé chez LinkedIn en 2010 par Jay Kreps et Neha Narkhede. Devenu projet Apache top-level en 2012. Confluent fondé en 2014 pour le supporter commercialement.

Usage

Un grand retailer ingère 50M EDIFACT/jour dans un Kafka Topic 'edi.invoic'. Un Consumer Group 'erp-loader' charge SAP HANA, un autre 'fraud-detector' applique des règles ML, un troisième 'audit-archive' écrit dans S3. Replay possible jusqu'à 30 jours en arrière via offset reset.

Termes liés

• Event sourcing — pattern central.
• AWS SQS — alternative queue.
• OpenTelemetry — observabilité.
• Outbox pattern — intégration sortante.