Motivation
À grande échelle, un seul cluster ne suffit pas.
Raisons pour clusters multiples :
Séparation géographique : réduire latence pour utilisateurs distants.
Isolation : séparer production de développement/test.
Réplication inter-datacenter : disaster recovery.
Régulations : garder données dans certaines juridictions.
Scalabilité : limites physiques d’un cluster unique.
Architecture multi-clusters
graph TB C1[Cluster US] --> R[Mirror Maker] C2[Cluster EU] --> R R --> C3[Cluster Aggregate]
MirrorMaker : outil Kafka pour répliquer topics entre clusters.
Consomme depuis clusters sources et produit vers cluster destination.
Cas d’usage
Production/Staging : environnements séparés pour éviter interférences.
Multi-région : cluster par région géographique, agrégation centrale optionnelle.
Backup : réplication asynchrone vers cluster de backup pour disaster recovery.
Analytics : cluster dédié pour requêtes analytiques sans impacter production.