后端开发

Kafka MirrorMaker2 跨区域复制与一致性治理(2025)

# Kafka MirrorMaker2 跨区域复制与一致性治理(2025) ## 一、拓扑与链路 - 拓扑:源集群→(MirrorMaker2)→ 目标集群,多区域互备;避免环路。 - 连接器:配置 `replication.policy.class` 与心跳/检查点主题,确保位点同步。 ## 二、延迟与吞吐 - 延迟(延迟):监控复制延迟与网络 RTT;按批大小与并发调节。 - 吞吐:压缩

Kafka 事务与端到端一致性(2025)

# Kafka 事务与端到端一致性(2025)端到端一致性需要在生产、消费与持久化之间协同保障。## 一、幂等生产与事务- 幂等生产:避免重复消息;配置生产者幂等与重试。- 事务:将多个写入合并为原子操作,保障一致性。## 二、Exactly-once (EOS)- EOS:在流处理与下游写入之间实现 Exactly-once。- 偏移与状态:对偏移与状态进行一致性管理。#

Kafka 保留与压缩策略治理(2025)

# Kafka 保留与压缩策略治理(2025)Kafka 的保留与压缩配置影响成本与查询与一致性,需要按业务治理。## 一、保留与分段- retention.ms:控制时间保留与容量规划。- segment.bytes:设定分段大小,平衡文件数量与恢复时长。## 二、压缩与键- cleanup.policy:`delete` 与 `compact` 组合策略。- log com

Kafka 架构与消费组最佳实践(2025)

# Kafka 架构与消费组最佳实践(2025)Kafka 以分区与副本实现高吞吐与扩展性。本文聚焦消费组、重平衡与幂等处理的工程要点。## 一、分区与副本- 分区:提升并行度;按键路由保证同键有序。- 副本与 ISR:副本同步与故障容忍,提升可用性。## 二、消费组与重平衡- 消费组:以组为单位进行分区分配与并行消费。- 重平衡:控制会话与心跳参数,降低抖动与分配开销。#