kafka
Kafka事务与Exactly-Once:生产/消费端一致性治理
通过幂等生产与事务语义实现端到端一次性处理,规范消费者隔离与处理拓扑的错误恢复。
Kafka连接器与Schema Registry治理:兼容性与演进
以 Connect 与 Schema Registry 为核心,规范主题与模式演进,构建稳健的数据集成与传输治理。
Kafka 保留与压缩策略治理(2025)
Kafka 保留与压缩策略治理(2025)Kafka 的保留与压缩配置影响成本与查询与一致性,需要按业务治理。一、保留与分段retention.ms:控制时间保留与容量规划。segment.bytes:设定分段大小,平衡文件数量与恢复时长。二、压缩与键cleanup.policy:`delete`
Kafka 事务与端到端一致性(2025)
Kafka 事务与端到端一致性(2025)端到端一致性需要在生产、消费与持久化之间协同保障。一、幂等生产与事务幂等生产:避免重复消息;配置生产者幂等与重试。事务:将多个写入合并为原子操作,保障一致性。二、Exactly-once (EOS)EOS:在流处理与下游写入之间实现 Exactly-once
