Kafka事务与Exactly-Once语义实践

概述Kafka 的 EOS 通过幂等生产与事务性写入/消费保证不重不丢。本文提供事务配置与端到端策略，处理重平衡与去重，确保一致性与性能平衡。生产者（已验证）幂等生产：`enable.idempotence=true`；事务：设置 `transactional.id` 并初始化事务；`acks=all` 与重试策略。消费者与处理事务性消费：在事务内处理并写回到输出主题或外部存储；提交：使用事务提交偏移量，防止重复。重平衡与恢复处理重平衡：在会话超时或成员变更时确保事务完成与偏移提交；去重：在外部写入处记录处理键或版本。示例（片段）producer.initTransactions() while true: records = consumer.poll() producer.beginTransaction() process(records) producer.send(outputTopic, record) producer.sendOffsetsToTransaction(offsets, groupId) producer.commitTransaction() 验证与监控指标：事务提交失败率、重试次数、端到端重复/丢失率；压测：在重平衡与故障注入下验证 EOS 行为；常见误区未使用事务提交偏移导致重复；外部写入无幂等破坏端到端一致性；事务超时配置不合理导致频繁失败。结语以幂等生产与事务性消费为核心，结合偏移事务提交与外部幂等去重，并以故障演练验证，Kafka EOS 可在生产中实现不重不丢。