kafka
Kafka连接器与Schema Registry治理:兼容性与演进
以 Connect 与 Schema Registry 为核心,规范主题与模式演进,构建稳健的数据集成与传输治理。
Kafka Schema Registry:Avro/Protobuf/JSON Schema演进
使用 Schema Registry 管理消息模式,比较三种模式的兼容策略与演进路径,保障生产稳定。
Kafka事务与Exactly-Once:生产/消费端一致性治理
通过幂等生产与事务语义实现端到端一次性处理,规范消费者隔离与处理拓扑的错误恢复。
Kafka 保留与压缩策略治理(2025)
Kafka 保留与压缩策略治理(2025)Kafka 的保留与压缩配置影响成本与查询与一致性,需要按业务治理。一、保留与分段retention.ms:控制时间保留与容量规划。segment.bytes:设定分段大小,平衡文件数量与恢复时长。二、压缩与键cleanup.policy:`delete`
Kafka 事务与端到端一致性(2025)
Kafka 事务与端到端一致性(2025)端到端一致性需要在生产、消费与持久化之间协同保障。一、幂等生产与事务幂等生产:避免重复消息;配置生产者幂等与重试。事务:将多个写入合并为原子操作,保障一致性。二、Exactly-once (EOS)EOS:在流处理与下游写入之间实现 Exactly-once
Kafka 主题保留与压缩策略(Retention、Log Compaction、cleanup.policy)
设计 Kafka 主题的保留与压缩策略,合理配置 `cleanup.policy=delete/compact`,并验证可靠性与成本的平衡。
Kafka 主题保留与压缩策略(Retention、Compaction 与验证)
配置Kafka主题的时间/大小保留策略与日志压缩,按业务键保留最新值并降低存储成本,提供参数示例与端到端验证方法。
NATS JetStream与Kafka对比:轻量消息与流存储选型
对比 NATS JetStream 与 Kafka 的架构与语义,理解轻量消息与流存储的适配场景与一致性与成本权衡。
