Kafka 事务与端到端一致性（2025）
# Kafka 事务与端到端一致性（2025）
端到端一致性需要在生产、消费与持久化之间协同保障。
## 一、幂等生产与事务
- 幂等生产：避免重复消息；配置生产者幂等与重试。
- 事务：将多个写入合并为原子操作，保障一致性。
## 二、Exactly-once (EOS)
- EOS：在流处理与下游写入之间实现 Exactly-once。
- 偏移与状态：对偏移与状态进行一致性管理。
#
数据库技术
Kafka Connect JDBC Sink 写入 PostgreSQL 实战
---
title: Kafka Connect JDBC Sink 写入 PostgreSQL 实战
keywords: JdbcSinkConnector, auto.create, insert.mode, pk.mode, table.name.format
description: 配置 JDBC Sink 将 Kafka 主题写入 PostgreSQL，启用自动建表、主键与插入模式，实...
PostgreSQL 逻辑解码输出插件（pgoutput、wal2json 与验证）
---
title: PostgreSQL 逻辑解码输出插件（pgoutput、wal2json 与验证）
date: 2025-11-26
keywords:
- 逻辑解码
- pgoutput
- wal2json
- 复制槽
- 流式输出
description: 配置PostgreSQL逻辑解码并选择输出插件（pgoutput/wal2json），创建复制槽与流式输出，提供验证方法确保事件...
Elasticsearch 查询与索引优化（倒排索引、分片、副本与查询DSL）
系统梳理 ES 的索引与查询优化，包含分片/副本规划、倒排索引与查询 DSL 调优，并提供可验证的配置与观测方法。
Elasticsearch查询缓存与请求缓存治理
正确使用查询缓存与请求缓存，统一过滤器与缓存键策略，提升检索与聚合性能并控制一致性。
Elasticsearch索引排序与time_series模式治理
使用 `index.sort` 与 `index.mode: time_series` 优化写入与查询性能，在时序场景中降低段合并与扫描成本。
PostgreSQL 触发器与变更审计（AFTER/BEFORE、Audit 表与验证）
使用AFTER/BEFORE触发器记录数据变更到审计表，包含变更前后数据、操作者与时间，提供实现与一致性验证，满足合规与追踪需求。
PostgreSQL 索引优化与查询计划入门
从 EXPLAIN ANALYZE 出发，理解 PostgreSQL 的索引类型与查询计划，掌握高性价比的优化方法。
PostgreSQL 逻辑复制与多活读扩展（2025）
# PostgreSQL 逻辑复制与多活读扩展（2025）
## 一、发布与订阅
- 发布：源库创建 `PUBLICATION`，选择需复制的表与列，启用 `wal_level=logical`。
- 订阅：目标库创建 `SUBSCRIPTION`，绑定复制槽与连接信息，实现增量同步（订阅）。
- 参数：`max_replication_slots`、`max_wal_senders` 按并发与
PostgreSQL 时间点恢复(PITR) 基于 WAL 与基础备份实战
---
title: PostgreSQL 时间点恢复(PITR) 基于 WAL 与基础备份实战
keywords: PITR, wal_level, archive_mode, archive_command, pg_basebackup, restore_command,
recovery.signal
description: 配置 WAL 归档与基础备份，使用 restore_comm...
Elasticsearch 索引与查询优化（2025）
# Elasticsearch 索引与查询优化（2025）
Elasticsearch 以倒排索引支撑全文检索与分析，需在模式与查询上优化。
## 一、索引与映射
- 字段类型：合理设置 keyword/text 与 analyzer。
- 映射：禁用动态映射的隐患字段，控制索引膨胀。
## 二、分片与副本
- 分片数：按数据规模与并发设定，避免过多小分片。
- 副本：平衡读取性能与写入开销
PostgreSQL JSONB 与全文检索组合优化
---
title: PostgreSQL JSONB 与全文检索组合优化
keywords:
- PostgreSQL
- JSONB
- GIN 索引
- pg_trgm
- 全文检索
description: 在 JSONB 场景中组合使用 GIN、pg_trgm 与全文检索，提升查询性能并保证可维护性。
tags:
- GIN 索引
- JSONB
- PostgreSQL
- pg_tr...
PostgreSQL wal2json 逻辑解码与增量同步
---
title: PostgreSQL wal2json 逻辑解码与增量同步
keywords:
- wal2json
- 逻辑解码
- 复制槽
- 增量同步
- WAL
description: 启用 wal2json 进行逻辑解码，创建复制槽并读取增量变更，适合构建 CDC 管道。
tags:
- PostgreSQL
- WAL
- wal2json
- 增量同步
- 复制槽
- 数据同...
CDC 变更数据捕获与异构同步实践（2025）
# CDC 变更数据捕获与异构同步实践（2025）
CDC 将数据库的变更事件化，支持跨系统的低延迟同步与审计。
## 一、捕获与来源
- binlog/redo：从数据库日志捕获变更（如 MySQL binlog）。
- 表级变更：配置过滤与白名单，控制事件体量。
## 二、管道与传输
- 事件总线：以 Kafka 等传输与缓冲变更事件。
- 模式与兼容：保持模式与类型一致性，避免解析错误
