Debezium CDC与Kafka入湖实践
使用Debezium从数据库捕获变更并写入Kafka，提供可验证的连接器配置与主题治理方法，支撑入湖与实时处理。
数据库技术
Debezium CDC实践：快照与增量一致性治理
使用 Debezium 捕获数据库变更，规范快照与增量阶段的一致性与去重，构建稳定的数据集成通道。
Debezium CDC：变更数据捕获与下游同步实践
利用 Debezium 从数据库日志中捕获变更事件，构建可靠的下游同步与事件驱动架构。
Debezium MySQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium MySQL Source 连接器捕获数据库变更并写入 Kafka，配置主题前缀与表过滤及快照策略。
Debezium PostgreSQL Source 连接器变更捕获到 Kafka 实战
使用 Debezium PostgreSQL Source 连接器捕获数据库变更并写入 Kafka，配置复制槽与发布、表过滤与模式变更输出。
Elasticsearch Data Stream 与索引模板管理实践
创建数据流与模板，按时间写入并稳定滚动，提升日志与时序数据管理能力。
Elasticsearch ILM 与冷热分层及 RollOver 治理（2025）
# Elasticsearch ILM 与冷热分层及 RollOver 治理（2025）
## 一、索引生命周期与策略
- ILM：定义 hot/warm/cold/frozen 阶段（热冷分层），控制 `Segment` 合并与迁移。
- RollOver：按文档数/大小/时间触发新索引，避免 `Shard` 过大或过小。
- 模板：统一索引模板与别名，便于 RollOver 与查询切换。
Elasticsearch ILM生命周期策略治理
通过 ILM 在热/温/冷/删除阶段自动滚动、压缩与合并，降低成本并保障查询性能。
Elasticsearch Ingest Pipeline与处理器治理
通过摄取管道与处理器在写入时规范化与增强文档，统一字段、时间与标签治理，降低查询成本。
Elasticsearch Ingest Pipeline与字段规范化实践
使用Ingest Pipeline在写入阶段进行字段解析与规范化，提供可验证的管道与索引示例，提升检索一致性与质量。
Elasticsearch Ingest Pipeline：预处理、Grok与错误通道治理
使用 Ingest Pipeline 在写入路径进行预处理与抽取，规范 Grok 模式与错误通道，提升数据质量与查询效果。
Elasticsearch PIT 与 search_after 深分页稳定查询实践
使用 Point-in-Time 与 search_after 实现深分页稳定查询，避免滚动期间索引变更导致结果漂移。
Elasticsearch 索引与查询优化（2025）
# Elasticsearch 索引与查询优化（2025）
Elasticsearch 以倒排索引支撑全文检索与分析，需在模式与查询上优化。
## 一、索引与映射
- 字段类型：合理设置 keyword/text 与 analyzer。
- 映射：禁用动态映射的隐患字段，控制索引膨胀。
## 二、分片与副本
- 分片数：按数据规模与并发设定，避免过多小分片。
- 副本：平衡读取性能与写入开销
