数据库技术
PostgreSQL 分区策略与时间序列优化（2025）
# PostgreSQL 分区策略与时间序列优化（2025）
时间序列数据写多读多，需在分区/索引/归档上系统优化。
## 一、分区与布局
- 范围分区：按时间窗口分区，减少扫描与维护成本。
- 子分区：按来源或租户进一步细分，降低热点。
## 二、索引与统计
- 索引：覆盖时间与过滤维度；避免过度索引。
- 统计：维护表与列统计，确保计划准确。
## 三、写入与归档
- 批量与队列：控制
Kafka Connect 与 Debezium MySQL CDC 实战
---
title: Kafka Connect 与 Debezium MySQL CDC 实战
keywords:
- Kafka Connect
- Debezium
- MySQL CDC
- Binlog
- Connector
description: 使用 Debezium 在 Kafka Connect 中捕获 MySQL 变更，提供 Connector 配置与主题命名规范，适合增量...
PostgreSQL 分区与 JSONB 索引优化
---
title: PostgreSQL 分区与 JSONB 索引优化
keywords:
- PostgreSQL
- 分区表
- JSONB
- GIN 索引
- 执行计划
description: 结合时间与范围分区策略，配合 JSONB 与 GIN 索引优化查询性能，给出执行计划分析与常见坑位。
tags:
- GIN 索引
- JSONB
- PostgreSQL
- 分区表
- 后端...
Elasticsearch滚动升级与分片再均衡治理
在不停机的前提下滚动升级与再均衡分片，规范健康检查与备份回滚策略，保障稳定与性能。
Kafka 事务与端到端一致性（2025）
# Kafka 事务与端到端一致性（2025）
端到端一致性需要在生产、消费与持久化之间协同保障。
## 一、幂等生产与事务
- 幂等生产：避免重复消息；配置生产者幂等与重试。
- 事务：将多个写入合并为原子操作，保障一致性。
## 二、Exactly-once (EOS)
- EOS：在流处理与下游写入之间实现 Exactly-once。
- 偏移与状态：对偏移与状态进行一致性管理。
#
NoSQL注入防护（MongoDB/查询算子白名单）最佳实践
通过MongoDB查询算子白名单与键过滤、类型校验与分页限制，系统性防止NoSQL注入与资源耗尽。
HashiCorp Vault动态密钥与租约实践
使用Vault签发短期动态密钥并管理租约与续租，提供可验证的CLI与策略示例，提升安全与可追溯性。
PostGIS地理空间索引与查询实践
在 PostgreSQL 中使用 PostGIS 进行地理空间存储与查询，结合 GiST/R-Tree 索引提升范围与邻近检索性能。
PostgreSQL 扩展统计（Extended Statistics）与查询计划稳定性
通过 Extended Statistics（MCV、相关性、NDistinct）提升选择性估算与计划稳定性，提供可验证的配置与观察方法。
PostgreSQL 查询优化与统计信息（扩展统计、计划稳定与验证）
利用扩展统计提升选择度估算并稳定查询计划, 结合工作内存与代价参数优化执行性能, 提供可重复的度量与验证方法。
Elasticsearch Ingest Pipeline：预处理、Grok与错误通道治理
使用 Ingest Pipeline 在写入路径进行预处理与抽取，规范 Grok 模式与错误通道，提升数据质量与查询效果。
MongoDB 分片与索引优化（Shard Key、复合索引与查询规划）
选择合适的分片键与复合索引, 结合查询规划分析优化读写与分布, 并提供可重复的度量与验证流程。
