数据库技术

Great Expectations 数据质量校验与管道集成(2025)

# Great Expectations 数据质量校验与管道集成(2025)## 一、期望与套件- 期望类型:唯一性/非空/范围/正则等。- 校验套件:按数据集组织,并版本化管理。## 二、管道与触发- 集成:在采集/变换/发布环节作为闸点触发。- 失败处理:阻断与告警与缺陷记录闭环。## 三、报告与审计- 报告:生成人读报告与存档;可视化趋势。- 审计:保留期望变更与执行

MongoDB Change Streams 实时事件与异构集成(2025)

# MongoDB Change Streams 实时事件与异构集成(2025)## 一、订阅与过滤- 订阅:按集合或数据库级订阅变更;使用管道过滤。- 安全:权限最小化与租户隔离,防越权访问。## 二、去重与可靠性- 去重:按 `_id`/事务标识去重,避免重复消费。- 重试与死信:失败事件退避重试并进入死信处理。## 三、回放与联动- 回放:记录偏移与时间窗口,支持事件回

MongoDB 模型设计与索引优化(2025)

# MongoDB 模型设计与索引优化(2025)MongoDB 的性能依赖合理的文档模型与索引策略与聚合设计。## 一、模型设计- 文档粒度:按访问模式划分嵌套与引用,降低跨集合联动。- 规范命名:字段与类型一致,便于索引与聚合。## 二、索引与TTL- 复合索引:覆盖过滤与排序字段,减少扫描。- TTL 索引:为过期数据设置自动清理,降低存储压力。## 三、聚合与管道

MySQL 索引与查询优化(2025)

# MySQL 索引与查询优化(2025)MySQL 的优化核心在于正确的索引与合理的查询与数据布局。## 一、索引与类型- B-Tree/Hash/全文索引:按查询模式选择。- 覆盖索引:减少回表,提升读取效率。## 二、执行计划与统计- EXPLAIN:分析扫描类型与行数与索引使用。- 统计信息:更新与分析表,避免错误估算。## 三、分区与布局- 分区表:按时间或范围