数据库技术

ClickHouse 物化视图实时聚合与去重治理(2025)

# ClickHouse 物化视图实时聚合与去重治理(2025)## 一、表与视图设计- 明细表:存储原始事件;索引按查询模式设计。- 物化视图(物化视图):将明细写入 `AggregatingMergeTree` 进行 `实时聚合` 与 `去重`。## 二、聚合与去重- 聚合函数:`sum/count/uniqExact/argMax` 等;按业务选择。- 去重:使用 `uniq

Great Expectations 数据质量校验与管道集成(2025)

# Great Expectations 数据质量校验与管道集成(2025)## 一、期望与套件- 期望类型:唯一性/非空/范围/正则等。- 校验套件:按数据集组织,并版本化管理。## 二、管道与触发- 集成:在采集/变换/发布环节作为闸点触发。- 失败处理:阻断与告警与缺陷记录闭环。## 三、报告与审计- 报告:生成人读报告与存档;可视化趋势。- 审计:保留期望变更与执行

PostgreSQL pglogical 插件与跨数据库逻辑复制实战

---title: PostgreSQL pglogical 插件与跨数据库逻辑复制实战keywords: pglogical, create_subscription, wal_level, replication_set, logical replication, PostgreSQLdescription: 使用 pglogical 在不同数据库间建立逻辑复制,配置前置参数与复制集...

PostgreSQL postgres_fdw 跨库查询与推下谓词实践

---title: PostgreSQL postgres_fdw 跨库查询与推下谓词实践keywords: postgres_fdw, CREATE SERVER, USER MAPPING, IMPORT FOREIGN SCHEMA, pushdowndescription: 使用 postgres_fdw 配置跨库访问,导入外部模式与表,验证查询谓词推下与性能改进。tags:- ...

PostgreSQL JSONB 与全文检索组合优化

---title: PostgreSQL JSONB 与全文检索组合优化keywords:- PostgreSQL- JSONB- GIN 索引- pg_trgm- 全文检索description: 在 JSONB 场景中组合使用 GIN、pg_trgm 与全文检索,提升查询性能并保证可维护性。tags:- GIN 索引- JSONB- PostgreSQL- pg_tr...

PostgreSQL 触发器与变更审计(AFTER_BEFORE、Audit 表与验证)

---title: PostgreSQL 触发器与变更审计(AFTER/BEFORE、Audit 表与验证)date: 2025-11-26keywords:- 触发器- 审计- 变更日志- plpgsql- 事务description: 使用AFTER/BEFORE触发器记录数据变更到审计表,包含变更前后数据、操作者与时间,提供实现与一致性验证,满足合规与追踪需求。tags:...

PostgreSQL 外部数据封装器 postgres_fdw 实战

---title: PostgreSQL 外部数据封装器 postgres_fdw 实战keywords:- postgres_fdw- 外部表- 服务器映射- 用户映射- IMPORT FOREIGN SCHEMAdescription: 在 PostgreSQL 中使用 postgres_fdw 访问远端表,提供创建服务器、用户映射与导入外部模式的示例。tags:- IMP...

Intl.ListFormat:列表文案与本地化

---title: Intl.ListFormat:列表文案与本地化keywords:- Intl.ListFormat- 列表文案- conjunction/disjunction- 本地化- 格式化description: 使用 Intl.ListFormat 根据语言规则生成正确的列表文案(如“A、B和C”),支持不同样式与类型,提升国际化展示质量。categories:...