数据库技术

Bun.s3 与 Bun.sql 实战指南

引言- Bun 1.2 引入 `Bun.s3` 与内置 Postgres 客户端 `Bun.sql`,以更贴近 Web 标准的 API 提供云服务集成与数据访问能力,同时大幅提升 Node 兼容性与性能。能力与实践(已验证)- Bun.s3:内置 S3 客户端,提供与 Blob 等 Web 标准兼容的 API,可读写/删除 S3 文件,支持惰性引用。来源:Bun 中文博客。- Bun

Great Expectations 数据质量校验与管道集成(2025)

# Great Expectations 数据质量校验与管道集成(2025)## 一、期望与套件- 期望类型:唯一性/非空/范围/正则等。- 校验套件:按数据集组织,并版本化管理。## 二、管道与触发- 集成:在采集/变换/发布环节作为闸点触发。- 失败处理:阻断与告警与缺陷记录闭环。## 三、报告与审计- 报告:生成人读报告与存档;可视化趋势。- 审计:保留期望变更与执行

ClickHouse 物化视图实时聚合与去重治理(2025)

# ClickHouse 物化视图实时聚合与去重治理(2025)## 一、表与视图设计- 明细表:存储原始事件;索引按查询模式设计。- 物化视图(物化视图):将明细写入 `AggregatingMergeTree` 进行 `实时聚合` 与 `去重`。## 二、聚合与去重- 聚合函数:`sum/count/uniqExact/argMax` 等;按业务选择。- 去重:使用 `uniq

ClickHouse 写入与查询优化(2025)

# ClickHouse 写入与查询优化(2025)ClickHouse 面向高并发分析型查询,优化重点在表引擎与数据布局与查询路径。## 一、表与索引- MergeTree 家族:根据写入与查询模式选择合适引擎(如 MergeTree、ReplacingMergeTree、SummingMergeTree)。- 主键与排序键:合理设置提升范围查询与跳过数据块效率。## 二、分区与