日志聚合与查询优化（ELK与ClickHouse实践）

概述日志体系需同时满足写入吞吐与查询效率。本文提供 Fluent Bit/ELK 的采集与索引策略，以及 ClickHouse 的 MergeTree 分区与压缩优化，并给出验证方法。采集与管道（已验证）Fluent Bit：高性能采集与转发；缓冲与重试：本地缓冲与回退，避免丢失；Elasticsearch（检索与聚合）索引模板：定义字段类型与 `keyword/text`；`doc_values` 用于聚合排序；分区与滚动：按时间滚动索引，控制分片与副本；压缩与刷新：合理 `refresh_interval` 与压缩设置；ClickHouse（长保留与复杂查询）表引擎：`MergeTree` 按日期分区与主键排序提高范围查询；压缩：ZSTD；物化视图：预聚合提高查询速度；示例（片段）CREATE TABLE logs ( ts DateTime, level String, service String, msg String ) ENGINE = MergeTree PARTITION BY toDate(ts) ORDER BY (service, ts) SETTINGS index_granularity = 8192; 验证与监控写入：采集缓冲与失败计数；查询：P95/P99 与扫描数据量；保留：按业务与合规设定不同存储的保留周期；常见误区字段类型不当导致查询慢；分片过多导致资源浪费；无分区与排序导致 ClickHouse 范围查询低效。结语以采集稳定性为基础，结合 Elasticsearch 的索引模板与滚动策略，以及 ClickHouse 的分区与视图优化，日志体系可同时满足写入与查询需求。