云原生日志收集Fluent Bit与OTel Collector整合实践

概述Fluent Bit 提供低资源占用的日志采集，OTel Collector 提供标准化与路由。本文给出二者的整合方案与流水线配置，支持多目标导出与过滤解析。采集与转发（已验证）Fluent Bit DaemonSet：从容器日志收集；解析与过滤：`parser`/`filter` 结构化与标签化；输出到 OTel Collector：使用 `http`/`grpc` 发送到 OTLP 接口。Collector 管道接收器：`otlp`/`fluentforward`；处理器：`batch`/`attributes`；导出器：`otlphttp`/`logging`/`clickhouse` 等。示例（片段）# Fluent Bit output [OUTPUT] Name http Host otel-collector Port 4318 Format json URI /v1/logs # OTel Collector receivers: otlp: protocols: http: exporters: otlphttp: endpoint: http://loki:3100 processors: batch: service: pipelines: logs: receivers: [otlp] processors: [batch] exporters: [otlphttp] 验证与监控指标：采集吞吐、丢弃率、导出成功率；日志：Collector 处理与错误；常见误区未做结构化解析导致查询困难；Collector 导出器与目标不匹配；结语以 Fluent Bit 的低资源采集与 OTel Collector 的标准化管道结合，配合解析与过滤与多目标导出，并以指标验证，构建高效的云原生日志体系。