Flink 事件时间与水位线/窗口参数治理(2025)一、时间与水位线时间语义:优先使用 `事件时间`,防止处理时间抖动影响准确性。水位线(Watermark):根据乱序程度设置 `Watermark` 推进策略;支持有界乱序与周期性发射。二、窗口与聚合窗口类型:`Tumbling/Sliding/Session`;按业务选择并设置大小与滑动步长。迟到数据:设置 `allowedLateness`;对极迟到数据采用侧输出(Side Output)。触发器:定制触发器与清理策略,控制内存与延迟。三、乱序与容错乱序治理:评估乱序分布;调节 `Watermark` 延迟与窗口大小。容错:启用 Checkpoint/Savepoint;对状态进行压缩与快照。恢复:故障后以 `Savepoint` 定点恢复;保证一致性。四、状态与资源状态后端:RocksDB 状态与内存状态选择;设置缓存与压缩。资源:并行度与背压治理;监控 Busy 率与处理延迟。五、观测与基线指标:窗口延迟、迟到比例、Watermark 推进、丢弃/侧输出量。基线:在评估集上校准参数,避免过度保守或激进。注意事项关键词(Flink、事件时间、水位线、Watermark、WINDOW)与正文一致。分类为“数据/流处理/Flink”,不超过三级。参数需在真实数据分布与生产基线上验证。

发表评论 取消回复