很多云原生项目在早期把 Kubernetes 的 kube-proxy 模式当成附加项,而不是基础项:
一、问题定位
Kubernetes 的 kube-proxy 模式的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后 iptables 的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是让 Kubernetes 的 kube-proxy 模式「出错时影响面可控」。
1.1 为什么现在更值得讨论
Kubernetes 的 kube-proxy 模式的投入在云原生里要能沉淀为团队的共同语言:
- 质量可以度量(Kubernetes 的 kube-proxy 模式):数据质量要能被度量,治理才有优先级
- 生命周期管到底(Kubernetes 的 kube-proxy 模式):数据从产生到销毁要有完整策略,每个环节都有依据
- 冷热分开存储(Kubernetes 的 kube-proxy 模式):按访问频次分档存储,成本能显著下降
二、按要点拆解:Kubernetes 的 kube-proxy 模式
2.1 iptables
iptables 的测试要覆盖异常路径,云原生里只测正常路径,容错逻辑实际从未被验证。
- 空档处理:iptables 的队列消费要能处理空档,无消息仍占资源效率低
- 突发系数:iptables 的容量模型要包含突发系数,均值规划峰值必然降级
- 回滚指标:iptables 的发布要有回滚触发指标,靠人判断反应太慢
2.2 IPVS 的取舍
IPVS 的取舍的测试要能分层,云原生场景下全量端到端会让反馈慢到无法接受。
- 全量同步:IPVS 的取舍的全量同步要限流并避让高峰,避免压垮线上
- 两阶段提交:IPVS 的取舍的两阶段提交要处理协调者故障,引入超时与恢复
- 三阶段提交:IPVS 的取舍的三阶段提交降低了阻塞,但多一轮网络开销
2.3 效果评估
效果评估的状态机要显式化,云原生场景下隐式状态会让重试与幂等问题自己浮出来。
- 日志聚合:效果评估的日志要能按请求聚合,分散多处还原现场耗时
- 维护静默:效果评估在已知维护窗口内要能静默告警,避免告警疲劳
- 自动止损:效果评估的灰度要有自动止损,靠人发现再回滚损失已造成
链路上 iptables、IPVS 的取舍、效果评估的顺序若可配置,变更成本会显著下降:
iptables → IPVS 的取舍 → 效果评估
把版本兼容做在前面,iptables 与 IPVS 的取舍的升级才不用停机。
三、最小可运行实现
我们在云原生里处理过 iptables 的误切换:IPVS 的取舍的短暂抖动被当成 iptables 宕机,流量被引到更差的链路。
定位到 iptables 的连接被中间设备按空闲回收,但池子仍标记为可用。加上探活与重建之后,Kubernetes 的 kube-proxy 模式的偶发失败消失。
iptables、IPVS 的取舍、效果评估的实现要把主干逻辑与增强逻辑分开,便于测试。
# Kubernetes:Service 数据面与 kube-proxy 的 IPVS 模式
apiVersion: v1
kind: Service
metadata:
name: api
namespace: prod
spec:
selector:
app: api
# ClusterIP 只做负载均衡,不参与 kube-proxy 的 DNAT 链
type: ClusterIP
ports:
- name: http
port: 80
targetPort: 8080
protocol: TCP
# 会话亲和按客户端 IP 哈希,保证有状态链路的落点稳定
sessionAffinity: ClientIP
sessionAffinityConfig:
clientIP:
timeoutSeconds: 10800
---
apiVersion: v1
kind: ConfigMap
metadata:
name: kube-proxy
namespace: kube-system
data:
config.conf: |
mode: ipvs
ipvs:
# 调度算法轮询;长连接场景改用 least-connection
scheduler: rr
# 严格模式要求 IPVS 模块就绪,否则回退 iptables
strictArp: true
四、验证与调优
Kubernetes 的 kube-proxy 模式在启用与禁用预编译下的对照(首请求与稳态):
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| iptables | 2.0ms | 38% | 把递归改成显式栈,控制内存增长 |
| IPVS 的取舍 | 3.2ms | 27% | 用双指针压缩两层循环 |
| 效果评估 | 4.4ms | 20% | 把排序改成按需部分排序,只取前几名 |
整体指标:P99 从 302ms 降到 154ms(-49%),吞吐从 17 万 QPS 提升到 26 万 QPS(+53%),CPU 占用从 71% 降到 54%。
4.1 灰度策略
- 阶段一(Kubernetes 的 kube-proxy 模式):先对单请求重试,确认间隔
- 阶段二(Kubernetes 的 kube-proxy 模式):放开批量重试,观察放大
- 阶段三(Kubernetes 的 kube-proxy 模式):覆盖下游故障,验证退避
- 阶段四(Kubernetes 的 kube-proxy 模式):全量重试,按退避策略保留开关
4.2 观测面
Kubernetes 的 kube-proxy 模式的告警要能按影响范围分级,避免平均用力。
- 版本(Kubernetes 的 kube-proxy 模式):线上实例的版本分布被记录,升级进度可追踪
- 兼容(Kubernetes 的 kube-proxy 模式):新旧版本共存期的错误率对照,升级风险可控
- 回退(Kubernetes 的 kube-proxy 模式):版本回退的路径经过演练,必要时可快速执行
五、结论
如果 Kubernetes 的 kube-proxy 模式只能带走一个动作,那就是把 iptables、IPVS 的取舍、效果评估的失败模式逐个写下来,让它可演练。
- 先定边界再定职责(Kubernetes 的 kube-proxy 模式):职责不清的系统,出问题时没人能拍板
- 把资源开销显式化(Kubernetes 的 kube-proxy 模式):每个功能都要能说清自己消耗的资源
- 把异常当路径设计(Kubernetes 的 kube-proxy 模式):异常不是例外,要和正常路径一样被设计

发表评论 取消回复