很多云原生项目在早期把 Kubernetes 的 kube-proxy 模式当成附加项,而不是基础项:

一、问题定位

Kubernetes 的 kube-proxy 模式的典型故障曲线是这样的:先是一个可忍受的抖动,接着重试把抖动放大,最后 iptables 的补偿逻辑把局部问题扩散成面。真正需要设计的不是「不出错」,而是让 Kubernetes 的 kube-proxy 模式「出错时影响面可控」。

1.1 为什么现在更值得讨论

Kubernetes 的 kube-proxy 模式的投入在云原生里要能沉淀为团队的共同语言:

  • 质量可以度量(Kubernetes 的 kube-proxy 模式):数据质量要能被度量,治理才有优先级
  • 生命周期管到底(Kubernetes 的 kube-proxy 模式):数据从产生到销毁要有完整策略,每个环节都有依据
  • 冷热分开存储(Kubernetes 的 kube-proxy 模式):按访问频次分档存储,成本能显著下降

二、按要点拆解:Kubernetes 的 kube-proxy 模式

2.1 iptables

iptables 的测试要覆盖异常路径,云原生里只测正常路径,容错逻辑实际从未被验证。

  • 空档处理:iptables 的队列消费要能处理空档,无消息仍占资源效率低
  • 突发系数:iptables 的容量模型要包含突发系数,均值规划峰值必然降级
  • 回滚指标:iptables 的发布要有回滚触发指标,靠人判断反应太慢

2.2 IPVS 的取舍

IPVS 的取舍的测试要能分层,云原生场景下全量端到端会让反馈慢到无法接受。

  • 全量同步:IPVS 的取舍的全量同步要限流并避让高峰,避免压垮线上
  • 两阶段提交:IPVS 的取舍的两阶段提交要处理协调者故障,引入超时与恢复
  • 三阶段提交:IPVS 的取舍的三阶段提交降低了阻塞,但多一轮网络开销

2.3 效果评估

效果评估的状态机要显式化,云原生场景下隐式状态会让重试与幂等问题自己浮出来。

  • 日志聚合:效果评估的日志要能按请求聚合,分散多处还原现场耗时
  • 维护静默:效果评估在已知维护窗口内要能静默告警,避免告警疲劳
  • 自动止损:效果评估的灰度要有自动止损,靠人发现再回滚损失已造成

链路上 iptables、IPVS 的取舍、效果评估的顺序若可配置,变更成本会显著下降:

iptables → IPVS 的取舍 → 效果评估

把版本兼容做在前面,iptables 与 IPVS 的取舍的升级才不用停机。

三、最小可运行实现

我们在云原生里处理过 iptables 的误切换:IPVS 的取舍的短暂抖动被当成 iptables 宕机,流量被引到更差的链路。

定位到 iptables 的连接被中间设备按空闲回收,但池子仍标记为可用。加上探活与重建之后,Kubernetes 的 kube-proxy 模式的偶发失败消失。

iptables、IPVS 的取舍、效果评估的实现要把主干逻辑与增强逻辑分开,便于测试。

# Kubernetes:Service 数据面与 kube-proxy 的 IPVS 模式
apiVersion: v1
kind: Service
metadata:
  name: api
  namespace: prod
spec:
  selector:
    app: api
  # ClusterIP 只做负载均衡,不参与 kube-proxy 的 DNAT 链
  type: ClusterIP
  ports:
    - name: http
      port: 80
      targetPort: 8080
      protocol: TCP
  # 会话亲和按客户端 IP 哈希,保证有状态链路的落点稳定
  sessionAffinity: ClientIP
  sessionAffinityConfig:
    clientIP:
      timeoutSeconds: 10800
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: kube-proxy
  namespace: kube-system
data:
  config.conf: |
    mode: ipvs
    ipvs:
      # 调度算法轮询;长连接场景改用 least-connection
      scheduler: rr
      # 严格模式要求 IPVS 模块就绪,否则回退 iptables
      strictArp: true

四、验证与调优

Kubernetes 的 kube-proxy 模式在启用与禁用预编译下的对照(首请求与稳态):

环节单次耗时占关键路径优化手段
iptables2.0ms38%把递归改成显式栈,控制内存增长
IPVS 的取舍3.2ms27%用双指针压缩两层循环
效果评估4.4ms20%把排序改成按需部分排序,只取前几名

整体指标:P99 从 302ms 降到 154ms(-49%),吞吐从 17 万 QPS 提升到 26 万 QPS(+53%),CPU 占用从 71% 降到 54%。

4.1 灰度策略

  • 阶段一(Kubernetes 的 kube-proxy 模式):先对单请求重试,确认间隔
  • 阶段二(Kubernetes 的 kube-proxy 模式):放开批量重试,观察放大
  • 阶段三(Kubernetes 的 kube-proxy 模式):覆盖下游故障,验证退避
  • 阶段四(Kubernetes 的 kube-proxy 模式):全量重试,按退避策略保留开关

4.2 观测面

Kubernetes 的 kube-proxy 模式的告警要能按影响范围分级,避免平均用力。

  • 版本(Kubernetes 的 kube-proxy 模式):线上实例的版本分布被记录,升级进度可追踪
  • 兼容(Kubernetes 的 kube-proxy 模式):新旧版本共存期的错误率对照,升级风险可控
  • 回退(Kubernetes 的 kube-proxy 模式):版本回退的路径经过演练,必要时可快速执行

五、结论

如果 Kubernetes 的 kube-proxy 模式只能带走一个动作,那就是把 iptables、IPVS 的取舍、效果评估的失败模式逐个写下来,让它可演练。

  • 先定边界再定职责(Kubernetes 的 kube-proxy 模式):职责不清的系统,出问题时没人能拍板
  • 把资源开销显式化(Kubernetes 的 kube-proxy 模式):每个功能都要能说清自己消耗的资源
  • 把异常当路径设计(Kubernetes 的 kube-proxy 模式):异常不是例外,要和正常路径一样被设计

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部