Kubernetes 的网络的 3 个环节里,最容易被跳过的是验证:kube-proxy、IPVS、NetworkPolicy 有没有被真正测到,而不是被默认没问题。

一、问题定位

很多 Kubernetes 的网络的问题在 kube-proxy 侧看不出来,只有把 IPVS 的调用链一起拉进来,才能看到真正的瓶颈。

1.1 为什么现在更值得讨论

把时间尺度拉到三年,会发现 Kubernetes 的网络的约束条件已经换了一轮:

  • AI 参与开发(操作系统):代码生成与审查被 AI 辅助,评审重心转向意图与边界
  • 测试左移(操作系统):契约与性质在编码前就被固化,缺陷发现得越早越便宜
  • 可观测性内建(操作系统):监控不再是事后补丁,而是功能交付的一部分

二、按要点拆解:Kubernetes 的网络

2.1 kube-proxy

kube-proxy 的文档要写「为什么」而不只是「怎么用」。操作系统里 kube-proxy 的设计取舍如果不记录,半年后没人知道当初为什么这么定。

  • 告警:kube-proxy 要配置可执行的告警,而不是只在面板上变红
  • 故障演练:kube-proxy 的故障要有演练记录,而不是只在文档里写过
  • 连接管理:kube-proxy 的连接数要有上限与空闲回收,防止句柄泄漏

2.2 IPVS

IPVS 的复杂度常常被低估,因为它把多个关注点压在一个模块里。把 IPVS 的关注点拆成独立接口,各自能单独测试,整体复杂度会显著下降。

  • 成本预算:IPVS 的成本要有预算与告警,超支能提前发现
  • 资源回收:IPVS 的闲置资源要定期回收,避免长期占用
  • 垃圾清理:IPVS 的临时文件与日志要有清理策略,避免写满磁盘

2.3 NetworkPolicy

NetworkPolicy 的边界条件要写进测试用例。操作系统里 NetworkPolicy 在空值、极值、乱序下的行为,往往没有定义。

  • 爆炸半径:NetworkPolicy 的变更要控制爆炸半径,逐步放量
  • 消息积压:NetworkPolicy 的消息积压要有先行指标,提前扩容
  • 查询性能:NetworkPolicy 的查询要控制复杂度,必要时预聚合

kube-proxy、IPVS、NetworkPolicy 之间的传递关系,让瓶颈会沿着链移动:

kube-proxy → IPVS → NetworkPolicy

链路的总成本由 kube-proxy 与 IPVS 共同决定,但 kube-proxy 的不确定性会整段传导,先把 kube-proxy 的不确定性收敛掉最划算。

三、最小可运行实现

操作系统项目里,kube-proxy 的一次发布把配置默认值从 30 改成 300,IPVS 的队列随之堆积。两处配置的隐式耦合直到 IPVS 出问题才暴露。

我们先给 kube-proxy 和 IPVS 之间加了一层隔离:kube-proxy 只关心自己的处理结果,IPVS 只关心最终状态。中间多了一次拷贝,但 kube-proxy 与 IPVS 的故障隔离收益更大。

把上面的判断标准落成代码,操作系统场景的 kube-proxy、IPVS、NetworkPolicy 编排大致是这样:

# Kubernetes:Service 数据面与 kube-proxy 的 IPVS 模式
apiVersion: v1
kind: Service
metadata:
  name: api
  namespace: prod
spec:
  selector:
    app: api
  # ClusterIP 只做负载均衡,不参与 kube-proxy 的 DNAT 链
  type: ClusterIP
  ports:
    - name: http
      port: 80
      targetPort: 8080
      protocol: TCP
  # 会话亲和按客户端 IP 哈希,保证有状态链路的落点稳定
  sessionAffinity: ClientIP
  sessionAffinityConfig:
    clientIP:
      timeoutSeconds: 10800
---
apiVersion: v1
kind: ConfigMap
metadata:
  name: kube-proxy
  namespace: kube-system
data:
  config.conf: |
    mode: ipvs
    ipvs:
      # 调度算法轮询;长连接场景改用 least-connection
      scheduler: rr
      # 严格模式要求 IPVS 模块就绪,否则回退 iptables
      strictArp: true

四、验证与调优

把 Kubernetes 的网络的资源占用与吞吐放在同一张表,判断是否划算:

环节单次耗时占关键路径优化手段
kube-proxy2.2ms38%降低锁竞争
IPVS3.5ms27%压缩状态体积
NetworkPolicy4.8ms20%缓存热路径结果

整体指标:P99 从 286ms 降到 145ms(-49%),吞吐从 4 万 QPS 提升到 8 万 QPS(+100%),CPU 占用从 63% 降到 41%。

4.1 灰度策略

  • 阶段一(操作系统):先用小数据量验证逻辑
  • 阶段二(操作系统):放大到目标数据量,观察耗时与存储
  • 阶段三(操作系统):覆盖超预期数据量,重点看降级行为
  • 阶段四(操作系统):全量后保留按数据规模分档的容量预案

4.2 观测面

Kubernetes 的网络的指标命名要统一,避免同名不同义:

  • 指标(操作系统):按时间段对比,避免把周期性波动当成故障
  • 日志(操作系统):把配置变更和错误尖峰对齐到同一时间轴
  • 告警(操作系统):告警必须带处置建议,而不只是指出异常

五、结论

把 kube-proxy、IPVS、NetworkPolicy 的失败模式列成清单,Kubernetes 的网络的可靠性就从「设计」变成了「工程」。

  • 先定目标再定手段(操作系统):没有可度量的目标,优化就没有结束的条件
  • 把峰值当设计约束(操作系统):只按平均值设计,遇到峰值必然崩溃
  • 恢复要优先于重试(操作系统):先恢复可用再补偿,避免重试期间雪上加霜

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论
立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部