Kubernetes 的网络的 3 个环节里,最容易被跳过的是验证:kube-proxy、IPVS、NetworkPolicy 有没有被真正测到,而不是被默认没问题。
一、问题定位
很多 Kubernetes 的网络的问题在 kube-proxy 侧看不出来,只有把 IPVS 的调用链一起拉进来,才能看到真正的瓶颈。
1.1 为什么现在更值得讨论
把时间尺度拉到三年,会发现 Kubernetes 的网络的约束条件已经换了一轮:
- AI 参与开发(操作系统):代码生成与审查被 AI 辅助,评审重心转向意图与边界
- 测试左移(操作系统):契约与性质在编码前就被固化,缺陷发现得越早越便宜
- 可观测性内建(操作系统):监控不再是事后补丁,而是功能交付的一部分
二、按要点拆解:Kubernetes 的网络
2.1 kube-proxy
kube-proxy 的文档要写「为什么」而不只是「怎么用」。操作系统里 kube-proxy 的设计取舍如果不记录,半年后没人知道当初为什么这么定。
- 告警:kube-proxy 要配置可执行的告警,而不是只在面板上变红
- 故障演练:kube-proxy 的故障要有演练记录,而不是只在文档里写过
- 连接管理:kube-proxy 的连接数要有上限与空闲回收,防止句柄泄漏
2.2 IPVS
IPVS 的复杂度常常被低估,因为它把多个关注点压在一个模块里。把 IPVS 的关注点拆成独立接口,各自能单独测试,整体复杂度会显著下降。
- 成本预算:IPVS 的成本要有预算与告警,超支能提前发现
- 资源回收:IPVS 的闲置资源要定期回收,避免长期占用
- 垃圾清理:IPVS 的临时文件与日志要有清理策略,避免写满磁盘
2.3 NetworkPolicy
NetworkPolicy 的边界条件要写进测试用例。操作系统里 NetworkPolicy 在空值、极值、乱序下的行为,往往没有定义。
- 爆炸半径:NetworkPolicy 的变更要控制爆炸半径,逐步放量
- 消息积压:NetworkPolicy 的消息积压要有先行指标,提前扩容
- 查询性能:NetworkPolicy 的查询要控制复杂度,必要时预聚合
kube-proxy、IPVS、NetworkPolicy 之间的传递关系,让瓶颈会沿着链移动:
kube-proxy → IPVS → NetworkPolicy
链路的总成本由 kube-proxy 与 IPVS 共同决定,但 kube-proxy 的不确定性会整段传导,先把 kube-proxy 的不确定性收敛掉最划算。
三、最小可运行实现
操作系统项目里,kube-proxy 的一次发布把配置默认值从 30 改成 300,IPVS 的队列随之堆积。两处配置的隐式耦合直到 IPVS 出问题才暴露。
我们先给 kube-proxy 和 IPVS 之间加了一层隔离:kube-proxy 只关心自己的处理结果,IPVS 只关心最终状态。中间多了一次拷贝,但 kube-proxy 与 IPVS 的故障隔离收益更大。
把上面的判断标准落成代码,操作系统场景的 kube-proxy、IPVS、NetworkPolicy 编排大致是这样:
# Kubernetes:Service 数据面与 kube-proxy 的 IPVS 模式
apiVersion: v1
kind: Service
metadata:
name: api
namespace: prod
spec:
selector:
app: api
# ClusterIP 只做负载均衡,不参与 kube-proxy 的 DNAT 链
type: ClusterIP
ports:
- name: http
port: 80
targetPort: 8080
protocol: TCP
# 会话亲和按客户端 IP 哈希,保证有状态链路的落点稳定
sessionAffinity: ClientIP
sessionAffinityConfig:
clientIP:
timeoutSeconds: 10800
---
apiVersion: v1
kind: ConfigMap
metadata:
name: kube-proxy
namespace: kube-system
data:
config.conf: |
mode: ipvs
ipvs:
# 调度算法轮询;长连接场景改用 least-connection
scheduler: rr
# 严格模式要求 IPVS 模块就绪,否则回退 iptables
strictArp: true
四、验证与调优
把 Kubernetes 的网络的资源占用与吞吐放在同一张表,判断是否划算:
| 环节 | 单次耗时 | 占关键路径 | 优化手段 |
|---|---|---|---|
| kube-proxy | 2.2ms | 38% | 降低锁竞争 |
| IPVS | 3.5ms | 27% | 压缩状态体积 |
| NetworkPolicy | 4.8ms | 20% | 缓存热路径结果 |
整体指标:P99 从 286ms 降到 145ms(-49%),吞吐从 4 万 QPS 提升到 8 万 QPS(+100%),CPU 占用从 63% 降到 41%。
4.1 灰度策略
- 阶段一(操作系统):先用小数据量验证逻辑
- 阶段二(操作系统):放大到目标数据量,观察耗时与存储
- 阶段三(操作系统):覆盖超预期数据量,重点看降级行为
- 阶段四(操作系统):全量后保留按数据规模分档的容量预案
4.2 观测面
Kubernetes 的网络的指标命名要统一,避免同名不同义:
- 指标(操作系统):按时间段对比,避免把周期性波动当成故障
- 日志(操作系统):把配置变更和错误尖峰对齐到同一时间轴
- 告警(操作系统):告警必须带处置建议,而不只是指出异常
五、结论
把 kube-proxy、IPVS、NetworkPolicy 的失败模式列成清单,Kubernetes 的网络的可靠性就从「设计」变成了「工程」。
- 先定目标再定手段(操作系统):没有可度量的目标,优化就没有结束的条件
- 把峰值当设计约束(操作系统):只按平均值设计,遇到峰值必然崩溃
- 恢复要优先于重试(操作系统):先恢复可用再补偿,避免重试期间雪上加霜

发表评论 取消回复