AI推理服务网关：多模型路由与缓存

AI推理服务网关：多模型路由与缓存概览推理网关统一管理模型选择、速率限制与缓存，支持降级与回退策略，提升稳定性与性价比。技术参数（已验证）路由：基于任务类型/成本/延迟进行策略路由，支持权重与故障切换。缓存：对可缓存的查询与嵌入结果进行短期缓存，减少重复计算。稳定性：限流/熔断与隔离池避免单模型故障蔓延。实战清单定义统一的请求/响应规范与错误码，便于多模型协同。建立观测与账务统计，优化成本与体验。