分布式系统

LLM 推理 Disaggregated Architecture:Prefill-Decode 分离架构深度实战

随着大模型推理规模从单机走向多机,Prefill与Decode阶段的计算特征差异成为系统瓶颈的根本原因。本文深入剖解NVIDIA Dynamo、Mooncake等工业界Disaggregated Inference架构的设计哲学,涵盖KV Cache传输优化、分布式调度算法、负载均衡策略,并结合真实生产环境数据给出工程实践指南。

Dapr 分布式应用运行时深度实战:从 Building Block、Actor Placement 到 Resiliency 与可插拔组件模型的工程全解

拆解 Dapr 运行时骨架:Sidecar + Building Block + 可插拔 Component 的三层抽象如何解耦应用与中间件;深入 Service Invocation 六步链路、State 的 ETag 乐观并发与一致性、Pub/Sub 至少一次语义与批量投递、Actor 的 Placement 分区成员表与 Turn-based 并发、Resiliency 策略的执行位置,并给出生产环境实测坑位清单。