GPU

PyTorch 2.0 Compiler 深度剖析:从 TorchDynamo FX Graph 到 TorchInductor Triton CodeGen 的完全工程指南

PyTorch 2.0 Compiler 深度剖析:从 TorchDynamo Python 字节码拦截、FX Graph 中间表示捕获、AOTAutograd 自动微分分解、TorchInductor Triton CodeGen GPU 内核代码生成、算子融合与内存优化、CUDA Graph 捕获、动态形状支持、分布式并行编译、到生产级部署与性能基准测试的完整工程指南。

LLM 推理解耦架构:Prefill-Decode 分离的生产级吞吐工程实践

深入分析 LLM 生产中 Prefill-Decode 阶段的计算特征差异导致的资源冲突问题,系统阐述 Disaggregated Inference 架构的拓扑设计、KV Cache 传输协议实现,并给出 Prefill Worker、Decode Worker、传输引擎和智能调度器的完整生产级代码实现。包含四路 A100 实测性能基准与架构演进方向。