Google TPU v6 (Trillium) 架构深度解析:从 MXU 矩阵引擎到 JAX 万卡分布式训练 深入解析 Google TPU v6 (Trillium) 的 MXU 脉动阵列微架构、ICI 芯片间互连拓扑、HBM 内存子系统,并结合 JAX/XLA 编译器实战万卡分布式训练的工程优化策略。 分布式系统 2026年10月03日 0 点赞 0 评论 66 浏览
DeepSeek时代: MoE推理系统的工程实战 深入剖析DeepSeek-V3的MLA注意力机制与细粒度MoE专家并行架构,涵盖KV Cache压缩、AlltoAll通信优化、显存预算分配等工程实战细节 推理部署 2026年10月03日 0 点赞 0 评论 73 浏览
MoE大模型专家并行与动态路由优化——从DeepSeek-V3到生产级推理架构 深入解析MoE稀疏激活架构下的Expert Parallelism设计,从原理推导到生产实战,涵盖Top-K Gating、Auxiliary Loss、All-to-All通信优化、Expert Offloading以及DeepSeek-V3的Aux-Free负载均衡策略。 推理部署 2026年10月04日 0 点赞 0 评论 89 浏览
MoE 大规模分布式推理工程实战:从 All-to-All 通信到动态专家放置 深入拆解 MoE(Mixture of Experts)大规模分布式推理的工程实现:All-to-All 通信优化、DualPipe 架构、专家复制与放置策略、动态负载均衡、容错恢复机制,以及基于 DeepSeek-V3 的生产部署经验。 分布式系统 2026年10月05日 0 点赞 0 评论 39 浏览
MoE 推理工程深层实战:专家并行、负载均衡、Expert Offloading 与生产级 Serving 从生产环境出发,深入拆解 MoE 推理系统中最棘手的工程挑战——专家并行策略、动态负载均衡、Expert Offloading 机制、以及面向请求调度的完整 Serving 架构。涵盖 DeepSeek-V3 的 256 专家路由机制、三级 Offloading 策略、Expert Affinity Batch Scheduling 等核心工程实践。 网络技术 2026年10月07日 0 点赞 0 评论 28 浏览
异构推理引擎的统一调度:在单一服务中同时运行 Transformer、SSM 与 MoE 模型的工程实践 深入拆解异构推理统一调度的核心挑战:在单一服务中同时部署和管理 Transformer、Mamba/RWKV 等 SSM 模型、MoE 模型。涵盖计算特性分析、Rust异步调度器实现、GPU显存统一管理及生产级性能基准。 深度学习 2026年10月07日 0 点赞 0 评论 30 浏览
2026年深度学习推理加速与模型优化技术全景:从量化压缩到大模型部署实战 2026年深度学习推理加速与模型优化技术全景,涵盖MXFP4量化、FlashAttention-4、MoE加速、SGLang、Specular Decoding等最新技术进展 深度学习 2026年10月10日 0 点赞 0 评论 12 浏览