AI工程

RoPE 旋转位置编码深度工程实战:从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

拆解 RoPE 旋转位置编码的数学本质(复数旋转与相对位置恒等式)与工程实现(rotate_half、fp32 相位精度、cache 复用),分析长度外推崩塌的真实机理(低频欠训练 + 高频 OOD),对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案,给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架,并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。

Julia 运行时深度工程实战:从多重分派特化、类型推断到 LLVM JIT 与无 GC 热路径

沿 Julia 编译-运行时链路逐层拆解:多重分派与 MethodInstance 特化、分派内联缓存与 Union 拆分、类型推断的收敛条件与四类失效场景、函数屏障手法、LLVM JIT 造成的首次调用延迟与三层治理、非分代 mark-sweep GC 与 isbits 零分配热路径、Task 与线程双层并发,最后给出可落地的性能检查清单。

大模型蒸馏与小型化深度工程实战:从 Logit、中间特征对齐到合成数据流水线的生产级全解

拆解大模型蒸馏的四类知识表示(Logit/特征/关系/偏好)、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡,以及决定蒸馏上限的合成数据流水线:种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染,附 PyTorch 可运行代码与生产陷阱清单。

投机解码深度实战:从草稿-验证采样到 EAGLE 树状草稿,把 LLM 解码延迟砍一半

从内存墙出发推导投机解码的第一性原理,给出可直接运行的接受-拒绝采样完整实现与残差重采样推导,对比独立草稿模型/Medusa/MTP/EAGLE/n-gram 五条路线,讲透树状草稿与 tree attention mask,最后给出 vLLM、SGLang 生产配置、四种不该开启的场景与真实接受率调优方法论。