大模型蒸馏与小型化深度工程实战：从 Logit、中间特征对齐到合成数据流水线的生产级全解
拆解大模型蒸馏的四类知识表示（Logit/特征/关系/偏好）、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡，以及决定蒸馏上限的合成数据流水线：种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染，附 PyTorch 可运行代码与生产陷阱清单。
大模型
分布式训练并行策略体系：ZeRO / FSDP / 3D Parallelism / Pipeline Bubble 优化实战
大模型分布式训练并行策略深度实战——从ZeRO三阶段显存优化到FSDP工程实现，从张量并行与流水线并行的拓扑映射到Bubble消除策略（1F1B/Interleaved/ZBV），附生产级配置模板。
万亿参数大模型推理系统架构：从显存墙到多节点部署的实战工程
深入剖析万亿参数大模型推理的系统化工程架构，涵盖TP/PP/EP/DP四维并行策略组合、KV Cache三级存储/H2O淘汰策略、MXFP4/FP8量化协同、vLLM多节点部署实战（含docker-compose配置）、PD分离架构与Ray调度层调优、关键监控指标与自适应batch调度，以及HBM4-PIM/光学互连/联邦推理等前沿方向展望。
AI大模型分布式训练：张量并行与流水线并行深度实践
深入拆解大模型训练的两大核心并行策略——张量并行与流水线并行。从矩阵分块原理、1F1B 调度算法到 Megatron-LM 工程实现，配合 PyTorch 代码实战，详解 TP × PP × DP 三维并行体系如何在 3072 张 GPU 上跑出近线性加速比。
RoPE 旋转位置编码深度工程实战：从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展
拆解 RoPE 旋转位置编码的数学本质（复数旋转与相对位置恒等式）与工程实现（rotate_half、fp32 相位精度、cache 复用），分析长度外推崩塌的真实机理（低频欠训练 + 高频 OOD），对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案，给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架，并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。
大模型语料去重工程实战：从 MinHash-LSH 的概率曲线到 10TB 语料流水线
拆解预训练语料去重的三层漏斗：归一化精确去重、MinHash-LSH 近重复召回、embedding 语义兜底。从 MinHash 的无偏估计性质与 1-(1-s^r)^b 分带概率曲线出发，给出签名、分桶、候选复核与连通分量的可运行代码，并总结倾斜桶、阈值拍脑袋、去重后分布偏斜等生产级坑点与验收清单。
分布式大模型训练 Checkpoint 工程——TB 级状态的高效保存、恢复与容错存储系统设计
深入剖析分布式大模型训练中 Checkpoint 系统的工程实现——从分片保存、异步重叠、分层存储到恢复精度验证，覆盖万亿参数模型 TB 级状态的高效保存与恢复全流程。
解锁长上下文：大语言模型百万Token级推理的工程实践与优化全景
从生产级部署的深度视角，拆解百万Token级长上下文推理的关键技术栈：位置编码外推（PI/NTK/YaRN）、KV Cache显存管理与FP8量化、Flash Attention与Ring Attention分布式计算、稀疏注意力与Mamba替代方案、vLLM调度优化与并行策略选择。包含完整代码示例与2025-2026最新进展。
RWKV-6：当 RNN 学会遗忘——线性注意力与 WKV 核的工程实现
从指数衰减到CUDA kernel，详解如何用 O(1) 内存完成百万 token 的生成式推理。深入RWKV-6的WKV递推机制、通道独立衰减的RNN改造、量化部署与工业级陷阱。
大模型分布式训练并行与显存工程实战：从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路
沿真实工程决策链拆解大模型分布式训练：先算清混合精度 AdamW 的 16 字节/参数显存账本，再区分 DP/TP/PP 三种并行各自解决的维度，深入 ZeRO 三级分片与 FSDP FlatParameter 编排（含 70B 在 64 卡上的单卡显存实测表），给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱，最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。
