大模型

九月三重奏

2026年9月AI产业三重奏:国产大模型密集迭代冲刺效率前沿,人工智能安全治理框架3.0首次为智能体设专章,AI硬件与具身智能走出Demo走向真实产线。

RoPE 旋转位置编码深度工程实战:从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

拆解 RoPE 旋转位置编码的数学本质(复数旋转与相对位置恒等式)与工程实现(rotate_half、fp32 相位精度、cache 复用),分析长度外推崩塌的真实机理(低频欠训练 + 高频 OOD),对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案,给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架,并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。

大模型分布式训练并行与显存工程实战:从 ZeRO 分片、FSDP 扁平参数到激活重计算与通信重叠全链路

沿真实工程决策链拆解大模型分布式训练:先算清混合精度 AdamW 的 16 字节/参数显存账本,再区分 DP/TP/PP 三种并行各自解决的维度,深入 ZeRO 三级分片与 FSDP FlatParameter 编排(含 70B 在 64 卡上的单卡显存实测表),给出选择性激活重计算的算力-显存兑换率与 use_reentrant 陷阱,最后落到 prefetch、bucket 与梯度累积 no_sync 的通信-计算重叠实战。