人工智能
  1. 首页
  2. 人工智能

列表

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

在大模型训练的工程现场，GPU 显存是最硬的约束。当你想用 128 的全局批量（global batch）去逼近论文里的收敛曲线，却发现单卡连 micro batch=8 都 OOM 时，梯度累积（Gradient Accumulation）几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单：Batch Normalization 的统计错位…
大语言模型 2026年10月08日
相对位置编码深度实战：从绝对位置嵌入、T5 相对注意力、ALiBi 到 DeBERTa 解耦位置表示

相对位置编码深度实战：从绝对位置嵌入、T5 相对注意力、ALiBi 到 DeBERTa 解耦位置表示

Transformer 的自注意力对 token 顺序是**置换不变**的：把输入序列打乱，注意力矩阵只会在行/列上跟着重排，输出集合不变。这意味着如果不显式注入顺序信号，模型看到 "猫 吃 鱼" 与 "鱼 吃 猫" 会得到完全相同的语义表征——这在实际任务里是灾难。
大语言模型 2026年10月08日
Dropout 深度实战：从子网络集成、Inverted Dropout 到 DropPath 与 MC Dropout 的生产工程

Dropout 深度实战：从子网络集成、Inverted Dropout 到 DropPath 与 MC Dropout 的生产工程

Dropout 是深度学习里最反直觉、也最容易被误用的正则化手段之一。它在 2012 年以 "Improving neural networks by preventing co-adaptation of feature detectors" 提出，核心思想只有一句话：**在训练时随机"丢弃"一部分神经元，迫使网络不能在固定的神经元组合上抱团作弊**。本文从第一性原理出发，把 Dropout 的…
大语言模型 2026年10月09日
学习率调度深度实战：从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程

学习率调度深度实战：从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程

系统拆解学习率调度的第一性原理：为什么 LR 主宰优化轨迹与泛化（flat/sharp minima），从恒定与阶梯衰减的朴素基线，到线性/常数/余弦三种 Warmup 的动力学成因，再到 Cosine 退火、SGDR 与现代化大模型预训练范式 Warmup-Stable-Decay（WSD），并深入线性缩放律与 Accumulated Warmup 修正、与梯度累积/混合精度/梯度裁剪的交互陷阱，给出可复用的 PyTorch 组合调度器与生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力共同构成 Transformer 内部机制与训练工程深度解系列。
模型微调 2026年10月08日