大语言模型
  1. 首页
  2. 科技
  3. 人工智能
  4. 大语言模型

列表

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

梯度累积深度实战：从显存墙、小批量退化到有效批次与混合精度训练的协同工程

在大模型训练的工程现场，GPU 显存是最硬的约束。当你想用 128 的全局批量（global batch）去逼近论文里的收敛曲线，却发现单卡连 micro batch=8 都 OOM 时，梯度累积（Gradient Accumulation）几乎是唯一不依赖多机多卡就能"假装大批量"的手段。但它远不是"把 loss 除以 N 再累加起来"那么简单：Batch Normalization 的统计错位…
大语言模型 2026年10月08日
残差连接深度实战：从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程

残差连接深度实战：从退化问题与恒等映射、残差流到 Pre-LN 与深度初始化工程

系统拆解残差连接的第一性原理：为何 plain 网络会退化、恒等映射 y=F(x)+x 如何在反向传播中保留永不消失的梯度高速通道（∂L/∂x = ∂L/∂y·(∂F/∂x + I)），并从机制可解释性视角解读 Transformer 的残差流（注意力/MLP 只是写入主干的低秩扰动）；深入 Pre-LN 与 Post-LN 的稳定性对比、ReZero/SkipInit/Fixup/LayerScale/DeepNorm 等深度初始化技巧、混合精度下残差累加的数值稳定性，给出可切换 Pre/Post-LN 的生产级 PyTorch 实现与生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力、学习率调度共同构成 Transformer 内部机制与训练工程深度解系列。
大语言模型 2026年10月08日
学习率调度深度实战：从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程

学习率调度深度实战：从 Warmup、Cosine 退火到 WSD 与线性缩放律的大批量预训练工程

系统拆解学习率调度的第一性原理：为什么 LR 主宰优化轨迹与泛化（flat/sharp minima），从恒定与阶梯衰减的朴素基线，到线性/常数/余弦三种 Warmup 的动力学成因，再到 Cosine 退火、SGDR 与现代化大模型预训练范式 Warmup-Stable-Decay（WSD），并深入线性缩放律与 Accumulated Warmup 修正、与梯度累积/混合精度/梯度裁剪的交互陷阱，给出可复用的 PyTorch 组合调度器与生产陷阱清单，与本站 RMSNorm、相对位置编码、交叉注意力共同构成 Transformer 内部机制与训练工程深度解系列。
模型微调 2026年10月08日
交叉注意力深度实战：从编码器-解码器对齐、KV 投影到多模态融合与流式解码工程

交叉注意力深度实战：从编码器-解码器对齐、KV 投影到多模态融合与流式解码工程

系统拆解交叉注意力的第一性原理：Q 来自解码端、K/V 来自编码端，从 Bahdanau 加性注意力、Luong 乘性注意力到现代缩放点积交叉注意力，亲手实现一个生产级 CrossAttention 模块，并深入多模态融合（Whisper/视觉-语言/Perceiver）、流式解码的 cross KV 缓存复用、FlashAttention 适配与生产陷阱清单，与本站 RMSNorm、相对位置编码共同构成 Transformer 内部机制深度解三部曲。
多模态大模型 2026年10月08日
相对位置编码深度实战：从绝对位置嵌入、T5 相对注意力、ALiBi 到 DeBERTa 解耦位置表示

相对位置编码深度实战：从绝对位置嵌入、T5 相对注意力、ALiBi 到 DeBERTa 解耦位置表示

Transformer 的自注意力对 token 顺序是**置换不变**的：把输入序列打乱，注意力矩阵只会在行/列上跟着重排，输出集合不变。这意味着如果不显式注入顺序信号，模型看到 "猫 吃 鱼" 与 "鱼 吃 猫" 会得到完全相同的语义表征——这在实际任务里是灾难。
大语言模型 2026年10月08日
对比学习深度实战：从 InfoNCE、SimCLR、MoCo 到监督对比与表征迁移工程

对比学习深度实战：从 InfoNCE、SimCLR、MoCo 到监督对比与表征迁移工程

当你在向量数据库里做语义检索、在 RAG 系统里给文档切块嵌入、在多模态模型里把"猫的图片"和"cat"这两个模态拉到一起时，背后几乎都站着同一个思想：**对比学习（Contrastive Learning）**。它让模型不需要昂贵的逐样本人工标注，仅凭"什么该相似、什么该不相似"这一对关系信号，就能学到可迁移、可检索、可泛化的高质量表征。但绝大多数工程落地只是直接调用 `model.encode…
大语言模型 2026年10月08日
强化学习深度实战：从 MDP、Bellman 方程到 DQN、策略梯度与 PPO 的从零实现

强化学习深度实战：从 MDP、Bellman 方程到 DQN、策略梯度与 PPO 的从零实现

过去三年里，强化学习（Reinforcement Learning, RL）以一种近乎隐秘的方式重新站到了 AI 舞台中央：RLHF 用人类偏好作为奖励信号把大语言模型对齐到人类意图，推理时计算（test-time compute）本质是在 rollout 轨迹上用验证器引导搜索，智能体把工具调用建模成离散动作、把真实世界当成环境。可绝大多数工程师只见过"对齐"和"智能体"这两层皮，对 RL 的第…
大语言模型 2026年10月08日