强化学习

GRPO 后训练系统工程实战:从 RLHF 偏好建模到可验证奖励的全链路架构

拆解 GRPO 后训练系统的工程内核:PPO Critic 为何在 LLM 场景失效、组内基线归一化与零标准差组的语义处理、token 级损失归一化如何消除长度偏置、可验证奖励(RLVR)与沙箱判定器设计、rollout-colocate 架构下的权重重分片与 logprob 对拍,附损失实现、verl 配置与生产坑位清单。

强化学习深度实战:从 MDP、Bellman 方程到 DQN、策略梯度与 PPO 的从零实现

过去三年里,强化学习(Reinforcement Learning, RL)以一种近乎隐秘的方式重新站到了 AI 舞台中央:RLHF 用人类偏好作为奖励信号把大语言模型对齐到人类意图,推理时计算(test-time compute)本质是在 rollout 轨迹上用验证器引导搜索,智能体把工具调用建模成离散动作、把真实世界当成环境。可绝大多数工程师只见过"对齐"和"智能体"这两层皮,对 RL 的第…