人工智能

对比学习深度实战:从 InfoNCE、SimCLR、MoCo 到监督对比与表征迁移工程

当你在向量数据库里做语义检索、在 RAG 系统里给文档切块嵌入、在多模态模型里把"猫的图片"和"cat"这两个模态拉到一起时,背后几乎都站着同一个思想:**对比学习(Contrastive Learning)**。它让模型不需要昂贵的逐样本人工标注,仅凭"什么该相似、什么该不相似"这一对关系信号,就能学到可迁移、可检索、可泛化的高质量表征。但绝大多数工程落地只是直接调用 `model.encode…

模型逆向攻击深度实战:从置信度最大化、生成式先验到训练数据重建的隐私安全工程

模型逆向攻击(Model Inversion Attack)是机器学习隐私威胁谱系里最容易被低估、却最贴近"数据隐私"本质的一类攻击:攻击者并不想复制你的模型,也不只想判断某条记录是否参与过训练,而是要**从模型的输出反推出训练数据本身**——一个人的基因型、一张人脸、一条医疗记录。本文从第一性原理出发,拆解模型逆向的数学内核,复现从 Fredrikson 基因组隐私到 Secret Sharer…

损失函数深度实战:从交叉熵、标签平滑到 Focal Loss 与多任务损失的训练工程全解

系统拆解损失函数的第一性原理:为什么 0/1 损失不可导、所有可训练损失都是替代损失;从交叉熵的最大似然与 KL 散度推导、log_softmax 的数值稳定性,到标签平滑(ε 软化目标)、Focal Loss(聚焦难样本、α/γ 调参)、BCE+pos_weight 处理类别不平衡,再覆盖回归损失(MSE/MAE/Huber/Log-Cosh/分位)、带温度 KL 的蒸馏损失与基于同方差不确定性的多任务自适应加权,并给出 10 项生产陷阱清单(数值溢出、reduction 与梯度累积、ignore_index、混合精度、软标签类型、类别失衡、蒸馏冲突、多任务尺度失衡、NaN 检测、指标与 loss 解耦)与可复现 PyTorch 工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数共同构成 Transformer 内部机制与训练工程深度解系列(补全训练目标一环)。

正则化深度实战:从权重衰减、Dropout 到早停、数据增强与 Stochastic Depth 的训练工程全解

系统拆解正则化的第一性原理:从经验风险到期望风险的泛化间隙、约束/惩罚优化的统一框架;深入权重衰减与 L2 的本质及 AdamW 的"解耦"陷阱(L2 被二阶动量缩放导致衰减失真),并给出"norm 层与 bias 不衰减"的生产级参数分组实现;讲清 Dropout 的反转(inverted)机制与训练/推理鸿沟(忘记 eval() 的高频事故)、Dropout 与 BatchNorm 的冲突;揭示早停与权重衰减的对偶性(早停等价于隐式 L2)与回滚最佳权重的重要性;从隐式正则视角解读数据增强(Mixup/CutMix/RandAugment)及其与标签平滑的桥接;进阶覆盖 Stochastic Depth(DropPath)、模型 EMA 与 SWA;梳理正则手段的协同与冲突(权重衰减×BN、Dropout×BN、增强×统计量、衰减×预热),给出 12 项生产陷阱清单与可复现 PyTorch 正则工具箱。与本站 RMSNorm、相对位置编码、交叉注意力、残差连接、学习率调度、梯度累积、词嵌入、激活函数、损失函数共同构成 Transformer 内部机制与训练工程深度解系列(补全泛化控制一环)。