从零微调你的第一个大语言模型:LoRA 与 QLoRA 在消费级显卡上的完整实践指南 从 LoRA 的低秩分解数学原理到 QLoRA 的 4-bit 量化技术,手把手教你用 RTX 3060/4060 微调 7B 大模型。包含完整 Python 代码、显存优化技巧与生产级 vLLM 部署方案。 GPU并行计算 2026年09月19日 0 点赞 0 评论 62 浏览
大模型蒸馏与小型化深度工程实战:从 Logit、中间特征对齐到合成数据流水线的生产级全解 拆解大模型蒸馏的四类知识表示(Logit/特征/关系/偏好)、温度与梯度 T^2 刻度的真实数学、中间层维度不匹配的投影对齐与关系蒸馏、在线自蒸馏的算力权衡,以及决定蒸馏上限的合成数据流水线:种子分层、拒绝采样验证器、MinHash 去重、难度课程化与评测去污染,附 PyTorch 可运行代码与生产陷阱清单。 推理部署 2026年10月01日 0 点赞 0 评论 76 浏览