深度学习

RoPE 旋转位置编码深度工程实战:从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

拆解 RoPE 旋转位置编码的数学本质(复数旋转与相对位置恒等式)与工程实现(rotate_half、fp32 相位精度、cache 复用),分析长度外推崩塌的真实机理(低频欠训练 + 高频 OOD),对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案,给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架,并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。

深度学习方法科学与认知科学指南:从理论到实践的完整框架

本文基于认知科学最新研究,系统梳理大脑学习机制,构建完整的深度学习方法框架。涵盖神经可塑性、记忆三阶段模型、认知负荷理论、测试效应、间隔重复、元认知调节、心流状态、睡眠与运动等核心主题,提供OASA学习循环和个人知识管理体系等实操工具。