深度学习

深度学习方法科学与认知科学指南:从理论到实践的完整框架

本文基于认知科学最新研究,系统梳理大脑学习机制,构建完整的深度学习方法框架。涵盖神经可塑性、记忆三阶段模型、认知负荷理论、测试效应、间隔重复、元认知调节、心流状态、睡眠与运动等核心主题,提供OASA学习循环和个人知识管理体系等实操工具。

时间序列分析深度实战:从平稳性、自相关与偏自相关到 ARIMA、季节性分解、指数平滑与卡尔曼滤波的完整工程链路

从第一性原理出发,用纯numpy从零实现时间序列分析七条主干:自相关ACF、偏自相关PACF定阶、ADF单位根平稳性检验、差分ARIMA、加法季节性分解、Holt-Winters指数平滑、卡尔曼滤波最优估计,并以非线性自回归把时间序列与RNN/Transformer/状态空间模型(SSM)打通,每段配可运行代码并附本地实跑数值。

RoPE 旋转位置编码深度工程实战:从复数旋转不变性、NTK/YaRN 长上下文外推到生产级上下文扩展

拆解 RoPE 旋转位置编码的数学本质(复数旋转与相对位置恒等式)与工程实现(rotate_half、fp32 相位精度、cache 复用),分析长度外推崩塌的真实机理(低频欠训练 + 高频 OOD),对比 PI / NTK-aware / YaRN / LongRoPE 四类修补方案,给出可运行的频率重映射代码、注意力温度补偿写法与 needle-in-haystack 评测骨架,并总结 GQA、Tensor Parallel、chunked prefill、mrope 多模态等六个生产落地陷阱。

LLM Tokenizer 深度工程实战:从 BPE 合并算法、预分词正则到压缩率与多语言词表设计的生产级全解

拆解 LLM 分词器的工程内核:BPE 合并的增量训练实现、GPT-2 预分词正则的设计动机(数字为何三位一组)、字节级回退的边界处理、tiktoken 风格并行预分词与块边界一致性、压缩率与生育率的量化评估方法,附多语言词表设计与生产坑位清单。