深度学习

LoRA微调实战:从零实现参数高效微调

深入解析 LoRA(Low-Rank Adaptation)的数学原理与工程实践。涵盖核心直觉、架构设计、从零实现、训练流程、QLoRA量化微调、多任务管理、DoRA改进版,以及常见问题排查与调优指南。附完整 PyTorch 代码示例,帮助读者在消费级显卡上高效微调大语言模型。

Transformer架构的演进之路:从注意力机制到通用计算引擎

系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。深入分析Flash Attention、RoPE、SwiGLU、DeepNorm等关键技术变革,并展望Transformer与SSM混合、推理时计算扩展、多模态统一等未来趋势。

时间序列分析深度实战:从平稳性、自相关与偏自相关到 ARIMA、季节性分解、指数平滑与卡尔曼滤波的完整工程链路

从第一性原理出发,用纯numpy从零实现时间序列分析七条主干:自相关ACF、偏自相关PACF定阶、ADF单位根平稳性检验、差分ARIMA、加法季节性分解、Holt-Winters指数平滑、卡尔曼滤波最优估计,并以非线性自回归把时间序列与RNN/Transformer/状态空间模型(SSM)打通,每段配可运行代码并附本地实跑数值。

拓扑学深度实战:从拓扑空间、开集闭集与连续映射到紧致性、连通性、分离公理与基本群和同伦的完整工程链路

从点集拓扑第一性原理出发,用纯Python从零实现有限拓扑引擎,覆盖开闭集/闭包/内部/边界、分离公理、连续性、紧致性(Heine-Borel)、连通性、基本群与同伦,每段配可运行代码并映射到深度学习(流形假设/损失地貌/Mode Connectivity/拓扑正则化)