深度学习

Transformer架构的演进之路:从注意力机制到通用计算引擎

系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。深入分析Flash Attention、RoPE、SwiGLU、DeepNorm等关键技术变革,并展望Transformer与SSM混合、推理时计算扩展、多模态统一等未来趋势。

拓扑学深度实战:从拓扑空间、开集闭集与连续映射到紧致性、连通性、分离公理与基本群和同伦的完整工程链路

从点集拓扑第一性原理出发,用纯Python从零实现有限拓扑引擎,覆盖开闭集/闭包/内部/边界、分离公理、连续性、紧致性(Heine-Borel)、连通性、基本群与同伦,每段配可运行代码并映射到深度学习(流形假设/损失地貌/Mode Connectivity/拓扑正则化)

时间序列分析深度实战:从平稳性、自相关与偏自相关到 ARIMA、季节性分解、指数平滑与卡尔曼滤波的完整工程链路

从第一性原理出发,用纯numpy从零实现时间序列分析七条主干:自相关ACF、偏自相关PACF定阶、ADF单位根平稳性检验、差分ARIMA、加法季节性分解、Holt-Winters指数平滑、卡尔曼滤波最优估计,并以非线性自回归把时间序列与RNN/Transformer/状态空间模型(SSM)打通,每段配可运行代码并附本地实跑数值。