深度学习

Transformer架构的演进之路:从注意力机制到通用计算引擎

系统梳理Transformer架构从2017年诞生至今的完整演进脉络:从原始自注意力机制,到Encoder/Decoder架构分化,到MoE、线性注意力、状态空间模型等前沿方向。深入分析Flash Attention、RoPE、SwiGLU、DeepNorm等关键技术变革,并展望Transformer与SSM混合、推理时计算扩展、多模态统一等未来趋势。

LoRA微调实战:从零实现参数高效微调

深入解析 LoRA(Low-Rank Adaptation)的数学原理与工程实践。涵盖核心直觉、架构设计、从零实现、训练流程、QLoRA量化微调、多任务管理、DoRA改进版,以及常见问题排查与调优指南。附完整 PyTorch 代码示例,帮助读者在消费级显卡上高效微调大语言模型。

拓扑学深度实战:从拓扑空间、开集闭集与连续映射到紧致性、连通性、分离公理与基本群和同伦的完整工程链路

从点集拓扑第一性原理出发,用纯Python从零实现有限拓扑引擎,覆盖开闭集/闭包/内部/边界、分离公理、连续性、紧致性(Heine-Borel)、连通性、基本群与同伦,每段配可运行代码并映射到深度学习(流形假设/损失地貌/Mode Connectivity/拓扑正则化)