Transformer架构变体深度解析：从Attention到MoE与Mamba的演进之路

从Attention到Transformer：架构演进之路

Transformer架构自2017年Vaswani等人发表《Attention Is All You Need》以来，已经成为深度学习乃至人工智能领域最具影响力的架构创新。其核心创新是完全基于自注意力机制（Self-Attention），摒弃了传统的RNN序贯处理和CNN局部感受野，实现了全局并行计算和长距离依赖建模。

Multi-Head Attention与并行计算

自注意力的核心是Query-Key-Value（QKV）计算：Attention(Q,K,V) = softmax(QKᵀ/√dₖ)V。Multi-Head Attention允许模型同时关注不同子空间的多维度语义关系，如局部短语、全局语义、指代关系等。每个Head将d_model维分割为h个d_k维子空间，并行计算注意力后拼接。√dₖ缩放因子防止点积结果过大导致softmax梯度消失。

三大Transformer架构变体

Encoder-only（BERT类）：仅使用编码器，通过掩码语言模型（MLM）和下一句预测（NSP）预训练。擅长文本理解任务，如分类、命名实体识别、语义检索。RoBERTa去除了NSP任务，优化了训练方案。ALBERT通过参数共享大幅压缩模型规模。

Decoder-only（GPT类）：仅使用解码器，自回归地逐token生成。因果注意力掩码确保位置i的预测只能关注到i之前的位置。GPT-3展示了大规模涌现能力（In-Context Learning），_instruction微调_和对齐（RLHF/PPO）使模型行为可控。

Encoder-Decoder（T5/BART类）：完整架构，适合文本生成类任务。T5将各种NLP任务统一为text-to-text格式。BART通过噪声文本重构预训练，擅长摘要和翻译。

位置编码的演进

Transformer本身不具备位置感知能力。原始方案使用正弦/余弦绝对位置编码。

相对位置编码：Transformer-XL引入位置间的相对距离，Shaw等人将其纳入注意力计算。

RoPE（旋转位置编码）：LLaMA采用，通过旋转矩阵编码相对位置信息，支持长度外推。

ALiBi：在注意力分数上添加线性偏置惩罚远处token，天然支持外推，无需修改即可处理更长序列。

高效Transformer变体

稀疏注意力：Longformer使用滑动窗口+全局注意力、BigBird引入随机注意力，将复杂度从O(n²)降至O(n)。

线性注意力：Linear Attention通过将softmax核函数线性化实现O(n)复杂度，Performer使用随机特征映射近似标准注意力。

Mamba/SSM：状态空间模型（如Mamba、RWKV）用选择性状态空间替代注意力，推理时线性复杂度，训练时高度并行。Mamba2进一步改进，在语言建模和长序列任务上逼近Transformer性能。

MoE与模型规模化

Mixture of Experts（MoE）架构将前馈层替换为稀疏路由的多个专家网络。实际只激活少量专家，相当于大幅增加参数量但不同比例增加计算量。Switch Transformer展示了训练1.6T参数MoE模型的能力。Mixtral 8x7B使用了8个专家中激活2个的策略。DeepSeek-V2/V3引入共享专家+路由专家的策略，提高训练稳定性。

2024-2026 Transformer新趋势

架构演进仍在快速推进：MLA（Multi-head Latent Attention，DeepSeek-V2）压缩KV缓存内存；RWKV-6融合RNN和Transformer优势；Jamba结合Transformer和Mamba层；Mamba-2引入状态空间对偶性理论。同时，长上下文窗口、多模态统一、推理效率提升仍是Transformer变体的核心驱动力。