从CNN到ViT：计算机视觉骨干网络的范式转移

视觉智能的革命历程

计算机视觉正在经历自2012年AlexNet以来最深刻的变革。卷积神经网络（CNN）统治视觉领域十余年后，视觉Transformer（ViT）以「纯注意力机制替代卷积」的激进姿态闯入，并在短短三年内刷新了几乎所有视觉任务的SOTA。这场范式转移不仅仅是模型架构的更迭，更是视觉表征学习哲学的根本转变。

CNN的归纳偏置遗产

卷积操作的核心优势在于其内建的归纳偏置：局部感受野（Locality）和平移等变性（Translation Equivariance）。这两个先验知识使CNN在小数据集上表现优异，无需大量标注数据即可学习有效特征。从AlexNet到VGG、ResNet、EfficientNet，CNN通过增加深度、宽度、分辨率不断提升性能。

然而，归纳偏置也是一把双剑。局部感受野限制了全局上下文建模能力，深层网络难以捕获长距离依赖关系。为了弥补这一缺陷，研究者提出了空洞卷积、SENet、Non-local等模块，但这些增量改进已触及CNN的能力天花板。

ViT：注意力机制的全面胜利

2020年，Google Research提出的Vision Transformer将图像切分为16×16的patch序列，直接送入标准Transformer编码器。ViT摒弃了所有视觉先验，完全依赖自注意力机制学习patch间的关系。

ViT的关键洞察是：在大规模预训练（JFT-300M）下，无归纳偏置的注意力架构反而更具表达力。自注意力天然具备全局感受野，每个patch可直接与所有其他patch交互，解决了CNN的长距离依赖难题。

但ViT也有代价：在中小数据集上训练时缺乏先验会导致收敛困难，需要更多数据和更强正则化；推理时的计算复杂度与patch数量呈二次关系，高分辨率图像上计算量爆炸。

混合架构与新一代骨干

面对ViT的局限，研究者提出了多种混合方案：CvT在卷积中引入自注意力；CoAtNet结合卷积的浅层局部建模和注意力的深层全局交互；Swin Transformer通过滑动窗口注意力和层级设计，在保持线性计算复杂度的同时实现多尺度特征。

最新进展速览

• ConvNeXt：将ResNet纯用现代训练技巧和「类Transformer」设计改造后与Swin-T性能持平
• MAE：Masked Autoencoder通过掩码自编码预训练实现高效的视觉表征学习
• DINOv2：Meta开源的自监督ViT模型，无需微调即可用于多种下游任务
• SAM：Segment Anything Model通过提示式分割实现通用视觉基础模型

实用选型建议

工业部署场景建议：移动端和边缘设备选择MobileNet-V3或EfficientNet-Lite等轻量级CNN；服务器端推理根据延迟和精度要求选择ViT变体（DeiT-S、Swin-T）；需要全局建模的任务（场景理解、长距离依赖）优先考虑视觉Transformer；小众场景建议基于预训练模型微调而非从头训练。

结语

从卷积到注意力，从归纳偏置到数据驱动，计算机视觉骨干网络的演进体现了AI领域一个永恒的主题：先验知识与数据驱动之间的张力。ViT的成功不是终点，而是通往更强大视觉基础模型的起点。