从 2D 到 3D：视觉 Transformer 的空间理解革命与工程落地

引言

Vaswani 等人 2017 年提出的 Transformer 架构彻底革新了自然语言处理领域。自 Dosovitskiy 等人首次将纯 Transformer 架构应用于图像分类（ViT, 2020）以来，计算机视觉领域正在经历从卷积网络（CNN）向自注意力机制的结构性转型。进入 2026 年，视觉 Transformer 已从单纯的 2D 图像理解演进到具备 3D 空间感知能力的复杂系统，成为自动驾驶、机器人、增强现实和医疗影像的核心技术支柱。

1. 视觉 Transformer 架构演进

1.1 ViT 与原始自注意力

Vision Transformer 的核心创新在于将图像视为"视觉词序列"。输入图像被分割为固定大小（通常为 16×16 像素）的 patch，每个 patch 经线性投影后与位置编码拼接，输入标准 Transformer Encoder。

数学表达：给定输入图像 \(x \in \mathbb{R}^{H \times W \times C}\)，划分为 N 个 patch \(\{x_p^i\}\)，经嵌入得到序列 \(z_0 = [x_{class}; x_p^1 E; ...; x_p^N E] + E_{pos}\)，其中 \(E \in \mathbb{R}^{P^2 \cdot C \times D}\) 为 patch embedding，\(E_{pos}\) 为位置编码。

1.2 Swin Transformer：层次化特征建模

Swin Transformer 的核心贡献在于引入滑动窗口自注意力（Shifted Window Attention）和层次化特征图。这种方法将全局自注意力的计算复杂度从 \(O(N^2)\) 降为线性 \(O(N)\)，同时通过跨窗口连接保持全局建模能力。

其层级结构（Stage 1→4，分辨率从 H/4×W/4 到 H/32×W/32）天然适配密集预测任务（检测、分割），使其成为当前视觉 Backbone 的主流选择。

1.3 HorNet 与 DaViT：大感受野建模

受 S4 和 State Space Model 启发，HorNet 引入循环门控操作器（Recursive Gated Convolution, n-阶门控卷积）实现大感受野的全局建模，在大物体检测和全景分割任务上超越了 Swin Transformer。DaViT（Dual Attention ViT）则通过空间-通道双注意力分离建模，提升了细粒度特征的判别能力。

2. 从 2D 到 3D：空间理解的技术跃迁

2.1 多视角 3D 重建

MVS（Multi-Stereo Vision）利用多视角图像的几何约束重建 3D 场景。基于 Transformer 的 MVS 方法（如 TransMVSNet、MVT）通过可变形注意力在不同视角间匹配特征点，显著提高了遮挡区域和弱纹理区域的重建精度。

2.2 点云 Transformer

Point Transformer 系列将自注意力直接应用于无序点云数据。Point Transformer v2 提出 Vector Self-Attention，将注意力的交互建模为特征向量的加权求和，在 3D 室内场景分割任务上超越了基于 PointNet++ 的方法。

最新研究 Point Transformer v3 引入了序列化点云建模，将 3D 点云投影为一维序列后用因果自注意力处理，大幅提升了大规模室外场景（nuScenes、Waymo）的处理效率。

2.3 占据网格预测 (Occupancy Networks)

占据网格（Occupancy Grid）是自动驾驶 3D 场景理解的新范式。不同于边界框检测，占据网格直接预测每个体素（voxel）是否被物体"占据"，并对物体类别进行分类。Tesla AI Day 2024 公开的 Occupancy Networks 方案展示了这一范式的工程可行性。

基于 Transformer 的占据网格预测通过鸟瞰视角（BEV）特征建模实现：多视角图像特征经 2D→3D 视角转换（如 LSS 或 Transformer-based View Transformer）投射到 3D 空间，通过 3D 自注意力进行空间特征聚合，最终输出每个 3D 体素的占据状态。

3. 大模型时代的视觉理解

3.1 SAM 系列与视觉分割基础模型

Meta AI 的 SAM (Segment Anything Model) 是视觉领域的 GPT-3 时刻。SAM 在包含 1100 万张图片、10 亿掩码的大规模数据集 SA-1B 上训练，具备零样本分割能力。SAM 2 扩展了视频实时分割能力，SAM 3 则通过引入语义层级实现了基于语言的可泛化分割。

SAM 架构的核心创新：

• Image Encoder：基于 ViT-H/16，在 16×16 patch 上构建全局图像嵌入
• Prompt Encoder：支持点、框、文本和掩码多模态提示的稀疏嵌入生成
• Mask Decoder：基于 Transformer 的双向注意力机制融合图像嵌入和提示嵌入，输出精确分割掩码

3.2 LLaVA InternVL：视觉大语言模型

Vision-Language Model（VLM）将视觉编码器与 LLM 结合，实现图像的自然语言理解。LLaVA 通过简单的线性投影对齐视觉特征和语言嵌入，以指令微调实现多模态对话。InternVL 则通过级联 ViT（6B 参数视觉编码器 + 语言模型）在文档理解、图表推理等任务上达到接近 GPT-4V 的性能。

4. 工程落地挑战与优化策略

4.1 推理加速

视觉 Transformer 在部署时面临计算和内存挑战：

• 结构化剪枝：移除冗余的注意头（如 60% 的注意头可移除），计算量减少 40%
• 知识蒸馏：用大型 ViT 指导 CNN 小模型，保留 95% 精度并加速 3-5 倍
• 量化部署：FP16/INT8 量化在 TensorRT/ONNX Runtime 支持下，吞吐提升 2-4 倍
• Token 剪枝：通过 Token Merging（如 ToMe）将中间层 token 减少 50%，显著降低自注意力计算量

4.2 训练数据策略

大规模视觉模型训练的核心瓶颈在于数据：

• 合成数据：通过程序化生成（Procedural Generation）创建标注准确的合成训练数据
• 自监督学习：MAE（Masked Autoencoders）、DINOv2 等自监督方法减少对人工标注的依赖
• 跨模态对齐：利用图像-文本对（如 LAION）学习视觉概念的自然语言描述

5. 前沿方向与展望

视觉 Transformer 的未来发展聚焦于三个方向：

• 原生 3D 架构：超越"2D 特征映射到 3D"的范式，直接处理点云、网格、神经辐射场的纯 3D Transformer 架构正在兴起
• 时空建模：4D（3D + 时间）Transformer 在自动驾驶轨迹预测和视频理解中展示潜力
• 具身智能：视觉 Transformer 作为机器人感知模块，与强化学习结合实现通用的物体操作能力

从 ViT 的 patch 嵌入到占据网格的 3D 空间推理，视觉 Transformer 在短短六年内完成了从"语言架构的图像借用"到"空间智能基础设施"的转变。随着原生多模态模型（如 Gemini、GPT-5）进一步统一视觉与语言理解，视觉 Transformer 将继续作为连接物理世界与数字认知的关键桥梁。