Transformer量化压缩技术全景：从GPTQ到AWQ的演进之路

引言

随着大语言模型从研究走向生产部署，模型体积与推理效率已成为核心瓶颈。以Llama-2-70B为例，FP16精度下需要约140GB显存，远超单张A100 80GB的容量。量化压缩技术——将模型权重从高精度（FP16/BF16）压缩到低精度（INT8/INT4/FP8）——成为解决这一问题的关键手段。本文系统回顾当前主流的Transformer量化压缩技术路线，深入分析其数学原理、实现策略与工程权衡。

为什么需要量化：从显存墙到计算墙

理解量化的必要性，需要从现代硬件的Roofline模型说起。在NVIDIA A100上：FP16算力为312 TFLOPS，显存带宽为2TB/s，计算强度（Arithmetic Intensity）约为156 FLOP/byte。而INT8算力为624 TFLOPS（2x），但内存带宽不变。这意味着：

• Prefill阶段：计算密集（compute-bound），INT8可提升约1.5-2x吞吐
• Decoding阶段：带宽密集（memory-bound），INT8可提升约1.2-1.6x吞吐
• 显存占用减半：70B模型从140GB→70GB（FP16→INT8）或35GB（FP16→INT4）

然而，简单的后训练量化（Post-Training Quantization, PTQ）在低比特（≤4bit）时会产生显著精度损失，需要更精细的方法。

基础概念：均匀仿射量化

工业界最广泛使用的量化格式是均匀仿射量化（Affine Quantization），其核心公式为：

x_q = clamp(round(x / scale) - zero_point, q_min, q_max)

其中scale（缩放因子）和zero_point（零点）是两个关键超参数。对于INT8，q_min=-128, q_max=127；对于对称量化（Symmetric Quantization），zero_point=0，简化为：

x_q = round(x / scale), scale = max(abs(x)) / 127

按粒度可分为：Per-tensor（整个矩阵共享scale）、Per-channel（每行/每列独立scale）、Per-group（分组scale，group size通常为128）。

GPTQ：基于Hessian的逐层最优量化

GPTQ（Generative Pre-trained Transformer Quantization）由Frantar等人于2022年提出，是第一个在大型Transformer模型上实现高质量4-bit量化的方法。

核心思想

GPTQ将量化问题建模为逐层的最优近似问题。对于每一层权重矩阵W，寻找量化后的W_q最小化重构误差：

argmin_{W_q} ||WX - W_q X||²₂

近似方法：Optimal Brain Quantization (OBQ)

GPTQ基于OBQ框架，但通过以下关键改进使其适用于大模型：

1. 逐权重逐次量化：每次量化一个权重w_q，基于已量化权重带来的误差调整未量化权重
2. Cholesky重参数化：避免直接计算完整的Hessian逆矩阵，将复杂度从O(n³)降至O(n²)
3. 批量更新：每次批量量化一组权重（group size=128），进一步提升效率

数学推导

单个权重的闭式最优更新公式为：

w_q* = round(w_q / s), δ = (w_q - w_q*) / [H^{-1}]_{qq}

未量化权重的补偿更新为：W_u ← W_u + δ · H^{-1}_{:,q}

整体算法流程：对每一层，从第一列到最后逐列执行OBQ+批量更新，最终得到INT4量化权重。

实践效果

在OPT-175B和BLOOM-176B上，GPTQ实现了4-bit量化，perplexity增加不到1%，速度相比FP16提升约3-4x。

AWQ：激活感知的权重量化

AWQ（Activation-aware Weight Quantization）由Lin等人于2023年提出，其核心观察是：并非所有权重同等重要——对应大激活值的权重通道对模型性能影响更大。

等价变换视角

AWQ引入了一个关键创新：通过等价通道缩放（Equivalent Channel Scaling），在量化前重新分配各通道的scale。

对于线性层Y = XW，对第i列权重乘以一个缩放因子s_i，同时对第i行输入除以s_i：

Y = X · diag(1/s) · diag(s) · W

这在数学上完全等价，但量化diag(s)·W时，等价于对W的感知误差发生了变化。

搜索最优缩放因子

AWQ通过分析激活值的统计特性来寻找最优缩放：

• 大激活值对应的权重通道应分配更小的量化误差（即更多精度）
• s_i ∝ mean(|X_i|)^{α}，其中α通过网格搜索确定（通常α∈[0,1]）
• 不需要校准数据的梯度，仅需前向传播的激活统计

与GPTQ的关系

AWQ通常与GPTQ结合使用（AWQ-GPTQ）：先用AWQ确定各通道的缩放策略，再用GPTQ进行实际量化。在许多benchmark上，AWQ-GPTQ比单独的GPTQ提升0.3-0.8%的准确率。

SmoothQuant：激活与权重的双重优化

SmoothQuant由Xiao等人（MIT/HuggingFace）于2022年提出，针对一个关键问题：INT8量化在激活端容易因outlier导致严重精度损失。

核心问题

在大语言模型中，激活值存在显著的通道级outlier（某些通道的幅值远超其他通道），直接进行INT8量化会使这些outlier主导scale，导致正常值精度不足。

数学原理

SmoothQuant通过数学等价变换，将激活端的outlier"平滑"到权重端：

Y = XW = (X·diag(s)^{-1}) · (diag(s)·W) · diag(s) · diag(s)^{-1}

选择合适的s使得X/s和s·W都更容易量化。最优s满足：

s_j = max(|X_j|)^β / max(|W_j|)^{1-β}

典型β=0.5将难度均分到两端。

关键优势

• 同时量化权重和激活为INT8，实现端到端INT8推理
• 无需逐token量化，scale可离线预计算
• 在OPT-66B上实现几乎无损的INT8量化，相比FP16仅增加0.1% perplexity

FP8量化：硬件原生支持的新范式

NVIDIA H100/H200原生支持FP8（E5M2/E4M3），开启了量化新方向。FP8在保持浮点表达力的同时，达到接近INT8的压缩率。

与INT8的对比

• 动态范围：FP8 E4M3范围±448，远大于INT8的±127
• outlier友好：浮点格式天然适合处理异常值
• 无需复杂搜索：scale选择比INT8简单，通常per-tensor或per-channel即可

FP8 W8A8实战

目前主流框架（TensorRT-LLM、vLLM）已支持FP8推理，在H100上实现接近2x的吞吐提升。混合精度策略（权重FP8 + 激活FP8 + 部分关键层保留FP16）成为最佳实践。

其他前沿方法

QLoRA与量化微调

QLoRA（Dettmers et al., 2023）将4-bit量化与低秩适配器结合：使用NF4（Normal Float 4）格式量化基座模型，结合LoRA进行微调。这使65B模型可在48GB GPU上微调，极大降低了大模型微调门槛。

BitNet：1-bit Transformer

微软的BitNet实现了极端三元量化（-1, 0, +1），通过自定义CUDA kernel（INT8MM）实现高效推理。虽然精度仍有差距，但展示了极限压缩的可能性。

稀疏性与量化的结合

权重剪枝（SparseGPT）与量化的结合可实现联合压缩：先稀疏化50%权重，再对剩余权重进行4-bit量化，总压缩率可达16x。

工程实践指南

如何选择量化方案

常见陷阱与规避

• 校准数据代表性：PTQ依赖校准数据，应选择与目标域匹配的512-1024个样本
• 层敏感度差异：第一层/最后一层、注意力层的output projection通常对量化敏感，建议保留FP16
• KV Cache量化：KV缓存通常需要INT8或更高精度，4-bit KV Cache会显著损害长序列质量
• Group Size选择：group_size=128是精度与压缩率的平衡点；64或32可提升精度但增加开销

总结与展望

Transformer量化技术已从简单的后训练PTQ演进为系统化的工程学科：GPTQ解决了大规模OBQ的可扩展性问题，AWQ从激活感知角度优化量化分配，SmoothQuant创新性地将激活outlier平滑到权重端，FP8则为Hopper架构提供了原生支持的方向。

未来的关键趋势包括：量化感知训练（QAT）在推理优化中的回归、混合精度自动搜索（AutoQuant）、稀疏与量化的联合优化，以及针对MoE模型的分层量化策略。随着模型规模持续增长，量化压缩已从"可选项"变为"必选项"，是每一位AI工程师必须掌握的核心能力。