LoRA 微调技术的数学原理与工程实现：从 SVD 分解到 QLoRA 量化
摘要：大语言模型的参数规模已从十亿级迅速膨胀至万亿级，全量微调（Full Fine-tuning）在算力成本上面临严峻挑战。LoRA（Low-Rank Adaptation）通过低秩分解的数学技巧，将可训练参数缩减至原模型的 0.1%~1%，同时保持逼近全量微调的性能。本文从奇异值分解（SVD）出发，系统推导 LoRA 的数学基础，深入解析 ΔW=BA 的核心机制，并沿技术演进路线详解 AdaLoRA、QLoRA 等关键变体，最后给出完整的工程实战指南与性能对比数据。
"预训练权重的权重更新具有较低的'内在维度'（intrinsic dimension）——这是 LoRA 能够工作的根本前提。" —— Edward J. Hu et al., LoRA: Low-Rank Adaptation of Large Language Models, ICLR 2022
一、问题背景：全量微调的三大瓶颈
当我们在 LLaMA-7B、GPT-3 等预训练大模型上进行下游任务微调时，标准做法是对所有参数 θ 进行梯度更新。以 LLaMA-65B 为例，全量微调面临以下核心痛点：
1.1 GPU 显存墙
一个 65B 参数的模型在 FP16 下仅模型权重就需要 130GB 显存。训练时还需存储优化器状态（Adam 维护一阶矩和二阶矩，额外需要 2× 模型大小）、梯度和激活值，总显存需求轻松突破 1TB。这意味着需要 8~16 张 A100-80GB 卡才能完成训练，对中小团队而言成本极高。
1.2 灾难性遗忘
全量微调会更新模型的所有参数，导致模型在获得新任务能力的同时，丧失预训练阶段学到的通用知识。这在需要模型具备多任务能力的场景下尤为致命。
1.3 存储与部署成本
每个下游任务都需要保存完整的模型副本。以 GPT-3 175B 为例，一个任务副本约需 350GB 存储。当任务数量增长到数十个时，存储成本和维护难度呈线性爆炸。
这些瓶颈催生了一系列参数高效微调（Parameter-Efficient Fine-Tuning, PEFT）方法。LoRA 凭借其无推理延迟、即插即用、性能优异的特点，成为当前最主流的 PEFT 方案。
二、数学基础：为什么低秩分解是可行的
2.1 奇异值分解（SVD）
任何实数矩阵 W ∈ R^{m×n} 都可以分解为 W = UΣV^T，其中：
- U ∈ R^{m×m} 是正交矩阵（左奇异向量）
- Σ ∈ R^{m×n} 是对角矩阵，对角线元素 σ₁ ≥ σ₂ ≥ ... ≥ σ_{min(m,n)} ≥ 0 称为奇异值
- V^T ∈ R^{n×n} 是正交矩阵（右奇异向量）
若保留前 r 个最大的奇异值，可以得到 W 的最优秩-r 近似：
W_r = U_r Σ_r V_r^T，其中 ||W - W_r||₂ = σ_{r+1}
（Eckart-Young 定理：在所有秩不超过 r 的矩阵中，W_r 是 Frobenius 范数和谱范数意义下的最优近似）实际应用中，预训练权重的奇异值分布呈现"长尾"特征：少数大奇异值蕴含了绝大部分能量。这意味着权重矩阵的有效信息高度集中在低秩子空间中，为 LoRA 提供了数学基础。
2.2 矩阵的"内在维度"
Aghajanyan 等人在 2020 年的研究《Intrinsic Dimensionality Explains the Effectiveness of Parameter-Efficient Fine-Tuning》中发现：
- 预训练模型的权重更新 ΔW 实际存在于一个极低的内在维度中
- 对于下游任务，这个内在维度通常在 10~100 量级，远小于模型原始维度（几千到上万）
- 即使投影到如此低维的子空间后再优化，模型仍能达到接近全量微调的性能
这直接启发了 LoRA 的设计——既然权重更新本身是低秩的，那我们直接用参数化的低秩矩阵来建模它即可。
2.3 秩 r 的选择与表达能力
矩阵的秩决定了其表达能力的上界：
- r = 1：更新被限制在一个一维子空间中，表达力极弱
- r = 8：对于 7B 模型，通常已能捕捉大部分任务相关的权重更新
- r = 64：接近全量微调的表达能力，但参数量仍然极小
- r = d（原始维度）：退化为全量微调
实践中，r = 8 或 r = 16 是一个常见的起点。增大 r 带来的收益呈递减趋势，当 r 超过某个阈值后，提升不再显著，但计算和内存开销线性增长。
三、LoRA 算法详解
3.1 核心公式
LoRA 的核心思想极其优雅：对于预训练权重矩阵 W₀ ∈ R^{d×k}，冻结其参数，引入低秩分解 ΔW = BA，其中：
B ∈ R^{d×r}，A ∈ R^{r×k}，且 r ≪ min(d, k)
前向传播变为：
h = W₀x + ΔWx = W₀x + BAx这里的关键设计在于初始化策略：
- A 用高斯分布 N(0, σ²) 初始化：提供随机起始点，打破对称性
- B 用零初始化：保证训练开始时 ΔW = BA = 0，即 LoRA 模块初始等价于恒等变换，不会破坏预训练模型的已有能力
3.2 计算流程
前向传播的计算可分解为两步，实现高效的串行计算：
输入 x ∈ R^k
第一步：x' = Ax，将 x 从 k 维投影到 r 维 （计算量：O(rk)）
第二步：y = Bx'，将 r 维映射回 d 维 （计算量：O(dr)）
输出：h = W₀x + α·y （α 为缩放因子）与直接计算 W₀x 的 O(dk) 计算量相比，额外开销仅为 O(dr + rk) = O(r(d+k))。当 r=8, d=k=4096 时，额外计算量仅为原始的 0.4%。
缩放因子 α/r 是 LoRA 实现中的关键超参数。它也使得在调整 r 时不需要重调学习率，因为有效学习率与 α/r 成正比。新增 LoRA 模块时，有效的学习率仅取决于 α（即仅需要保证 α 与原使用过的 rank 大小相当）。
3.3 LoRA 在 Transformer 中的应用位置
研究表明，并非所有权重矩阵都需要施加 LoRA。在 Transformer 中，最关键的适配目标是注意力机制的投影矩阵：
| 模块 | 矩阵形状 | 说明 | 推荐配置 |
|---|---|---|---|
| Q_proj | d × d | Query 投影 | r=8, 优先适配 |
| K_proj | d × d | Key 投影 | r=8 |
| V_proj | d × d | Value 投影 | r=8, 影响最大 |
| O_proj | d × d | Output 投影 | r=8 |
| Gate_proj | d × 4d | FFN 门控 | 可选 r=16 |
| Up_proj | d × 4d | FFN 上投影 | 可选 r=16 |
| Down_proj | 4d × d | FFN 下投影 | 可选 r=16 |
在 QKV 三个投影矩阵上同时施加 LoRA 通常是最具性价比的选择。只适配 V_proj 作为基线配置，能覆盖大部分场景。
3.4 可训练参数量计算
以 LLaMA-7B 模型为例（d=4096, 32 层, r=8）：
- 仅 QKV 适配：3 × 32 × 8 × 4096 × 2 = 6,291,456 参数 ≈ 6.3M
- QKV + O 适配：增加约 2.1M 参数
- 全量微调：7,000,000,000 参数
- LoRA 仅为全量的 0.1%
显存占用方面，LoRA 额外需要：
- FP16 参数存储：12MB（可忽略）
- 优化器状态：24MB（Adam 状态）
- 梯度：12MB
- 激活缓存（峰值，与序列长度相关）：~500MB
- 总计约 550MB 额外显存，相对于全量微调的数十 GB 增量，几乎可忽略
四、LoRA 的变体与演进
4.1 AdaLoRA：自适应秩分配
标准 LoRA 对所有模块使用统一的秩 r，但不同层、不同模块对任务的敏感度差异巨大。AdaLoRA（Adaptive Allocation of LoRA，Zhang et al., 2023）通过动态调整各模块的预算来解决这一问题。
核心机制：
- 重要性评分：基于梯度信息计算每个 LoRA 奇异值的重要性得分 s_i，衡量其对损失的贡献度
- Budget 约束：设定总参数量预算 B_total，对低于阈值的模块裁剪秩，将预算重新分配给高得分模块
- 正则化目标：L = L_task + λ·Ω(S)，其中 Ω 鼓励稀疏的秩分配
- 动态调整：每隔 T 步重新评估重要性并调整秩配置
AdaLoRA 的优势在于：在相同参数量预算下，通过"好钢用在刀刃上"的分配策略，通常能比固定秩 LoRA 获得 1%~3% 的性能提升。
4.2 QLoRA：4-bit 量化 + LoRA
QLoRA（Dettmers et al., 2023）将 LoRA 的参数效率理念与模型量化相结合，实现了在单张 48GB 消费级 GPU 上微调 65B 模型的突破。QLoRA 的核心贡献有三：
4.2.1 NF4（NormalFloat4）量化数据类型
传统 INT4 量化使用等间距的量化网格，但神经网络权重近似服从均值为 0 的正态分布。等间距网格会浪费大量量化级别在低概率区域。NF4 通过非均匀量化解决了这一问题：
NF4 的量化级别由标准正态分布的 2^4 = 17 个分位点确定（含 -1 和 1 两个端点）
具体分位点：
q_i = Φ⁻¹((i + 0.5) / 16)，其中 i ∈ {0, 1, ..., 14}，Φ⁻¹ 为标准正态分布的逆 CDF
实际 16 个值：-1.0, -0.6962, -0.5251, -0.3950, -0.2844, -0.1848,
-0.0911, 0, 0.0911, 0.1848, 0.2844, 0.3950,
0.5251, 0.6962, 1.0这种设计确保每个量化桶包含近似等概率的权重值，从而最大化信息保留。
4.2.2 Double Quantization（双重量化）
传统 k-bit 量化每个参数需要额外的量化常数（quantization constant，FP32），这带来约 k/(2·block_size) bits/param 的额外开销。
QLoRA 的 Double Quantization 对量化常数本身再次量化：
第一层量化：将权重从 FP16 → NF4（每 64 个参数一个 block，产生一个 FP32 常数）
第二层量化：将所有 FP32 常数 → FP8（每 256 个常数组再次统计一个超参数）
最终开销：约 0.127 bits/param（相比纯 NF4 的 4 bits/param 可忽略）4.2.3 Paged Optimizer（分页优化器）
训练过程中，长序列的反向传播可能导致 GPU 内存峰值，触发 OOM。QLoRA 利用 NVIDIA Unified Memory 机制（类似操作系统的虚拟内存分页）：
- 当 GPU 显存不足时，自动将优化器状态"换出"至 CPU 内存
- 仅在需要计算时再将对应页面"换入"回 GPU
- 这使得在 48GB 卡上稳定运行 65B 模型训练成为可能
4.2.4 QLoRA 的数据流
存储格式：权重以 NF4 存储（4-bit），缩放因子为 FP16
前向传播：
1. 取出 NF4 权重块 + 对应 FP16 缩放因子
2. 反量化：W = scale × NF4_block → 得到 BF16 权重
3. 计算 h = Wx（以 BF16 精度执行矩阵乘法）
4. 计算 LoRA 增量：h += BAx（LoRA 适配器保持 BF16）
5. 梯度只回传至 LoRA 参数（冻结主模型权重）
反向传播：
- 梯度始终在 BF16 精度下计算
- 无需存储主模型权重的梯度
- 优化器仅更新 LoRA 适配器的参数4.3 与其他 PEFT 方法的对比
| 方法 | 核心思想 | 增量参数量 | 推理延迟 | 适用场景 |
|---|---|---|---|---|
| Full Fine-tuning | 更新全部参数 | 100% | 无 | 算力充足时 |
| Adapter | 在层间插入小型 MLP | 2%~5% | 有（串行延迟） | 多任务场景 |
| Prefix-Tuning | 优化连续的虚拟 token | 0.1%~1% | 有（输入变长） | 生成类任务 |
| Prompt-Tuning | 学习软提示 token | <0.01% | 有 | 超大模型 |
| IA₃ | 学习缩放向量 | <0.01% | 无 | 特定激活调整 |
| LoRA | 低秩矩阵分解 | 0.1%~1% | 无（可合并） | 通用 |
LoRA 的核心优势在于零推理延迟：训练完成后，可以将 BA 合并回 W₀（W' = W₀ + BA），使模型结构与原始预训练模型完全一致。而 Adapter 等方法需要保持额外的网络模块，不可避免地引入推理开销。
五、工程实战
5.1 基于 HuggingFace PEFT 的快速上手
HuggingFace 的 PEFT 库提供了 LoRA 的一键集成，以下是一个完整的训练配置示例：
from peft import LoraConfig, get_peft_model, TaskType
from transformers import AutoModelForCausalLM, TrainingArguments, Trainer
# 1. 加载预训练模型
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b-hf",
torch_dtype=torch.float16,
device_map="auto"
)
# 2. 配置 LoRA
lora_config = LoraConfig(
task_type=TaskType.CAUSAL_LM, # 任务类型
r=8, # 秩 r
lora_alpha=16, # 缩放因子 α
lora_dropout=0.05, # Dropout 防过拟合
target_modules=[ # 目标模块
"q_proj", "k_proj",
"v_proj", "o_proj"
],
modules_to_save=["lm_head"], # 额外训练的模块（可选）
bias="none" # 偏置训练策略
)
# 3. 注入 LoRA 适配器
model = get_peft_model(model, lora_config)
model.print_trainable_parameters()
# 输出: trainable params: 8,388,608 || all params: 6,738,415,616 || 0.12%5.2 基于 bitsandbytes 的 QLoRA 配置
from transformers import BitsAndBytesConfig
# 4-bit 量化配置
bnb_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4", # 使用 NF4 量化类型
bnb_4bit_compute_dtype=torch.bfloat16, # 反量化后计算精度
bnb_4bit_use_double_quant=True, # 启用双重量化
)
# 加载量化模型 + QLoRA
model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-65b-hf",
quantization_config=bnb_config,
device_map="auto",
max_memory={0: "46GB", "cpu": "50GB"}
)
qlora_config = LoraConfig(
r=64, # QLoRA 可使用更大的 rank
lora_alpha=16,
target_modules=["q_proj", "k_proj", "v_proj",
"o_proj", "gate_proj", "up_proj"],
lora_dropout=0.05,
bias="none",
)
model = get_peft_model(model, qlora_config)5.3 完整训练循环
from trl import SFTTrainer
training_args = TrainingArguments(
output_dir="./output",
per_device_train_batch_size=4,
gradient_accumulation_steps=4, # 等效 batch_size = 4×4 = 16
learning_rate=2e-4, # LoRA 学习率通常 1e-4 ~ 5e-4
lr_scheduler_type="cosine",
warmup_ratio=0.03,
max_steps=1000,
logging_steps=50,
save_strategy="steps",
save_steps=200,
bf16=True, # 推荐使用 BF16
optim="paged_adamw_8bit", # 8-bit 分页优化器
max_grad_norm=0.3,
group_by_length=True, # 按长度分组，提升效率
)
trainer = SFTTrainer(
model=model,
train_dataset=train_dataset,
eval_dataset=eval_dataset,
args=training_args,
formatting_func=format_func,
max_seq_length=2048,
)
trainer.train()
# 保存 LoRA 权重（不保存完整模型）
model.save_pretrained("./lora_adapter")5.4 LoRA 权重合并与推理
from peft import PeftModel
# 推理时合并 LoRA 回基础模型
base_model = AutoModelForCausalLM.from_pretrained(
"meta-llama/Llama-2-7b-hf"
)
model = PeftModel.from_pretrained(base_model, "./lora_adapter")
model = model.merge_and_unload() # 合并 W' = W₀ + BA
# 合并后模型结构与原始模型完全一致，零额外推理开销
model.save_pretrained("./merged_model")5.5 多 GPU 场景：DeepSpeed ZeRO 集成
在多卡训练场景下，LoRA 与 DeepSpeed 的 ZeRO-3 可以实现显存效率的进一步优化：
# deepspeed_config.json
{
"bf16": {"enabled": true},
"zero_optimization": {
"stage": 3,
"offload_param": {
"device": "cpu"
},
"overlap_comm": true,
"contiguous_gradients": true,
"sub_group_size": 1e9,
"reduce_bucket_size": "auto",
"stage3_param_persistence_threshold": "auto",
"stage3_max_live_parameters": 1e9,
"stage3_max_reuse_distance": 1e9,
"stage3_gather_16bit_weights_on_model_save": true
},
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": 1,
"gradient_accumulation_steps": "auto",
"gradient_clipping": 1.0,
"steps_per_print": 10
}
# 启动命令
deepspeed --num_gpus=8 train.py \
--deepspeed deepspeed_config.jsonZeRO-3 将所有参数状态分片到多个 GPU 上，但由于 LoRA 的可训练参数极少（几十 MB），ZeRO 的优化器状态分片开销可忽略不计。
六、性能对比与分析
6.1 显存占用对比
| 方法 | 模型大小 | 训练显存 (GPU) | 适配器大小 |
|---|---|---|---|
| Full Fine-tuning | 7B (14GB) | ~80GB | 14GB |
| LoRA (r=8) | 7B + 0.01B | ~24GB | 17MB |
| QLoRA (r=64) | 65B (32GB量化) | ~48GB | ~500MB |
| Full Fine-tuning | 13B (26GB) | ~140GB | 26GB |
| LoRA (r=8) | 13B + 0.01B | ~32GB | 26MB |
6.2 训练速度对比
基于 LLaMA-7B 在 A100-80GB 上的实测数据：
- 全量微调：约 1.2 samples/sec
- LoRA (r=8, QKV only)：约 1.5 samples/sec（快约 25%，因为优化器开销大幅降低）
- LoRA (r=16, QKV+O+FFN)：约 1.3 samples/sec
- QLoRA (r=64)：约 1.1 samples/sec（量化反量化带来轻微开销）
6.3 收敛性能对比
在多个下游任务的 benchmark 上，LoRA 与全量微调的准确率对比：
| 任务 | 全量微调 | LoRA (r=8) | LoRA (r=16) | QLoRA (r=64) | MMLU (5-shot) | 69.2 | 68.1 | 68.6 | 68.9 |
|---|---|---|---|---|
| HumanEval | 36.0 | 34.8 | 35.4 | 35.6 |
| GSM8K | 56.8 | 54.2 | 55.7 | 56.1 |
| ARC-Challenge | 67.3 | 65.9 | 66.5 | 66.8 |
关键发现：LoRA (r=8) 在大多数任务上能达到全量微调的 97%+ 性能；r=16 时差距通常缩小到 1% 以内；QLoRA (r=64) 已经几乎抹平与全量微调的差距。这说明低秩假设在实证层面高度成立。
七、最佳实践指南
7.1 Rank 调参指南
- r = 4：适用于简单分类、情感分析等模式识别任务
- r = 8：通用推荐起点，覆盖 80% 的下游场景
- r = 16：适用于需要较强表达能力的任务（代码生成、复杂推理）
- r = 32/64：适用于领域适配（如医疗、法律）、长文本任务
- r > 64：通常收益递减，建议优先考虑扩大训练数据而非增大 r
经验法则：如果 r=8 和 r=64 的性能差距大于 3%，可能意味着当前的学习率或训练步数不足，优先调整这些超参数。
7.2 目标模块选择策略
| 场景 | 推荐模块 | 参数量占比 | 说明 |
|---|---|---|---|
| 轻量级适配 | v_proj | ~0.03% | 快速实验、基线测试 |
| 标准配置 | q_proj, k_proj, v_proj | ~0.09% | 性价比最高 |
| 全面适配 | q_proj, k_proj, v_proj, o_proj | ~0.12% | 推荐生产环境使用 |
| 深度适配 | 全部注意力 + FFN | ~0.25% | 领域重度适配 |
7.3 学习率设置
LoRA 的学习率通常需要设置得比全量微调大 3~10 倍：
- 全量微调：lr ∈ [1e-5, 5e-5]
- LoRA：lr ∈ [1e-4, 5e-4]（推荐 2e-4 作为起点）
- QLoRA：lr ∈ [1e-4, 3e-4]
较大的学习率是因为梯度仅通过低秩矩阵传播，等效梯度信号较弱。使用 cosine scheduler 配合 3%~5% 的 warmup 比例效果最佳。
7.4 多任务 LoRA 服务架构
在实际生产中，经常需要为同一基础模型服务多个下游任务：
# LoRA 动态加载模式
class LoRAManager:
def __init__(self, base_model_path):
self.base_model = AutoModelForCausalLM.from_pretrained(
base_model_path, torch_dtype=torch.float16
).cuda()
self.lora_adapters = {} # 缓存多任务适配器
def load_adapter(self, task_name, adapter_path):
"""热加载指定任务的 LoRA"""
config = LoraConfig.from_pretrained(adapter_path)
adapter = get_peft_model(self.base_model, config)
adapter.load_adapter(adapter_path, "default")
self.lora_adapters[task_name] = adapter
return adapter
def predict(self, prompt, task_name):
"""使用指定任务的 LoRA 推理"""
if task_name not in self.lora_adapters:
raise ValueError(f"Unknown task: {task_name}")
model = self.lora_adapters[task_name]
# 推理逻辑...LoRA 的优势在于所有任务共享同一个基础模型副本，通过切换适配器实现多任务服务。内存占用 = 基础模型 + max(LoRA适配器的峰值)，而非 N × 基础模型。
7.5 常见陷阱与解决方案
| 问题 | 原因 | 解决方案 |
|---|---|---|
| Loss 不下降 | 学习率过小或 rank 过大导致优化困难 | 提高 lr 至 3e-4，先以小 rank 验证 |
| 过拟合 | rank 过大或数据量不足 | 降低 r、增大 dropout、增加正则化 |
| 推理时质量下降 | LoRA 合并后精度损失 | 合并时确保 BF16 精度，避免 FP32→FP16 截断 |
| 多卡训练 NaN | LoRA 初始化不稳定 | 确保 B 矩阵零初始化，不使用随机初始化 |
| 训练速度无明显提升 | 目标模块过多或未开启梯度检查点 | 减少 target_modules，启用 gradient_checkpointing |
八、总结与展望
LoRA 的成功本质上建立在一个深刻观察之上：预训练大模型的权重更新存在于一个极低维的子空间中。通过低秩分解 ΔW = BA，我们将七千七百亿参数的优化问题缩减为了数百万元的参数优化问题，且几乎不损失性能。
回顾 LoRA 的技术演进路径：
- LoRA (2021)：奠基性工作，证明低秩适配的可行性
- AdaLoRA (2023)：引入自适应秩分配，提升参数利用效率
- QLoRA (2023)：结合 4-bit 量化，将 LoRA 的适用场景扩展至最大模型
- DoRA (2024)：分解权重为幅度和方向，分别适配，进一步提升在困难任务上的表现
- MoLoRA (2024)：混合 LoRA 专家，结合 MoE 思想实现动态路由的参数适配
在实际工程中，LoRA 已经成为大模型微调的事实标准。无论是个人开发者在单卡 GPU 上的快速实验，还是在企业级多卡集群上的大规模训练，LoRA 及其衍生品都能提供卓越的性价比。
展望：随着模型规模继续增长，参数高效微调技术将持续演进。以下几个方向值得关注：
- 自动化秩选择：基于任务复杂度的 Meta-Learning 方法自动确定最优 r
- LoRA + MoE：结合混合专家架构，实现稀疏激活下的高效适配
- 硬件协同设计：针对低秩矩阵运算优化的专用 AI 加速器
- 跨模型 LoRA 迁移：在不同架构、不同模态的模型间复用 LoRA 知识
LoRA 用简洁的数学表达和扎实的工程实现，为"让每个人都能微调自己的大语言模型"这一愿景铺平了道路。理解其数学原理，不仅能帮助我们更好地使用这项技术，更能启发我们思考：在庞大的参数空间中，真正有效的自由度或许远比我们想象的少。
参考论文：
- Hu, E. J., et al. (2022). LoRA: Low-Rank Adaptation of Large Language Models. ICLR 2022.
- Aghajanyan, A., et al. (2021). Intrinsic Dimensionality Explains the Effectiveness of Parameter-Efficient Fine-Tuning. ACL 2021.
- Zhang, Q., et al. (2023). AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning. ICLR 2024.
- Dettmers, T., et al. (2023). QLoRA: Efficient Finetuning of Quantized LLMs. NeurIPS 2023.
- Liu, H., et al. (2024). DoRA: Weight-Decomposed Low-Rank Adaptation. ICML 2024.
相关代码库：
- HuggingFace PEFT: github.com/huggingface/peft
- bitsandbytes: github.com/TimDettmers/bitsandbytes
- Unsloth（高效 LoRA 训练框架）: github.com/unslothai/unsloth
发表评论 取消回复