AI Catch Logo
第 37 篇 · LLM基础

LoRA：低成本的模型定制

用1%的成本，实现90%的微调效果

🤔 一道算术题：微调一个大模型要花多少钱？

GPT-4有1.8万亿参数，每个参数存储需要2~4字节。全量微调意味着每次训练都要更新这1.8万亿个数字，还要保存梯度信息——显存需求是参数本身的4~8倍。

即使是"小一点"的7B模型（70亿参数），全量微调也需要约120GB显存——相当于4块A100顶级GPU同时工作，一次完整训练跑下来，光算力成本就要几千到几万美元。

这显然不是普通团队或个人开发者能承受的。LoRA的出现，彻底改变了这个局面。

什么是LoRA？

1
LoRA 是什么？

LoRA（Low-Rank Adaptation，低秩自适应）是2021年微软研究院提出的一种参数高效微调方法。

它的核心思想是：不修改原始模型参数，而是在旁边插入几个"小零件"，只训练这些小零件。

全量微调 vs LoRA 微调对比

🔨 全量微调（Full Fine-tuning）

更新模型全部参数，成本极高

100%

参数全部更新

●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●

（每个格代表一批参数，全部都要动）

🪶 LoRA 微调

冻结原始参数，只训练新增的小矩阵

0.1~1%

参数实际更新

○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
○
●
●

（灰色=冻结不动，彩色=LoRA矩阵在训练）

LoRA 的数学原理

2
LoRA 是怎么工作的？

理解LoRA不需要高深数学，只需要一个直觉：大矩阵可以用两个小矩阵的乘积来近似。

低秩分解：大矩阵 ≈ 小矩阵A × 小矩阵B

原始权重矩阵 W

0.9
0.3
-0.3
0.2
0.3
0.8
-0.4
-0.3
-0.3
0.4
0.5
-0.9
0.2
0.3
-0.3
0.5

假设是 4×4 矩阵 = 16个数字（实际可能是 4096×4096 = 1600万个数字！）

矩阵 A（下采样）

·
·
·
·
·
·
·
·

4×2 矩阵 = 8个数字

×

矩阵 B（上采样）

·
·
·
·
·
·
·
·

2×4 矩阵 = 8个数字

节省：原来需要存储 16 个数字，现在只需要 8+8=16……这个例子不对？

关键在"秩"（Rank）的选择！实际中：

原矩阵 4096×4096 = 1677万个参数

LoRA（rank=8）：4096×8 + 8×4096 = 6.5万个参数

节省了 99.6% 的存储和计算！

📐 "秩"（Rank）是什么？

秩代表矩阵的"信息复杂度"。一个 4096×4096 的权重矩阵，理论上秩最高可以是 4096。但研究发现，微调时真正需要改变的信息维度往往很低——只有 4、8、16，甚至 1。

这就是LoRA的洞察：即使模型参数矩阵很大，微调时需要的"增量"是低秩的，可以用两个小矩阵的乘积来表示。

LoRA的四个步骤

3
LoRA 训练的完整流程

LoRA 工作流程：四步完成低成本微调
1

❄️ 冻结原始模型

将预训练好的大模型权重全部"锁住"，标记为不可更新（requires_grad=False）。原来学到的知识完好保留。

2

🔧 插入 LoRA 矩阵对

在每个注意力层（Attention Layer）的权重旁，并联插入两个小矩阵：矩阵A（随机初始化）和矩阵B（全零初始化）。初始时 A×B = 0，不影响原始模型输出。

3

🏃 只训练 LoRA 矩阵

用你的专属数据（比如医疗对话、法律文书、客服记录）进行训练。梯度只流经 A 和 B，原始模型纹丝不动。计算量和显存需求大幅下降。

4

🎯 推理时合并（可选）

推理时，输出 = 原始模型输出 + ΔW（A×B）。可以把 LoRA 矩阵合并进原始权重，推理速度和原始模型完全一样，没有任何额外开销。

成本对比实测

4
成本对比：差距有多大？

同一个 7B 模型的微调成本对比（估算）

🔴 全量微调（Full Fine-tuning）

需要更新全部70亿参数

4× A100 GPU

约 120GB 显存

成本：💰💰💰💰💰（约 $1000-5000/次训练）

🟢 LoRA 微调（rank=8）

只训练约0.1%的参数

1× RTX 4090

约 24GB 显存

成本：💰（约 $10-50/次训练，个人可承受）

🔵 QLoRA（量化+LoRA）

LoRA的进阶版，用4bit量化压缩基座模型

1× RTX 3090

约 12GB 显存

成本：💰（约 $5-20/次，消费级显卡可训练 70B 模型！）

🎉 LoRA的历史意义

在LoRA出现之前，大模型微调是大公司和顶尖科研机构的专利。LoRA（及其变体QLoRA）让个人开发者用一张游戏显卡就能微调70亿参数的模型，彻底民主化了AI定制能力。

LoRA的优势与局限

5
LoRA 的优势与局限

✅ LoRA 的优势

  • ●成本极低：显存需求降低5-10倍，费用降低100倍
  • ●效果接近全量：在多数任务上，差距不超过1-2%
  • ●存储方便：只需保存小矩阵（几MB到几十MB），不用保存完整模型（几十GB）
  • ●随意切换：同一基座模型 + 不同LoRA，瞬间切换不同专业能力
  • ●减少遗忘：基座参数不动，灾难性遗忘风险更低

⚠️ LoRA 的局限

  • ●改变幅度有限：对需要大幅改变模型行为的场景效果不如全量微调
  • ●Rank选择玄学：rank太小效果不够，rank太大失去意义，需要实验调整
  • ●不适合预训练：LoRA是为微调设计的，不适合从头训练大模型
  • ●插入位置影响效果：只插入注意力层 vs 全部线性层，效果差异显著
LoRA的实际应用场景

6
LoRA 在哪里被用到？

图像生成🎨

Stable Diffusion 风格定制

你见过的那些"某某画风"的AI绘图模型，几乎都是LoRA微调的产物。只需几十张图片，几个小时训练，就能让SD生成特定艺术家风格或特定人物的图像。
垂直领域🏥

医疗/法律/金融 AI

用医疗文献、诊断记录训练LoRA，基座模型立刻变身医学顾问。因为只训练小矩阵，一个医院IT部门就能自己完成。
企业应用🏢

企业专属知识库

将内部文档、产品手册、客服记录用来训练LoRA，让通用模型变成懂企业业务的专家。LoRA文件只有几十MB，私有部署也很方便。
角色扮演🎭

AI角色/虚拟偶像

LoRA可以让模型学会特定人物的说话风格、性格特点。很多AI陪伴类产品背后就是基座模型+角色LoRA。
LoRA 家族

7
LoRA 衍生技术一览

LoRA 家族树
🌳

LoRA（2021）

原始版本，微软研究院提出，奠定低秩自适应基础

🌿

QLoRA（2023）

量化+LoRA。用4bit量化压缩基座模型，消费级GPU即可微调65B参数模型。让7B模型微调只需12GB显存。

🌿

LoRA+（2024）

改进学习率策略，给A矩阵和B矩阵设置不同学习率，训练更快更稳定。

🌿

DoRA（2024）

将权重分解为"方向"和"大小"两部分，分别进行LoRA优化，效果进一步提升。

📚 LoRA已成为参数高效微调（PEFT）领域的标准方法，被 HuggingFace、Axolotl、LLaMA-Factory 等主流框架内置支持

总结

8
核心总结

🎓 一句话总结

  • ①LoRA原理：冻结原模型，在旁边插入两个小矩阵（A和B），只训练小矩阵
  • ②节省效果：参数量降低 99%+，显存需求降低5-10倍，成本降低100倍
  • ③核心思想：微调需要改变的信息是"低秩的"，不需要动全部参数
  • ④实际价值：让个人和小团队也能定制大模型，是AI民主化的关键技术
  • ⑤生态成熟：QLoRA、LoRA+、DoRA 等变体持续迭代，已成行业标准

→
下篇预告

第38篇：上下文窗口：AI的"工作记忆"有多大？

GPT-4能处理128K Token，Claude能处理200K。上下文窗口到底是什么？它如何影响AI的能力边界？超出窗口会发生什么？

上一篇：微调下一篇：上下文窗口

✏️ 手绘图解 · AI Catch 出品

第 37 篇 / 共 84 篇