LoRA 低秩分解 vs 全量微调怎么选?

核心判断

LoRA冻结原权重W，把任务更新写成两个低秩矩阵的乘积BA，并用缩放系数作用到前向结果。对一个dout乘din的线性层，LoRA参数数是r乘以din加dout。以LLaMA-7B的32层、隐藏维4096为例，若每层只作用Q和V两个4096乘4096投影，参数总数是32乘2乘8192r，也就是524288r；r等于16约8.39M，r等于64约33.55M。

机制与边界

低秩假设是下游任务需要的权重变化可能集中在较低维子空间。训练时只更新A和B，减少梯度与优化器状态；推理前可把BA合并回W，因此通常不增加该线性层的串行延迟。缩放常写成alpha除以r，但初始化、dropout和目标模块会影响结果。参数量必须按实际模块尺寸计算，不能只用隐藏维乘rank漏掉两个矩阵，也不能忽略Q、V两个投影和全部层。若同时训练K、O、MLP或embedding，数量会继续增加。

LoRA不保证任何任务都等价于全参微调。rank过小、目标模块选错、领域偏移很大或数据复杂时会有容量瓶颈；rank提高会增加参数和显存，却不一定单调提高泛化。风格迁移并非LoRA天然不适用，事实上许多生成和语言适配都能学习风格；是否适合要看基座是否已有相关能力、样本覆盖、是否还需新增知识以及质量评测。多适配器服务还要考虑合并、切换、组合冲突和基座版本绑定。

工程验证

落地先列出模型配置和所有target modules，用脚本逐层求和并与框架报告的trainable params核对。固定数据与token预算，比较r为8、16、32、64以及Q/V、全attention、attention加MLP等组合，统一看目标指标、通用回归、过拟合、峰值显存和吞吐。风格任务还要做内容保持、风格一致、安全和人工盲测，不能只看训练loss。若rank更高没有稳定收益，应优先检查数据和目标模块，而不是继续扩大适配器。

参数效率和数据效率也不是同一件事。LoRA少训练参数，不代表只需更少样本；低质量或覆盖不足的数据仍会过拟合。若基座量化后训练QLoRA，还要额外验证量化误差与rank的交互。合并适配器前后应做数值一致性测试，并确认alpha、dtype和权重版本匹配，否则小配置差异也会让线上结果变化。

如果多个任务共用同一基座，还要比较单独适配器、合并适配器和动态加载的质量与延迟，并明确适配器不能跨不兼容的基座版本直接复用。