全量微调和 LoRA 微调怎么选?

答案要点

• 全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署
• 显存先做参数状态与激活预算：7B并不直接决定必须多卡A100，LoRA也不保证24GB足够；需说明基座精度、序列、batch与分片/检查点配置。
• 灾难性遗忘：LoRA冻结基座不等于启用adapter后通用能力不下降；两种方法都要做通用/安全回归。未合并且无其它基座改动时，可停用adapter恢复基座行为。
• 可先用较低成本的LoRA建立实验基线；数据量与任务名称不能单独决定选型，用质量、回归和资源预算比较是否需要全参。
• 给出「默认 LoRA,必要才全量」的决策框架,比背参数更加分

核心概念

全量微调(Full Fine-tuning)是指用新数据更新模型的全部参数;LoRA(Low-Rank Adaptation,低秩适配)则冻结原模型权重,只在部分权重矩阵旁边插入两个很小的低秩矩阵进行训练,训练参数量通常不到原模型的 1%。打个比方:全量微调像把整本教材重写一遍,LoRA 像在教材上贴便利贴——原文不动,只补充重点。

三个角度对比