LoRA 有哪些局限性?

LoRA冻结原权重，用低秩BA表示权重增量。它的优势是可训练参数少、适配器易保存和切换；局限是更新被约束在选定rank与target modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。

Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。

IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量相同。是否能合并、推理成本如何，也需结合具体框架和模型结构。

DoRA把预训练权重的幅度与方向分开，并对方向使用低秩更新，目标是改善LoRA的学习能力。原论文报告了多项实验优势，但这不等于同参数量、同任务和所有rank下都必胜。实现还要考虑归一化、额外幅度参数、合并和训练成本。

LoRA加Adapter等混合方案增加自由度，也增加搜索空间、状态管理和部署复杂度，不能直接称为性能上限更高。多任务或持续学习还要看适配器隔离、共享和遗忘，而不是只比单个任务峰值。

我的对照会固定基础模型、数据、token预算、优化器和评测，给每种方法明确可训练参数、target位置、峰值显存、吞吐和合并方式，并做rank与学习率搜索。结果同时看目标任务、通用回归和稳定性。选型依据是当前约束下的质量成本前沿，不是方法标签。