LoRA 有哪些局限性?

LoRA冻结原权重，用低秩BA表示权重增量。它的优势是可训练参数少、适配器易保存和切换；局限是更新被约束在选定rank与target modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。

Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。

IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量相同。是否能合并、推理成本如何，也需结合具体框架和模型结构。

DoRA把预训练权重的幅度与方向分开，并对方向使用低秩更新，目标是改善LoRA的学习能力。原论文报告了多项实验优势，但这不等于同参数量、同任务和所有rank下都必胜。实现还要考虑归一化、额外幅度参数、合并和训练成本。

LoRA加Adapter等混合方案增加自由度，也增加搜索空间、状态管理和部署复杂度，不能直接称为性能上限更高。多任务或持续学习还要看适配器隔离、共享和遗忘，而不是只比单个任务峰值。

我的对照会固定基础模型、数据、token预算、优化器和评测，给每种方法明确可训练参数、target位置、峰值显存、吞吐和合并方式，并做rank与学习率搜索。结果同时看目标任务、通用回归和稳定性。选型依据是当前约束下的质量成本前沿，不是方法标签。

部署多任务adapter时还要看并发与状态管理。可合并权重的方法适合固定任务，动态切换则需要加载、缓存和路由；插入式模块可能改变执行图。若一种方法离线分数略高却增加大量服务复杂度，未必是最佳选择。PEFT的高效应同时包含训练和上线成本。

论文对比还要复现各自推荐实现，而不是给所有方法套同一学习率后宣布胜负。训练失败可能来自实现和调参预算不足。报告中应区分原论文结果与本项目复现，并保存代码、依赖和随机种子，让所谓稳定性差异可以被再次检验。