LoRA 微调效果差怎么排查?

LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。

实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtype下训练。先用很小数据过拟合测试验证链路。

rank决定更新子空间容量，alpha参与增量缩放，它们与学习率和初始化耦合。样本少不等于必然使用某个rank，复杂任务也不等于更新一定高秩。更大rank可能增加表达力，也会增加参数和过拟合风险。较好的方法是选几个rank和缩放配置，在相同训练预算下看验证曲线。

target modules往往比单独调rank更关键。只改注意力投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。

若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。

最终会同时比较prompt基线、LoRA候选、必要时的全量或其他PEFT方案，报告任务质量、通用回归、训练成本和推理部署复杂度。若增加参数没有稳定收益，就回到数据或系统；若失败集中在特定能力，再针对信息路径调整。优化方案由消融证据决定。