LoRA 微调效果差怎么排查?

LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。

实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtype下训练。先用很小数据过拟合测试验证链路。

rank决定更新子空间容量，alpha参与增量缩放，它们与学习率和初始化耦合。样本少不等于必然使用某个rank，复杂任务也不等于更新一定高秩。更大rank可能增加表达力，也会增加参数和过拟合风险。较好的方法是选几个rank和缩放配置，在相同训练预算下看验证曲线。

target modules往往比单独调rank更关键。只改注意力投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。

若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。

最终会同时比较prompt基线、LoRA候选、必要时的全量或其他PEFT方案，报告任务质量、通用回归、训练成本和推理部署复杂度。若增加参数没有稳定收益，就回到数据或系统；若失败集中在特定能力，再针对信息路径调整。优化方案由消融证据决定。

从曲线也能区分容量与过拟合。训练和验证都差，可能是模块没命中、学习率不合适或容量不足；训练很好而验证差，更像数据覆盖或过拟合；训练不稳则先查精度和缩放。这个诊断只提供方向，仍要用单变量实验验证，不能看到一种形态就直接指定rank。

序列拼接与loss mask也会影响LoRA结果。若只对回答区训练，却错误屏蔽关键token，或长样本被系统性截断，调rank无法补救。按长度分桶检查有效监督token和截断率，再与全量微调使用相同预处理，才能公平比较参数化方案。