完整题目
请介绍 Generalized LoRA（GLoRA）的基本原理，它相较于传统 LoRA 有哪些改进，以及在参数高效微调中的优势和适用场景。
本文目录
先纠正方法名
主流论文中的 GLoRA 是 Generalized LoRA，出自《One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning》，不是 Grouped Low-Rank Adaptation。若题目真正想问“分组 LoRA”或自适应 rank，应改用对应方法和论文，不能借用 GLoRA 名称。
从 LoRA 到 GLoRA
标准 LoRA 冻结预训练权重 W_0，用低秩更新 ΔW=BA，前向为 W_0x+BAx，训练参数集中在 A、B。GLoRA 的关键不是把矩阵机械分组，而是提出 generalized prompt module：在统一形式中同时提供对预训练权重和中间 activation 的多种轻量适配候选，包括低秩、缩放、偏置等可重参数化分支。
不同层需要的适配形式可能不同，因此论文进一步做可扩展的 layer-wise structure search，为每层选择合适的 adapter 结构，而不是所有层共享同一个固定配方。训练完成后，能够等价合并的分支通过 structural re-parameterization 融入权重或计算图，论文目标是在部署时不增加额外推理开销。
优势与边界
GLoRA 的优势是统一多类 PEFT 设计并允许层级差异，在论文覆盖的视觉迁移、少样本、域泛化和部分语言模型实验中表现有竞争力。它的代价是搜索与训练流程比普通 LoRA 更复杂，搜索结果依模型、数据和预算；不能泛化成“相同参数量必然更好”或“多任务一定最适合”。选型应比较可训练参数、搜索成本、峰值显存、最终质量和部署图是否真正完成重参数化。