搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「IA³」找到 1 条内容
匹配正文：…它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量乘性向量，对注意力和前馈中的激活进行缩放，参数形式与LoRA不同。它可能非常节省参数，但没有普遍证据说明训练一定更稳定或所有任务质量相同。是否能合并、推理成本如何，也需结合具体框架和模型结构。 DoRA把预训练权重的幅度与方向分开，并对方向使用低秩更新，目标是改善LoRA的学习能力。原论文报告了多项实验优势，但这不等于同参数量、同任务…
学习内容与项目面试，在同一条路上。