匹配正文：…用隐藏维乘rank漏掉两个矩阵，也不能忽略Q、V两个投影和全部层。若同时训练K、O、MLP或embedding，数量会继续增加。 LoRA不保证任何任务都等价于全参微调。rank过小、目标模块选错、领域偏移很大或数据复杂时会有容量瓶颈；rank提高会增加参数和显存，却不一定单调提高泛化。风格迁移并非LoRA天然不适用，事实上许多生成和语言适配都能学习风格；是否适合要看基座是否已有相关能力、样本覆盖、是否还需新增知识以及质量评测。多适配器服务还要考虑合并、切换、组合冲突和基座版…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtyp…

#LoRA#参数高效微调#故障排查

面试题·推理优化· 百度

LoRA 微调比全量微调更慢吗？

匹配正文：结论 LoRA的确定性优势是大幅减少可训练参数、参数梯度和优化器状态；它不保证单步训练一定比全量微调快。速度取决于实现、序列长度、batch、激活checkpoint和通信。三个阶段前向：对原线性层 W0x 增加低秩分支 B(Ax)。若 A∈R^(r×k)、B∈R^(d×r)，额外计算约为 O(rk+dr) 每个输入位置，不是 O(drk)。训练时A/B持续更新，不能像推理部署那样预先把 BA 永久合并进W0；额外分支可能使单步略慢。反向：W0冻结后不计算或存储其参数梯…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#LoRA#参数高效微调#训练效率

面试题·模型微调

全量微调和 LoRA 微调怎么选?

匹配正文：答案要点全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署显存先做参数状态与激活预算：7B并不直接决定必须多卡A100，LoRA也不保证24GB足够；需说明基座精度、序列、batch与分片/检查点配置。灾难性遗忘：LoRA冻结基座不等于启用adapter后通用能力不下降；两种方法都要做通用/安全回归。未合并且无其它基座改动时，可停用adapter恢复基座行为。可先用较低成本的LoRA建立实验基线；数据量与任务名称不能单独…

#入门#基础概念#LoRA微调

项目实战·模型微调

大模型微调实战

匹配正文：从数据构造到 LoRA 训练:数据格式、显存估计、灾难性遗忘、token-参数拐点、效果评估本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。不调 API，亲手把一个基座模型「调」成你领域里的专家微调几乎是每个大模型岗都会被问到的硬通货:面试官想确认的不是你会不会喊 LoRA，而是你有没有真正趟过「数据怎么造、显存怎么算、训练崩了怎么救、效果怎么量化」这条完整链路。这部分计划从「要不要微调」这个判断开始，继续讨论数据…

#项目实战#大模型微调实战

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：应用岗不一定天天训练模型，但一定会被问到什么时候该微调、和 RAG / Prompt 怎么取舍、LoRA 怎么做、DPO 和 RLHF 有什么区别。这一页把微调、训练、对齐三类题连成一条线。配套教程要不要做微调 / Post-Train 项目，轻量版怎么做 Deep Research 第 6 章：训练数据与多阶段训练知识模块轻量微调、LoRA 与应用场景轻量微调、LoRA 与应用场景训练流程、数据与稳定性训练流程、数据与稳定性 RLHF、DPO 与偏好对齐 RL…

#专题学习#大模型微调与训练面试题大全

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配题目：尽管LoRA在参数高效微调中表现优异，但它仍存在哪些局限性？请结合现有研究（如Adapter、IA³、DoRA等）讨论其潜在缺陷及近年来的主要改进方向。

#LoRA#参数高效微调#Adapter

面试题·模型训练· 安克科技

大模型微调方法怎么选?

匹配正文：用真实证据填写微调实践回答只应使用候选人真正运行过的实验，可按以下结构组织：任务与基线：模型【名称/版本】、任务【】、基线指标【口径】、硬件和预算【】。方法选择：全参数微调、LoRA 或 Adapter 中实际使用的是【】。说明选择依据是可训练参数、显存、数据量、质量和部署方式，而不是给出通用优劣。数据：来源与许可【】、去重与清洗【】、训练/验证/测试按【用户/时间/实体】切分、泄漏检查【】、版本【】。训练配置：框架与版本【】、精度【】、学习率与调度【】、batch…

#LoRA#全参数微调#数据工程

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配正文：LoRA从一个冻结线性层开始。若原权重W形状为输出维乘输入维，微调时不直接更新W，而是学习两个低秩矩阵A和B，使前向使用W加上缩放后的BA。中间秩r远小于输入和输出维时，可训练参数从输入维乘输出维，变成r乘输入维与输出维之和。节省多少必须按被注入的矩阵逐项计算。只给attention的部分投影加LoRA，与给所有线性层加LoRA，可训练参数和效果都不同。训练显存还包含冻结权重、激活、梯度、优化器状态和临时工作区，所以不能把可训练参数比例直接等同于端到端显存节省，更不能报无配…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 得物

全参数 vs 参数高效微调怎么选?

匹配正文：核心判断全参数微调更新全部权重，容量最大但训练状态昂贵；PEFT只训练小部分新增或选定参数，常见有Adapter、Prefix Tuning、Prompt Tuning、LoRA，QLoRA还让梯度穿过冻结的4bit基座训练LoRA。选择要看数据规模、任务偏移、部署方式和质量门槛。7B模型做混合精度Adam时，光两个FP32一阶、二阶矩状态就约560亿字节，也就是56GB，不是14GB。机制与边界完整显存账本不能只算优化器。7B权重若以BF16或FP16保存约14GB，…

#全参数微调#LoRA#Prompt Tuning

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配正文：先纠正方法名主流论文中的 GLoRA 是 Generalized LoRA，出自《One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning》，不是 Grouped Low-Rank Adaptation。若题目真正想问“分组 LoRA”或自适应 rank，应改用对应方法和论文，不能借用 GLoRA 名称。从 LoRA 到 GLoRA 标准 LoRA 冻结预训练权重 W_0，用低秩更新 ΔW=BA，前…

#PEFT#LoRA#低秩适配

面试题·模型微调

LoRA 是什么?为什么能省这么多资源?

匹配正文：答案要点 LoRA(Low-Rank Adaptation,低秩适配)= 冻结原模型全部权重,只训练旁路上两个小矩阵 A 和 B 核心假设:微调带来的权重变化量 ΔW 是"低秩"的——信息量远小于矩阵尺寸,用两个瘦长小矩阵相乘就能近似可训练参数通常只有全量微调的 0.1%~1%,梯度和优化器状态开销随之骤降训练完可把 B×A 合并回原权重,推理零额外延迟一个底座模型可配多个 LoRA"插件",按任务热插拔核心概念 LoRA 是一种参数高效微调方法:把预训练权重 W 整…

#入门#基础概念#LoRA 微调

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…库、文档处理、评估章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法/研究生…

#求职#职业转型

求职指南·求职

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：对多数转应用开发岗的人,微调不是必做项。面试更常考的是"你知不知道什么时候该微调、和 RAG/Prompt 怎么取舍",而不是你手搓过多复杂的训练。真要做,做一个目标清晰、有评估、能说清收益的轻量 LoRA/SFT 就够了,不必一上来啃工业级 Post-Train。这一页帮你判断该不该碰微调,以及如果要做,轻量版的最小证据链长什么样。作者:吴师兄 | 适合:纠结要不要做微调项目、把 LoRA/SFT 写进简历的转行者 | 前置:知道 RAG/Agent 是什么,看过技术栈全…

#求职#职业转型

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…pK 怎么定" 项目里怎么体现讲你加没加重排、召回从多少提到多少(经验值)、为什么选这个重排方案刷题去重排与优化题库。模型微调(47 题):验证你懂不懂什么时候该微调微调题量不大、门槛偏高,偏算法/研究生侧选修。面试官考它主要看两点:你分不分得清"该 RAG 还是该微调",以及懂不懂 SFT/LoRA/DPO 的基本取舍,而不是要你现场推公式。维度内容面试官在验证什么你能否判断微调 vs RAG 的适用边界、理解 SFT/LoRA/DPO 各解决什么、数据怎…

#求职#职业转型

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配正文：…定义模式，无需几百条标注数据做SFT 需求变化快/多租户场景：不同客户（运营商A/B/C）有各自格式规范，用动态示例切换比维护多个LoRA权重更灵活冷启动阶段：快速验证PMF，避免重训成本三方案对比决策：维度 Zero-shot Few-shot Fine-tuning 数据需求无 5-20条数百-数千条成本最低（推理）低（推理+示例token）高（训练+部署）效果天花板受基座能力限制中（模式迁移）高（深度适配）时效性即时即时小时-天级核心…

#华为#Few-shot 提示#Zero-shot 对比

面试题·RAG

RAG 和微调怎么选？

匹配正文：…诀要补的是知识（事实、文档、制度、产品信息）→ 优先 RAG 要教的是能力和风格（固定输出格式、行业话术、特定任务套路）→ 考虑微调实际项目里两者并不对立，常见打法是组合拳：RAG 管知识来源，微调管表达方式和任务能力对入门者的建议是：九成的“让模型懂业务”需求，先用 RAG 验证效果，不够再考虑微调。入门之后，可以深入了解 LoRA 等低成本微调方法，以及 RAG 与微调结合落地的真实案例。

#入门#基础概念#RAG和微调的区别

面试题·模型微调

什么是微调(SFT)?和预训练有什么区别?

匹配正文：…。另一个共识是质量远比数量重要:几千条精标数据往往胜过几十万条脏数据。入门后可以继续追:SFT 之后的 RLHF/DPO 对齐、微调导致的灾难性遗忘,以及 LoRA 等参数高效微调方法。

#入门#基础概念#SFT 微调

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…效训练步数、调整学习率、weight decay、dropout或数据混合。每种正则都可能导致欠拟合，需要和原配置做单变量对照。 LoRA、QLoRA或全量微调只是可训练参数组织方式，不存在一组rank、alpha、dropout和target modules能解决所有SFT过拟合。PEFT可能降低自由度，也可能因模块选择不当而欠拟合。梯度累积主要改变优化与吞吐，也不能直接保证泛化提升。我会保存多个checkpoint，在未参与调参的真实分布holdout上比较自动指标和盲…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 美团

训练曲线异常怎么排查？

匹配正文：…大更新，但裁剪上限没有通用值。若大量step持续触发裁剪，可能在掩盖学习率、损失尺度或数据问题；若从不触发，也不代表训练必然健康。LoRA的学习率同样依rank、缩放、batch、模型和数据而定，不能从一个固定起点机械搜索。 learning rate曲线要和warmup、decay及恢复checkpoint一起看。warmup阶段loss波动与主训练阶段含义不同；scheduler意外重置会让曲线和更新同时异常。任何诊断都应把实际optimizer state、loss s…

#训练监控#学习率调度#梯度裁剪

面试题·模型训练· 网易

SFT 后置信度下降原因

匹配口述回答：看到 SFT 后概率从集中变平，我不会先下结论说模型退化。置信度、准确率和校准是三件事。模型以前可能过度自信，微调后概率下降但更接近真实正确率，这反而是校准改善。第一步应在同一验证集同时比较 accuracy 或 F1、negative log-likelihood、Brier score、ECE 和 reliability diagram，并按类别、数据域和时间切片。数据层先看类别先验是否变化。预训练或原分类阶段可能某些类别占比高，SFT 数据更均衡、更模糊，或包含更多边…

#模型校准#温度缩放#标签平滑

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配正文：资源估算必须先固定训练方案先明确模型参数量、全量微调还是 PEFT、权重/梯度/优化器精度、序列长度、micro-batch、梯度累积、激活检查点、并行策略和目标吞吐。脱离这些条件回答“需要几张卡”没有意义。主要显存项权重、梯度、优化器状态及可能的 FP32 master weights；激活与 attention 中间量，标准稠密 attention 对序列长度含二次项；通信 buffer、临时 workspace 和框架碎片。全量 Adam 训练通常由训练状态…

#SFT#分布式训练#GPU显存计算

面试题·模型微调· 美团

RAG检索偏差怎么缓解?

匹配正文：…个视角（时间敏感型、通用型），分别检索后聚合例："附近好吃的" → 扩展为"2024新店推荐"+"高评分老店" 3. 自适应向量微调收集新文档的点击/转化反馈，用对比学习微调embedding模型（LoRA轻量更新）关键：混合采样新旧数据，防止灾难性遗忘 4. 分布感知的重排序训练阶段引入领域标签，推理时检测query分布，动态调整检索策略监控新文档的检索占比，低于阈值时触发告警落地关键监控看板：新文档命中率、头部结果多样性指标 A/B实验：灰度验证策略效果，避…

#美团#模型微调#RAG检索偏差

面试题·模型微调· 美团

RAG 为何比 SFT 更优?

匹配正文：…AG将知识外置到可动态更新的检索库，实现非参数化知识扩展。 RAG vs SFT：三维度对比 1. 知识更新 SFT：需重新训练/LoRA微调，周期长，难以追平实时信息 RAG：更新文档库即可，分钟级生效，适合新闻、股价、政策等动态场景 2. 事实准确性 SFT：依赖训练数据覆盖，长尾事实易遗漏或混淆 RAG：检索结果作为上下文约束生成，可溯源验证，降低幻觉 3. 推理能力 SFT：复杂推理需内化到参数，需大量高质量标注数据 RAG：检索提供中间证据（如多跳推理的桥梁文档），…

#美团#RAG vs SFT#RAG