匹配正文：结论 LoRA的确定性优势是大幅减少可训练参数、参数梯度和优化器状态；它不保证单步训练一定比全量微调快。速度取决于实现、序列长度、batch、激活checkpoint和通信。三个阶段前向：对原线性层 W0x 增加低秩分支 B(Ax)。若 A∈R^(r×k)、B∈R^(d×r)，额外计算约为 O(rk+dr) 每个输入位置，不是 O(drk)。训练时A/B持续更新，不能像推理部署那样预先把 BA 永久合并进W0；额外分支可能使单步略慢。反向：W0冻结后不计算或存储其参数梯…

#LoRA#参数高效微调#训练效率

面试题·模型微调

全量微调和 LoRA 微调怎么选?

匹配正文：答案要点全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署显存先做参数状态与激活预算：7B并不直接决定必须多卡A100，LoRA也不保证24GB足够；需说明基座精度、序列、batch与分片/检查点配置。灾难性遗忘：LoRA冻结基座不等于启用adapter后通用能力不下降；两种方法都要做通用/安全回归。未合并且无其它基座改动时，可停用adapter恢复基座行为。可先用较低成本的LoRA建立实验基线；数据量与任务名称不能单独…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#入门#基础概念#LoRA微调

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配正文：…分页优化器等设计。回答单卡容量时必须写明是哪一种方案、权重精度、序列长度和激活检查点，不能把QLoRA结果套给普通LoRA。相对全量微调，LoRA的优势是减少可训练状态、便于保存和切换适配器，并在合适任务上保持竞争力；局限是低秩与模块选择可能约束更新。最终验收应同时看任务质量、训练稳定性、吞吐、峰值显存和合并后输出一致性，而不是只看参数数目。

#LoRA#参数高效微调#低秩分解

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：… SFT / LoRA / DPO，并且必须能评估收益。 LoRA 面试最常被问哪些点？常问参数高效的原理、rank 怎么选、和全量微调的差异、数据质量、过拟合、合并权重、推理部署，以及为什么这件事值得微调。 DPO 和 RLHF 怎么讲得清楚？ RLHF 是奖励模型 + 强化学习的经典链路，DPO 直接用偏好对优化策略，工程上更简单。面试里要结合数据、稳定性和适用场景讲。继续学习大模型技术栈全景：微调、推理与评估怎么学大模型系统设计和编码环节怎么准备

#专题学习#大模型微调与训练面试题大全

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…dules、rank、alpha、学习率和dropout都是实验变量；更高rank不必然适合复杂任务，解冻norm也不是通用处方。全量微调增加自由度和训练状态，可能改善，也可能过拟合或破坏通用能力，必须放在相同数据与预算下比较。架构改造只在证据指向容量或信息路径瓶颈时进行。例如长上下文失败要区分位置外推、检索遗漏和prefill成本；结构化输出失败可以先用约束解码与校验。每次实验只改有限变量，并记录目标切片、通用回归、安全与成本，避免局部指标上升却引入其他退化。最终我会选…

#模型调试#bad case分析#数据质量

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…、weight decay、dropout或数据混合。每种正则都可能导致欠拟合，需要和原配置做单变量对照。 LoRA、QLoRA或全量微调只是可训练参数组织方式，不存在一组rank、alpha、dropout和target modules能解决所有SFT过拟合。PEFT可能降低自由度，也可能因模块选择不当而欠拟合。梯度累积主要改变优化与吞吐，也不能直接保证泛化提升。我会保存多个checkpoint，在未参与调参的真实分布holdout上比较自动指标和盲评，并报告置信区间。若…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配正文：资源估算必须先固定训练方案先明确模型参数量、全量微调还是 PEFT、权重/梯度/优化器精度、序列长度、micro-batch、梯度累积、激活检查点、并行策略和目标吞吐。脱离这些条件回答“需要几张卡”没有意义。主要显存项权重、梯度、优化器状态及可能的 FP32 master weights；激活与 attention 中间量，标准稠密 attention 对序列长度含二次项；通信 buffer、临时 workspace 和框架碎片。全量 Adam 训练通常由训练状态…

#SFT#分布式训练#GPU显存计算

面试题·评估· 百度

RAG 架构怎么工作?

匹配正文：…成内容有明确来源，可事实校验知识时效性无需重训模型，更新知识库即可可溯源性输出可关联原始文档，满足合规要求成本可控相比全量微调，实施成本低主要局限检索质量瓶颈：Embedding不准、Query-doc语义Gap、切分策略不当导致信息丢失上下文限制：K值过大超出LLM窗口，K值过小覆盖不全噪声敏感：检索到无关内容会干扰生成（"Lost in the Middle"问题）复杂推理弱：需要多跳推理的问题，单轮检索难以解决一句话总结 RAG的本质是用检索的"…

#百度#评估与监控#RAG 架构

面试题·模型微调· 百度

RAG 端到端工作流程

匹配正文：…RAG 知识时效性训练数据截止，无法更新知识库实时更新，无需重训幻觉问题容易编造事实基于检索文档生成，可控可溯源成本全量微调昂贵只需更新知识库，零训练成本可解释性黑盒生成可展示引用来源，便于审计典型变体 Naive RAG：基础检索+生成 Advanced RAG：查询重写、重排序（Rerank）、混合检索（向量+关键词） Modular RAG：引入路由、多跳检索、主动选择等复杂流程

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配正文：…有截止日期，RAG可接入实时数据库幻觉问题生成有溯源依据，可标注参考来源私有数据无需训练即可利用企业内部知识成本可控比全量微调成本低得多关键优化方向混合检索：向量检索 + 关键词检索（BM25）结合查询改写：HyDE、Query Expansion提升召回率多路召回：摘要、标题、正文分别建索引

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调

LoRA 是什么?为什么能省这么多资源?

匹配正文：… B 核心假设:微调带来的权重变化量 ΔW 是"低秩"的——信息量远小于矩阵尺寸,用两个瘦长小矩阵相乘就能近似可训练参数通常只有全量微调的 0.1%~1%,梯度和优化器状态开销随之骤降训练完可把 B×A 合并回原权重,推理零额外延迟一个底座模型可配多个 LoRA"插件",按任务热插拔核心概念 LoRA 是一种参数高效微调方法:把预训练权重 W 整体冻结,在它旁边加一条"旁路"——先用小矩阵 A 把输入降到很低的维度 r,再用小矩阵 B 升回原维度,训练时只更新这两个小…

#入门#基础概念#LoRA 微调

面试题·检索· 字节

RAG 技术实现怎么落地?

匹配正文：…势 vs 局限优势知识实时更新：不用重新训练模型，增量更新知识库即可可解释性强：答案有来源引用，便于人工审核成本可控：相比全量微调，RAG实施门槛低局限检索质量决定上限（"Garbage in, garbage out"）多跳推理、跨文档关联能力弱上下文窗口限制，过多检索结果会稀释注意力演进方向 Advanced RAG：查询重写、HyDE（假设文档嵌入）、递归检索 Modular RAG：与Agent结合，动态决策何时检索、检索什么

#字节#RAG应用场景#RAG 技术实现

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配追问：如果rank已经调到很高但效果仍不好，你会考虑切换到全量微调还是尝试其他PEFT方法？在实际业务中，你如何快速判断是LoRA本身的问题还是基础模型能力瓶颈？你遇到过LoRA模块与原始模型融合后出现性能下降的情况吗，如何解决？场景切入假设你在做一个电商客服的意图分类任务，用LoRA微调一个7B模型，训完后发现准确率只比基座高了2个点，你第一反应会去查哪些地方？层层追问 LoRA微调后效果不好，一般怎么排查？……先看训练损失？……如果损失降不下去呢？……那假如损失正常但…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配追问：…指标已经 plateau，你会继续训练吗？为什么大模型训练中梯度norm突然飙升或归零，可能是什么原因，如何处理 LoRA微调和全量微调在收敛判断上有什么差异场景切入假设你正在微调一个电商客服大模型，训练过程中loss一直在降，但上线后用户反馈回答质量很差。你平时怎么判断模型真的收敛了？除了看loss，还会关注哪些信号？层层追问训练大模型时，你怎么知道它训好了？……光看loss曲线够吗？……那梯度方面呢？怎么判断有没有收敛？……如果验证集指标连续几个epoch没变，…

#模型收敛#损失曲线#早停策略

面试题·项目与经历· 字节

大模型 vs 搜推小样本特征怎么融合?

匹配口述回答：…、命中缓存和延迟预算的测量证据。小样本迁移要防止两类错误。高维不等于都有自然语言语义，用户ID不应硬翻译成文本；样本少也不能随意全量微调大模型。可以做多任务学习共享内容表示，用参数高效微调控制容量，再用校准和正则避免过拟合。冷启动内容依赖语义，活跃用户则更多利用行为序列，两类人群要分桶。训练和评测必须按时间切分，确保未来点击、未来商品状态和标签没有进入特征。离线看Recall、NDCG、AUC或校准，并报告头部、长尾、冷启动和不同内容类型；线上再看首屏延迟、吞吐、成本、点…

#特征工程#迁移学习#多模态融合

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配口述回答：…展的话，可以把用户画像[[embedding]]拼到prompt里，或者用[[LoRA]]给不同用户群体维护独立的适配器，这样不用全量微调。评估体系分三个层面。先说偏好对齐度，最直接的指标是胜率，让GPT-4或人工盲评两个回答哪个更好。再看对话质量本身，比如流畅度、多样性，用perplexity和distinct-n来监控。还要看业务指标，电商场景就看转化率和满意度，这个得在线A/B测试。这里有个关键陷阱叫奖励黑客，模型会钻Reward Model的漏洞，比如生成特别长但空…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配追问：…设我们给电商客服做智能助手，客户问题格式五花八门：有直接问退款的，也有发一段截图描述故障的。如果只用零样本，模型有时候格式乱写；但全量微调成本又高。你觉得在什么情况下，用几条示例就够了？层层追问大模型在推理时，你是怎么选择提示方式的？……比如零样本、少样本和微调，你一般怎么权衡？……那如果任务模式很特别但标注数据只有十几条，你会选哪个？为什么？直球架构请比较一下零样本、少样本和微调这三种方式在大模型推理中的适用场景、优劣势。具体说，什么时候优先用少样本而不是微调？它的…

#华为#Few-shot 提示#Zero-shot 对比

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配口述回答：…在于让模型能动态接入外部知识，不用重新训练就能更新信息，同时每句话都能溯源到原文，这对合规审计类场景特别关键。成本上也很友好，相比全量微调，RAG的边际成本低得多，适合那些频繁变动的业务知识。但局限也很明显。首个大问题是检索质量不够稳，语义匹配不等于真的相关，比如搜「苹果」可能召回水果和手机混在一起，Top-K里关键信息反而漏了。接着说上下文碎片化，长文档一[[切块]]逻辑就断了，技术文档里前后依赖的条款很容易被割裂。再补充推理能力弱，多跳推理、数值比较这些，RAG天生不擅…

#美团#RAG 局限性#RAG 优化方向

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配口述回答：…ch]]先粗筛再精排。从架构演进角度看，RAG的本质是把知识从模型参数里搬到了外部存储。传统LLM知识固化在参数里，更新一次就要全量微调，成本极高。RAG让模型能力保持稳定，知识动态更新，这对电商这种有千万级SKU、价格分钟级变动的场景特别关键。说白了，RAG实现了模型能力和知识存储的解耦。不过这里有一个值得深入的点：当检索到的知识和模型参数里记住的知识冲突时，RAG其实缺乏显式的消解机制。比如模型参数里记得某个产品是199元，但知识库里刚更新成179元，模型该信谁？这其…

#淘天#RAG信息融合#RAG与传统检索生成对比

LoRA 低秩分解 vs 全量微调怎么选?

LoRA 微调比全量微调更慢吗？

全量微调和 LoRA 微调怎么选?

LoRA 低秩分解的数学原理是什么?

大模型微调与训练面试题大全

大模型任务表现差怎么排查？

SFT 过拟合怎么判断和缓解?

SFT 硬件资源怎么配?

RAG 架构怎么工作?

RAG 端到端工作流程

RAG 技术流程怎么跑?

LoRA 是什么?为什么能省这么多资源?

RAG 技术实现怎么落地?

LoRA 微调效果差怎么排查?

模型收敛怎么判断?

大模型 vs 搜推小样本特征怎么融合?

偏好感知系统架构怎么选?

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

RAG 深度与局限怎么破?

RAG vs 传统检索生成怎么选?