匹配正文：核心判断 LoRA冻结原权重W，把任务更新写成两个低秩矩阵的乘积BA，并用缩放系数作用到前向结果。对一个dout乘din的线性层，LoRA参数数是r乘以din加dout。以LLaMA-7B的32层、隐藏维4096为例，若每层只作用Q和V两个4096乘4096投影，参数总数是32乘2乘8192r，也就是524288r；r等于16约8.39M，r等于64约33.55M。机制与边界低秩假设是下游任务需要的权重变化可能集中在较低维子空间。训练时只更新A和B，减少梯度与优化器状态；…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtyp…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 得物

LoRA 有哪些局限性?

匹配正文：LoRA冻结原权重，用低秩BA表示权重增量。它的优势是可训练参数少、适配器易保存和切换；局限是更新被约束在选定rank与target modules中，最优配置对模型和任务敏感。复杂任务不等于真实更新必然高秩，只有消融才能判断容量是否不足。 Adapter通常在Transformer层中插入带瓶颈的可训练模块，引入额外前向层和非线性；它便于模块化组合，但部署延迟、存储和多任务切换取决于实现。不能因为非线性更强就断言效果上限必然高，也要按相同参数与训练预算比较。 IA3学习少量…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#LoRA#参数高效微调#Adapter

面试题·模型训练· 百度

LoRA 低秩分解的数学原理是什么?

匹配正文：LoRA从一个冻结线性层开始。若原权重W形状为输出维乘输入维，微调时不直接更新W，而是学习两个低秩矩阵A和B，使前向使用W加上缩放后的BA。中间秩r远小于输入和输出维时，可训练参数从输入维乘输出维，变成r乘输入维与输出维之和。节省多少必须按被注入的矩阵逐项计算。只给attention的部分投影加LoRA，与给所有线性层加LoRA，可训练参数和效果都不同。训练显存还包含冻结权重、激活、梯度、优化器状态和临时工作区，所以不能把可训练参数比例直接等同于端到端显存节省，更不能报无配…

#LoRA#参数高效微调#低秩分解

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配正文：先纠正方法名主流论文中的 GLoRA 是 Generalized LoRA，出自《One-for-All: Generalized LoRA for Parameter-Efficient Fine-tuning》，不是 Grouped Low-Rank Adaptation。若题目真正想问“分组 LoRA”或自适应 rank，应改用对应方法和论文，不能借用 GLoRA 名称。从 LoRA 到 GLoRA 标准 LoRA 冻结预训练权重 W_0，用低秩更新 ΔW=BA，前…

#PEFT#LoRA#低秩适配

面试题·推理优化· 百度

LoRA 微调比全量微调更慢吗？

匹配正文：结论 LoRA的确定性优势是大幅减少可训练参数、参数梯度和优化器状态；它不保证单步训练一定比全量微调快。速度取决于实现、序列长度、batch、激活checkpoint和通信。三个阶段前向：对原线性层 W0x 增加低秩分支 B(Ax)。若 A∈R^(r×k)、B∈R^(d×r)，额外计算约为 O(rk+dr) 每个输入位置，不是 O(drk)。训练时A/B持续更新，不能像推理部署那样预先把 BA 永久合并进W0；额外分支可能使单步略慢。反向：W0冻结后不计算或存储其参数梯…

#LoRA#参数高效微调#训练效率

面试题·模型微调

LoRA 是什么?为什么能省这么多资源?

匹配正文：答案要点 LoRA(Low-Rank Adaptation,低秩适配)= 冻结原模型全部权重,只训练旁路上两个小矩阵 A 和 B 核心假设:微调带来的权重变化量 ΔW 是"低秩"的——信息量远小于矩阵尺寸,用两个瘦长小矩阵相乘就能近似可训练参数通常只有全量微调的 0.1%~1%,梯度和优化器状态开销随之骤降训练完可把 B×A 合并回原权重,推理零额外延迟一个底座模型可配多个 LoRA"插件",按任务热插拔核心概念 LoRA 是一种参数高效微调方法:把预训练权重 W 整…

#入门#基础概念#LoRA 微调

面试题·模型微调

全量微调和 LoRA 微调怎么选?

匹配正文：答案要点全量微调更新模型全部参数,效果上限高但成本极高;LoRA 只训练少量新增的低秩矩阵,成本低、易部署显存先做参数状态与激活预算：7B并不直接决定必须多卡A100，LoRA也不保证24GB足够；需说明基座精度、序列、batch与分片/检查点配置。灾难性遗忘：LoRA冻结基座不等于启用adapter后通用能力不下降；两种方法都要做通用/安全回归。未合并且无其它基座改动时，可停用adapter恢复基座行为。可先用较低成本的LoRA建立实验基线；数据量与任务名称不能单独…

#入门#基础概念#LoRA微调

项目实战·模型微调

大模型微调实战

匹配正文：从数据构造到 LoRA 训练:数据格式、显存估计、灾难性遗忘、token-参数拐点、效果评估本页介绍训练营项目的学习方向；完整教程与代码暂未公开。请先阅读下方对应公开教程，再按需要咨询课程安排。不调 API，亲手把一个基座模型「调」成你领域里的专家微调几乎是每个大模型岗都会被问到的硬通货:面试官想确认的不是你会不会喊 LoRA，而是你有没有真正趟过「数据怎么造、显存怎么算、训练崩了怎么救、效果怎么量化」这条完整链路。这部分计划从「要不要微调」这个判断开始，继续讨论数据…

#项目实战#大模型微调实战

系统教程·模型微调

大模型微调与训练面试题大全

匹配正文：应用岗不一定天天训练模型，但一定会被问到什么时候该微调、和 RAG / Prompt 怎么取舍、LoRA 怎么做、DPO 和 RLHF 有什么区别。这一页把微调、训练、对齐三类题连成一条线。配套教程要不要做微调 / Post-Train 项目，轻量版怎么做 Deep Research 第 6 章：训练数据与多阶段训练知识模块轻量微调、LoRA 与应用场景轻量微调、LoRA 与应用场景训练流程、数据与稳定性训练流程、数据与稳定性 RLHF、DPO 与偏好对齐 RL…

#专题学习#大模型微调与训练面试题大全

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…效训练步数、调整学习率、weight decay、dropout或数据混合。每种正则都可能导致欠拟合，需要和原配置做单变量对照。 LoRA、QLoRA或全量微调只是可训练参数组织方式，不存在一组rank、alpha、dropout和target modules能解决所有SFT过拟合。PEFT可能降低自由度，也可能因模块选择不当而欠拟合。梯度累积主要改变优化与吞吐，也不能直接保证泛化提升。我会保存多个checkpoint，在未参与调参的真实分布holdout上比较自动指标和盲…

#过拟合识别#训练监控#正则化策略

面试题·模型训练· 安克科技

大模型微调方法怎么选?

匹配正文：…过的实验，可按以下结构组织：任务与基线：模型【名称/版本】、任务【】、基线指标【口径】、硬件和预算【】。方法选择：全参数微调、LoRA 或 Adapter 中实际使用的是【】。说明选择依据是可训练参数、显存、数据量、质量和部署方式，而不是给出通用优劣。数据：来源与许可【】、去重与清洗【】、训练/验证/测试按【用户/时间/实体】切分、泄漏检查【】、版本【】。训练配置：框架与版本【】、精度【】、学习率与调度【】、batch/累积【】、LoRA 目标层与 rank【如实际使…

#LoRA#全参数微调#数据工程

面试题·模型训练· 得物

全参数 vs 参数高效微调怎么选?

匹配正文：…但训练状态昂贵；PEFT只训练小部分新增或选定参数，常见有Adapter、Prefix Tuning、Prompt Tuning、LoRA，QLoRA还让梯度穿过冻结的4bit基座训练LoRA。选择要看数据规模、任务偏移、部署方式和质量门槛。7B模型做混合精度Adam时，光两个FP32一阶、二阶矩状态就约560亿字节，也就是56GB，不是14GB。机制与边界完整显存账本不能只算优化器。7B权重若以BF16或FP16保存约14GB，梯度再约14GB；常见混合精度实现还可能保…

#全参数微调#LoRA#Prompt Tuning

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…乱调、循环失控、成本爆炸 ReAct、状态机、工具 schema、终止条件领域客服助手语气和流程不稳定,模板约束不够 SFT/LoRA 的适用边界、数据构造高并发推理服务延迟高、显存吃紧、成本不可控 KV Cache、批处理、vLLM/SGLang 基本概念结果质量评估只能靠肉眼看,无法迭代 LLM-as-Judge、离线评估、错误分类也就是说,正确路线不是“应用岗不用懂算法”,而是“先用应用场景建立问题感,再补和场景有关的模型知识”。你会在真实问题里知道为什么…

#求职#职业转型

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…e、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构应用算法/微调让模型更适合某个场景数据构造、SFT/LoRA、评估、偏好数据、实验对比算法、研究生、做过训练或评估的人模型微调、RLHF 与对齐这四类不是互斥的。一个小团队里,同一个人可能既做 RAG,又写 Agent,还要管评估和部署。转行准备时可以先选一个主战场,但要知道旁边三块会被追问。 RAG 工程师一天在做什么 RAG 工程的日常不是“把文档丢进向量库”这么简单。真实工作更像一条数据…

#求职#职业转型

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…型吗不用。应用开发岗几乎不训模型,日常是把模型「用好」:检索增强、Prompt 迭代、工具编排、服务化和评估。会一点微调(比如 LoRA)是加分,但不是门槛。被问到训练细节,坦诚边界,然后把话题引回你有生产经验的检索和部署链路即可。我是 Java 后端不会 Python,转型难吗不难。语言是最小的障碍,大模型应用的核心是系统能力,而系统能力和语言无关。Python 语法一两周能上手,重点是把生态里常用的库和调 API 的姿势练熟。你过去写服务、调依赖、处理数据的经验,换…

#求职#职业转型

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：…库、文档处理、评估章两条线都绕不开,算法线更深 Training / Post-Train 层用数据改模型本身的行为 SFT、LoRA、DPO/GRPO、工具调用轨迹数据模型微调题库、RLHF与对齐、训练章算法/研究生线选修,应用线按岗位这个分层的用处在于对号入座:开发/Java 后端线的杠杆在中间两层——把 Agent Harness 的工程骨架(权限、trace、失败恢复、成本)和 Data/Eval 的评估闭环做扎实,正好吃你的服务化和稳定性经验;算法/研究生…

#求职#职业转型

求职指南·求职

要不要做微调 / Post-Train 项目,轻量版怎么做

匹配正文：…么时候该微调、和 RAG/Prompt 怎么取舍",而不是你手搓过多复杂的训练。真要做,做一个目标清晰、有评估、能说清收益的轻量 LoRA/SFT 就够了,不必一上来啃工业级 Post-Train。这一页帮你判断该不该碰微调,以及如果要做,轻量版的最小证据链长什么样。作者:吴师兄 | 适合:纠结要不要做微调项目、把 LoRA/SFT 写进简历的转行者 | 前置:知道 RAG/Agent 是什么,看过技术栈全景转应用开发岗,到底要不要做微调项目先给结论:看你投的岗位,多数…

#求职#职业转型

求职指南·求职

大模型岗面试流程全解:每一轮考什么、怎么准备

匹配正文：…)、评估指标。 Agent 方向:工具调用与规划(Function Calling、ReAct、失败恢复、多步编排)。微调方向:LoRA/QLoRA 原理、数据构造、灾难性遗忘。推理方向:KV Cache、量化、批处理与吞吐优化。这些在领域八股速通里按模块整理好了,题库入口在 /questions,每道题有书面答案和口语版讲法。练的重点是「能顺畅讲出来」,不是「看懂点头」——面试是口试,看懂和讲清楚之间差一个数量级。技术二面:系统设计 + 边界试探结论:二面从「你做…

#求职#职业转型

面试题·Agent

首次 SFT 后格式稳定了，为什么工具选择和答案仍然不行？

匹配正文：…10 个通用测试用例，对比基线与训练后模型的格式、工具调用、工具准确性、答案准确性和完整度。模型是 qwen3_0.6b 配合 LoRA。训练记录还给出了当次最大长度和梯度累积参数，但这篇文章不把单次配置解释成通用最优配方。样本文件名里的 200 不能替代实际清洗后条数。10 个用例也不足以表示所有研究场景、行业分布和异常环境。因此这次实验能回答的是：训练链路是否跑通，模型是否开始学习目标格式，哪些能力缺口已经暴露。它不能回答生产环境是否稳定、总体准确率提升多少、某种…

#Deep Research#数据构造与训练#Deep Research SFT

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：… / ReAct / MCP」 Agent 岗核心项,会追问实现细节 MCP 入门、工具调用「熟悉大模型微调」应用岗通常只考 LoRA/SFT 概念与「何时微调 vs 何时 RAG」题库「模型微调」模块的判断类真题「熟悉推理优化(vLLM、量化、KV Cache)」部署方向核心项,其他方向是加分项题库「推理优化」模块「良好的工程能力」代码能读能维护、懂接口/异步/日志/稳定性后端老本行,把它翻译成大模型系统语言「有 0-1 项目经验者优先」加分项,自建完…

#求职#职业转型

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：… 微调题量不大、门槛偏高,偏算法/研究生侧选修。面试官考它主要看两点:你分不分得清"该 RAG 还是该微调",以及懂不懂 SFT/LoRA/DPO 的基本取舍,而不是要你现场推公式。维度内容面试官在验证什么你能否判断微调 vs RAG 的适用边界、理解 SFT/LoRA/DPO 各解决什么、数据怎么准备先看哪个模型微调题库系统过一遍(应用线以理解为主) 代表题型 "什么时候微调什么时候 RAG""LoRA 原理和好处""SFT 和 DPO 区别""微调数据怎么造…

#求职#职业转型

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…er、学习率、梯度、checkpoint加载和数据配比，并用少量样本过拟合测试确认实现能学习。若确定需要微调，就建立可比较基线。LoRA的target modules、rank、alpha、学习率和dropout都是实验变量；更高rank不必然适合复杂任务，解冻norm也不是通用处方。全量微调增加自由度和训练状态，可能改善，也可能过拟合或破坏通用能力，必须放在相同数据与预算下比较。架构改造只在证据指向容量或信息路径瓶颈时进行。例如长上下文失败要区分位置外推、检索遗漏和pr…

#模型调试#bad case分析#数据质量

求职指南·求职

转行大模型应用开发常见问题(FAQ)

匹配正文：… 多数应用岗不要求你亲手微调,但要求你讲得清什么时候该微调、什么时候 RAG 或 Prompt 就够。面试里微调更多以概念题出现:LoRA 和全参的区别、微调和 RAG 怎么选、数据要怎么准备。所以顺序是把微调放第二阶段,先用 RAG 和 Agent 拿到面试机会,微调作为加分项按目标岗位选修。想验证自己理解到位没有,直接去题库的模型微调模块刷 47 道题(经验值),答不上来的就是缺口。研一、研二转大模型应用开发,来得及吗? 来得及,而且在校生是节奏最从容的一档。研一有时间…

#求职#职业转型