匹配正文：核心判断全参数微调更新全部权重，容量最大但训练状态昂贵；PEFT只训练小部分新增或选定参数，常见有Adapter、Prefix Tuning、Prompt Tuning、LoRA，QLoRA还让梯度穿过冻结的4bit基座训练LoRA。选择要看数据规模、任务偏移、部署方式和质量门槛。7B模型做混合精度Adam时，光两个FP32一阶、二阶矩状态就约560亿字节，也就是56GB，不是14GB。机制与边界完整显存账本不能只算优化器。7B权重若以BF16或FP16保存约14GB，…

#全参数微调#LoRA#Prompt Tuning

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配正文：何时选择Few-shot 优先选Few-shot的典型场景：任务模式复杂但样本少：如特定格式的日志解析、领域术语翻译，10-20个示例即可定义模式，无需几百条标注数据做SFT 需求变化快/多租户场景：不同客户（运营商A/B/C）有各自格式规范，用动态示例切换比维护多个LoRA权重更灵活冷启动阶段：快速验证PMF，避免重训成本三方案对比决策：维度 Zero-shot Few-shot Fine-tuning 数据需求无 5-20条数百-数千条成本最低（推理）低…

#华为#Few-shot 提示#Zero-shot 对比

项目实战·模型微调

Function Calling 微调

匹配正文：…模型在合适的时机，用正确参数调用正确工具 Function Calling 是 Agent 工程中的关键环节:模型要判断何时调用、选择哪个工具，并生成可校验的参数。这部分计划从业务场景、数据构造、训练策略与调用评估四个方面展开。尚未公开的内容只说明范围，不预设训练效果。业务背景为什么要 Function Calling 业务场景怎么定数据从哪来数据工程 Function Call 数据格式怎么造高质量样本难例 / 负例怎么配训练 + 评估训练策略怎么选怎么…

第 1 / 7 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#项目实战#Function Calling 微调

面试题·RAG

Embedding 和 Rerank 模型怎么选？什么时候值得领域微调？

匹配正文：…保留 bad case。只有通用模型在专业术语、内部缩写或否定表达上稳定失败，而且已经有高质量正样本、难负样本和独立测试集，才考虑微调。上线前还要处理模型版本、索引重建、缓存失效、分数阈值、影子验证和回滚。最终应选择能在当前知识库、风险类别和延迟预算下稳定提供正确证据，并且团队能维护和回退的组合；脱离这些约束谈“最强模型”没有项目决策价值。

#RAG#检索与重排#Embedding 模型选型

面试题·模型训练· 安克科技

大模型微调方法怎么选?

匹配正文：用真实证据填写微调实践回答只应使用候选人真正运行过的实验，可按以下结构组织：任务与基线：模型【名称/版本】、任务【】、基线指标【口径】、硬件和预算【】。方法选择：全参数微调、LoRA 或 Adapter 中实际使用的是【】。说明选择依据是可训练参数、显存、数据量、质量和部署方式，而不是给出通用优劣。数据：来源与许可【】、去重与清洗【】、训练/验证/测试按【用户/时间/实体】切分、泄漏检查【】、版本【】。训练配置：框架与版本【】、精度【】、学习率与调度【】、batch…

#LoRA#全参数微调#数据工程

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…：事实性幻觉：模型编造不存在的事实（如错误的人物关系）忠实性幻觉：输出与输入/上下文不一致（如摘要偏离原文）缓解方法需针对性选择。主流技术方法 1. 检索增强（RAG）核心思路：外接知识库，将生成约束在检索到的证据上标准流程：查询改写 → 向量检索 → 重排序 → 上下文增强生成关键优化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"…

#联通#大模型幻觉缓解#检索增强

面试题·RAG

RAG 和微调怎么选？

匹配题目：项目里想让大模型掌握公司的业务知识，你会选择 RAG 还是微调？请从知识时效性、成本、幻觉三个角度说说你的判断依据。

#入门#基础概念#RAG和微调的区别

面试题·模型训练· 海尔

LoRA 低秩分解 vs 全量微调怎么选?

匹配追问：…重增量？……参数量如何按输入维、输出维和 rank 计算？……target modules 选错会怎样？……什么时候可能不如全参数微调？直球技术请解释 LoRA 的低秩参数化、缩放、训练与合并机制，分析参数/显存优势以及 rank、模块选择、数据与任务偏移带来的性能边界。

#LoRA#参数高效微调#低秩分解

面试题·推理优化· 百度

LoRA 微调比全量微调更慢吗？

匹配追问：LoRA的秩r如何选择，对效果和效率的trade-off是什么 LoRA与全量微调在收敛速度和最终效果上的差异及原因 LoRA在分布式训练场景下有哪些特殊的优化技巧场景切入假设在同一 7B 模型、序列长度、有效 batch、精度和硬件上比较 LoRA 与全量微调。你会怎样拆解前向、反向和优化器更新时间，并用哪些实测指标判断谁更快？层层追问 LoRA 前向额外计算什么？……冻结 W0 后是否仍要传播激活梯度？……哪些参数不再维护梯度与 Adam 状态？……为什么显存下降不…

#LoRA#参数高效微调#训练效率

面试题·模型训练· 字节

SFT vs 预训练:核心区别在哪?

匹配题目：请详细说明监督微调（SFT）与预训练阶段在目标、数据、训练方式等方面的区别。SFT可能带来哪些问题（如复读机现象）？在什么场景下选择SFT作为对齐手段更为合适？

#监督微调#预训练对比#复读机问题

面试题·模型训练· 字节

MSE vs 交叉熵损失怎么选?

匹配标题与标签：MSE vs 交叉熵损失怎么选? 数学定义、梯度特性区别及LLM预训练微调为何用交叉熵模型训练损失函数交叉熵 MSE 梯度特性极大似然估计 2026真题 MSE vs 交叉熵损失函数选择 LLM 预训练损失函数交叉熵梯度特性大模型训练与微调字节

#损失函数#交叉熵#MSE

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配题目：在构建重排序（Reranker）模型时，如何系统地设计和构造用于微调的训练数据集？请详细说明正负样本的选择策略、标注方法、数据来源及其对RAG流程中检索质量的影响。

#美团#重排与优化#Reranker 训练数据

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配标题与标签：RAG Embedding 模型怎么选? 检索场景下 Embedding 选型的关键因素与评估维度模型微调字节向量检索 RAG Embedding 选型 Embedding 模型选择检索 Embedding 评估字节

#字节#向量检索#RAG Embedding 选型

面试题·模型微调

SFT vs RAG 知识更新

匹配标题与标签：SFT vs RAG 知识更新知识更新与任务适配时选择 SFT 或 RAG 模型微调 SFT RAG 知识更新 SFT vs RAG 知识更新知识更新选 SFT 还是 RAG？成本、时效与部署边界 SFT vs RAG 监督微调与检索增强生成对比模型微调范式选型

#SFT#RAG 知识更新#SFT vs RAG 知识更新

面试题·模型训练· 百度

DDPM vs Flow Matching: 采样效率与优缺点?

匹配正文：…；不是每个训练样本顺序跑完一千步。 Flow Matching 在连续归一化流 ODE dx_t/dt=v_t(x_t) 下，预先选择从基分布到数据分布的概率路径，并回归该路径的条件向量场。它可选择 diffusion conditional path，也可选择 OT displacement path 等，不等于只学习直线。训练与采样 DDPM 训练通常是随机时间步的 Monte Carlo 估计；经典祖先采样按反向时间步迭代，DDIM、DPM-Solver 等可改变采样…

#扩散模型#流匹配#生成模型

项目实战·RAG

第 4 章:Embedding 选型与向量化

匹配正文：… 分钟 🎯 完成后能力:能讲清"文字怎么变成向量、怎么靠向量找相似",会按场景选 Embedding 模型和向量库,并知道何时该微调 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用一段零依赖代码理解"文字 → 向量 → 算距离",并亲眼看到它的硬伤 ✓ 看懂 3 个核心概念:Embedding(向量化)、余弦相似度、双塔模型 ✓ 学会按场景选 Embedding 模型(BGE / E5 / GTE / Jin…

#RAG#检索#项目实战

项目实战·Agent

第 6 章:多阶段训练:Agentic CPT → SFT → GRPO

匹配正文：… 学习时长:60-75 分钟 🎯 完成后能力:比较Agentic CPT、SFT与GRPO在一条调研Agent训练路线中的作用、选择条件与边界，理解组内优势及长轨迹奖励风险；本章不实际运行训练 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章怎么读:训练流程为什么分阶段、每阶段解决什么、GRPO 的直觉和关键技巧的原理,本章都会讲,并带一个零依赖小实验帮你理解 GRPO 的核心。训练本身要 GPU、跑起来慢,所以这一章不真的跑训练,而用「概念小实…

#Agent#Deep Research#项目实战

面试题·模型训练· OPPO

MSE 损失函数怎么用?

匹配正文：… 或 Huber；噪声方差随输入变化可预测均值与方差并优化 Gaussian NLL；多峰目标可用分位数、混合密度或完整概率预测。选择应由验证集与业务代价决定。

#MSE#回归损失#损失函数

面试题·模型训练· 美团

批量文本清洗如何自动质检?

匹配题目：…系统的原始文本数据（可能存在噪声、格式混乱、冗余或敏感信息），如何设计一套可扩展的批量数据清洗流程？请说明常用清洗策略、自动化工具选择以及效果评估方式。

#数据清洗#数据预处理#数据流水线

面试题·模型训练· 阿里

模型收敛怎么判断?

匹配正文：…变、各层梯度分布和参数更新相对权重的大小。gradient clipping是稳定手段，裁剪阈值也应通过基线与日志标定。验证侧要选择与任务相符的指标。语言建模可看验证loss或PPL，SFT还要看指令遵循、格式、事实性、拒答和多轮一致性；自动指标不足时加入固定盲样的人评。只有主要指标在多个评测点没有超过噪声的改善，并且训练仍稳定，才有理由认为继续训练的边际收益很低。早停可以保存最佳checkpoint，并在预先定义的评测节奏上观察耐心窗口。窗口长度、最小改善和评测频率取决…

#模型收敛#损失曲线#早停策略

面试题·模型训练· 阿里

SFT 过拟合怎么判断和缓解?

匹配正文：…eight decay、dropout或数据混合。每种正则都可能导致欠拟合，需要和原配置做单变量对照。 LoRA、QLoRA或全量微调只是可训练参数组织方式，不存在一组rank、alpha、dropout和target modules能解决所有SFT过拟合。PEFT可能降低自由度，也可能因模块选择不当而欠拟合。梯度累积主要改变优化与吞吐，也不能直接保证泛化提升。我会保存多个checkpoint，在未参与调参的真实分布holdout上比较自动指标和盲评，并报告置信区间。若最佳…

#过拟合识别#训练监控#正则化策略

面试题·评估· 字节

判别式转生成式哪种方法更优?

匹配正文：…拼成GLUE、SuperGLUE或业务场景上的无条件胜负排序。我会为目标任务建立同一切分和预算，比较判别基线、prompt基线和微调生成方案。指标除了准确率或span-F1，还要看格式有效率、校准、延迟、吞吐、单位成本和失败样本。结构化输出应使用相同后处理规则，避免一方获得额外人工修正。如果生成方案只在复杂长尾上有优势，可以用判别模型处理清晰样本、生成模型处理开放或不确定样本；如果专用模型已满足质量和延迟，就没有必要为了统一形式改成生成。所谓甜点选择只能是具体约束下的实验…

#判别式转生成式#Prompt工程#指令微调

面试题·模型训练· 阿里

模型收敛必须用验证集吗？

匹配正文：训练收敛、模型选择和泛化评估是三个问题训练损失下降或趋于平台，能说明当前优化目标在训练数据上的变化；结合梯度范数、参数更新比、学习率和数值稳定性，可判断优化是否停滞或发散。但训练损失不能证明模型对未见数据泛化，也可能继续下降同时过拟合。验证集用于超参数选择、早停、checkpoint 选择和阈值调整。它不是天然“无偏”的泛化估计：反复查看并据此决策会对验证集过拟合。最终泛化结果应在未参与选择的独立测试集上报告。数据少时可用交叉验证、时间切分或嵌套验证，但仍要保留未见证据。…

#过拟合#早停策略#模型泛化

面试题·模型训练· 阿里

SFT 硬件资源怎么配?

匹配正文：资源估算必须先固定训练方案先明确模型参数量、全量微调还是 PEFT、权重/梯度/优化器精度、序列长度、micro-batch、梯度累积、激活检查点、并行策略和目标吞吐。脱离这些条件回答“需要几张卡”没有意义。主要显存项权重、梯度、优化器状态及可能的 FP32 master weights；激活与 attention 中间量，标准稠密 attention 对序列长度含二次项；通信 buffer、临时 workspace 和框架碎片。全量 Adam 训练通常由训练状态…

#SFT#分布式训练#GPU显存计算