匹配正文：…取决于数据与优化启用adapter同样有回归风险；可停用未合并adapter与原基座对照决策建议先固定任务、训练token与评测集，以LoRA建立低成本基线，并调rank、学习率与挂载模块。基线不达标时，分别检查数据、优化和可训练容量，再与全参微调对照；样本几千或百万不是通用分界。 LoRA便于共享基座并按需加载小adapter；全参也能多任务训练或部署多个checkpoint，只是参数存储与切换成本不同。入门之后,可以继续深入 QLoRA(量化 + LoRA 进一…

#入门#基础概念#LoRA微调

面试题·知识图谱· 淘天

GraphRAG 落地的主要技术挑战是什么？

匹配正文：1. 图构建质量不是单一准确率实体边界、别名、时间、关系方向和条件都会影响图。LLM 生成候选三元组后，应优先审核低置信、模型分歧、高影响和具有代表性的样本，同时保留随机抽样估计整体错误率；只审核“高置信样本”既不能有效主动学习，也会漏掉系统性错误。每条边都要保留来源片段、抽取版本和时间。 Schema 可从最小核心逐步演进，但变更需要迁移和兼容规则，不能让开放抽取持续制造无法比较的关系类型。 2. 路径候选不等于推理多跳会扩大候选组合和误差传播，但错误不会遵循通用的“指…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#淘天#知识图谱#评估与监控

面试题·Prompt· 字节

Agent架构设计原则？

匹配正文：…终态，再决定哪些步骤由确定性代码执行，哪些步骤需要模型做语义判断。常见组件可以归为输入与上下文、决策与编排、工具网关、状态与记忆、评测与可观测性；它们不一定各自成为独立服务。一条受控执行链服务端认证用户，并按角色、对象和当前状态筛选可见数据与工具；模型基于当前任务状态提出 respond、tool_call、ask_confirmation 或 stop 候选；服务端重新校验 schema、对象归属、业务规则、预算和幂等键；工具在超时、限流和副作用边界内执行，返回结…

#字节#Prompt工程#Agent

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…真实规模与约束】。需要准备：文档类型与规模；个人负责模块；交付证据。通过【真实改动】改善【字段、表格或版面指标】，结果由【真实评测集】验证。需要准备：指标定义；评测集；基线与结果；失败样本。逐层练习 1. 说清你的职责简历原句是“【自己的真实项目描述】”。你具体负责文件识别、OCR、版面分析、表格恢复、清洗还是切分中的哪几段？考察重点：核验项目所有权，避免把团队或平台成果当作个人成果。本人负责的模块、决策和交付边界团队、平台与外部服务的边界如果还没讲清：补…

#模拟面试#简历项目#连续追问

系统教程·RAG

RAG 面试题大全与知识体系

匹配正文：RAG 是大模型应用开发岗面试必考的第一主题：简历上写了 RAG 项目，面试官会从分块、检索、重排一路追问到评估。这一页把本站全部 RAG 资产按知识体系组织好——先用 11 章实战教程把系统做出来，再按模块刷真题，每道题都有书面答案和口语版讲法。配套教程 RAG 智能问答系统：11 章从原理到评测知识模块 RAG 基础与整体架构文档处理与分块向量检索与召回重排与检索优化知识图谱增强常见问题 RAG 面试一般会考哪些问题？围绕你简历上的 RAG 项目逐层追问：…

#专题学习#RAG 面试题大全与知识体系

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配口述回答：…奖励。奖励可以来自规则、可执行验证、环境结果或奖励模型。它省掉的是单独学习的价值模型或 critic，而不是奖励本身。 PPO 在大模型对齐里通常让当前或近当前策略生成回答，再由奖励模型、规则或环境打分，用价值函数估计 advantage，最后用 clipped objective 更新策略。很多 RLHF 实现还会增加相对参考模型的 KL 惩罚。逻辑上常见 policy、reference、reward 和 value 四种角色，但它们可以共享骨干或用不同部署方式，不能说 …

#RLHF#PPO#DPO

面试题·RLHF与对齐· 阿里

DPO vs PPO 怎么选?

匹配题目：请比较直接偏好优化（DPO）与基于人类反馈的强化学习（PPO）在大模型对齐中的应用，从算法原理、实现复杂度、训练稳定性和效果表现等方面进行分析。

#DPO#PPO#RLHF

项目实战·Agent

第 6 章：训练取舍与 GRPO——CPT、SFT、RL 怎么选

匹配正文：…成本; schema/格式; 权限越界、秘密泄漏、危险副作用和提示注入。权限或危险副作用应作为硬失败，不能被“报告写得好”抵消。LLM Judge 要对人工标签校准，版本化 prompt/模型并测试 grader injection。训练 reward 与最终隔离评测应分离，防止模型只学会讨好同一个 grader。 2.3 长轨迹截断不是普通错误标签截断、取消、工具失败和策略错误要分开记录，再选择 mask、惩罚或重采样最大生成长度导致的截断会让“未完成”与“做错”混在…

#Agent#Deep Research#项目实战

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：… 模型假设共享标量效用；不同人群偏好不一致时，要把 annotator、用户群或上下文纳入条件模型，或分层建模。稳健性：留出人工评测集，监控 reward hacking、长度偏差、风格捷径、分布漂移和奖励模型不确定性。 Constitutional AI 不是用规则替代学习，而是用一组原则指导生成批评、修订和偏好监督，模型仍通过监督学习或偏好优化更新。

#RLHF#Reward Model#奖励设计

面试题·RLHF与对齐· 美团

长周期 Agent 如何建模与规划?

匹配正文：…中训练 actor/critic；MuZero 学习表征、动力学和预测函数并用 MCTS 搜索，不能统一称为在隐空间做 MPC。 LLM 高层规划：在文本/工具任务中生成计划、分解子任务和调用工具；它是可选 planner，不是已被证明准确的环境动力学模型，执行结果必须由真实环境验证。训练与评测使用 replay、课程、HER 或示范时均需满足任务条件并防分布偏移。规划执行应形成“计划—动作—观测—重规划”闭环，设置预算、超时、回滚和安全约束。评测看最终成功率、长程回报、…

#长周期任务#分层强化学习#稀疏奖励

系统教程·AI 编程

从零拼一个最小 RAG 问答

匹配正文：…最相似的几段相关片段 ↓ ② 增强:把片段拼进 prompt("根据以下资料回答…") 拼好的 prompt ↓ ③ 生成:让 LLM 基于资料作答带依据的回答最小实现(可跑,不依赖向量库) 知识库使用几段演示文本，向量化与聊天分别连接支持相应能力的服务。不能因为一个服务兼容 Chat Completions，就假设它也提供 OpenAI 的 embedding 模型。先完成第 2 篇的虚拟环境与聊天凭据准备，再安装 numpy，并准备 OpenAI embeddin…

#Agent#AI 编程

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…✓ 将“报告好不好”拆成可观察、可标注且与业务风险对应的维度 ✓ 同时检查最终结果、证据链、执行轨迹、运行行为和权限安全 ✓ 把 LLM Judge 当作待评估测量工具,而不是答案真值 ✓ 区分开发集、固定锚点集、轮换挑战集和隔离测试集 ✓ 记录方差、置信区间、标注一致性和分布切片,避免单一总分制造确定性 ✓ 用错误分析补数据,同时阻止评测样本和标签泄漏到训练 🚀 Part 1 · 主线实战为什么开放式研究任务难评同一个技术选型问题可能有多个合理答案,且结论会随规模、约…

#Agent#Deep Research#项目实战

面试题·模型训练· 网易

SFT 置信度下降影响

匹配正文：置信度下降不等于性能或校准必然变差预训练语言模型与常规生成式 SFT 通常都使用 token 级交叉熵；分类头微调也常使用交叉熵。两者并不存在“预训练交叉熵鼓励自信、SFT 交叉熵反而鼓励平均”的通用对立。排查可分为四层：数据与标签：类别先验变化、域迁移、边界样本增多、冲突标注或硬标签噪声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制…

#模型校准#标签平滑#温度缩放

面试题·RAG

Chunk 为什么要带标题、页码和前后片段 ID？

匹配正文：…ta 不是备注，而是检索链路的一部分只保存正文和向量，确实能做出一个演示版本。用户问题被编码成向量，向量库找到相近文本，再交给大模型回答。只要知识库很小、文档没有版本、所有用户权限相同，系统看起来也能工作。一旦进入多文档场景，问题马上出现。下面仍然用教学场景说明常见故障。在这个纯教学例子里，假设用户只想查某个知识库，系统却从另一个知识库带回内容；旧制度与新制度文字相似，旧版本反而排得更靠前；检索命中“但以下情况除外”，模型却看不到上一段的适用条件；回答末尾只显示一个文…

#RAG#切分与索引#RAG Metadata

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…ext recall/precision、faithfulness、response relevancy 等指标,其中部分会调用 LLM。它能扩大评测覆盖,但评判可能非确定且受模型、提示、语言和领域影响;先与人工标注对齐并保存评判版本。工程提示:公开基准适合横向比较能力,但部署到具体场景前还要用目标数据分布的评估集验收。公开基准是参考,目标场景的离线评估、灰度数据、人工复核和线上监控共同构成主要依据。 2.5 上线前后的性能优化:先测量,再定目标离线评估达到门槛后,还要验…

#RAG#检索#项目实战

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…证”连成一条完整答案。下面就按面试官的追问顺序拆开。如果第一次接触 RAG，可以把它理解成“先从资料中找到相关原文，再把原文交给大模型回答”。Chunk 就是一段被切分出来的原文，后文直接称为“原文段落”。 2 分钟完整作答如果面试官没有打断，可以这样回答： RAG 同时使用 BM25 和向量检索，是因为两种方法解决的漏找问题不同。BM25 适合标题、编号和专业术语这类原词明确的问题，例如“报销制度”；向量检索适合用户换了一种说法的情况，例如用“如何推销保险产品”去找“保…

#RAG#检索与重排#RAG 混合检索

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…一定更短。批次需要等待凑齐时，单请求延迟还可能增加。第三种办法是选择更小的模型或量化。这样可能降低资源与推理成本，但必须用同一评测集确认排序质量没有不可接受的退化。第四种办法是按 Query 路由。高置信精确命中可以跳过高成本精排，候选相似、含否定或需要严格排序的问题再启用。路由本身也要记录和评测，不能因为省计算而漏掉难题。第五种办法是控制输入长度。如果 Chunk 超过 Rerank 模型的最大输入，尾部可能被截断。此时盲目扩大候选或更换更大模型，不如先检查正确…

#RAG#检索与重排#RAG Rerank

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…易飘到一堆相近主题。这三类问题都可能被笼统地归入“Query 优化”，但适合的处理方法并不一样。如果不分类型，每个问题都先交给大模型改写，不仅多一次调用，还可能把原本清楚的编号、否定和限制条件改错。重写、扩写和 HyDE 分别解决什么？ Query 重写追求的是“把问题说完整”。用户问“这个怎么申请”，系统要结合有限的对话历史，把它恢复成类似“年假怎么申请”这样可以脱离上下文独立理解的问题。错别字、口语填充、缩写和省略也可以通过重写处理。重点是尽量保持原意，而不是把…

#RAG#检索与重排#RAG Query 重写

面试题·Agent

轨迹中哪些 Token 应参与 Loss，Observation Mask 怎样按目标实现？

匹配正文：…以及最终如何回答。工具返回由环境产生，应作为条件而非 assistant 的预测目标。若任务专门训练环境建模、工具结果生成或全序列语言模型，监督范围会不同，不能沿用本文的 mask 结论。如果训练时不区分两者，模型可能在没有真正调用工具时，直接续写一段像搜索结果的文字。看起来信息丰富，实际上把“使用工具”学成了“模仿工具”。所以面试官真正想问的是： Observation Loss Mask 到底遮住什么，为什么只改 attention mask 不够，怎样把角色边界映射…

#Deep Research#数据构造与训练#Observation Loss Mask

面试题·RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：RAG 回答错了，最常见的第一反应是什么？改 Prompt，换大模型，或者把 Top-K 调大。这三个动作都可能有用，但它们不应该成为排查起点。因为最终答案只是链路最后一层。错误可能早在文档解析时就发生，也可能是 Query 被改写带偏、过滤条件挡掉了正确文档、向量召回没找到、融合时被压下去，或者 Rerank 把正确证据排到了后面。如果连正确证据在哪一层消失都不知道，改参数更像碰运气。排查前，为什么先要有“正确证据”？如果只知道“答案错了”，排查没有参照物。系…

#RAG#生成与对话#RAG 检索优化

面试题·RAG

资料里没有答案时，RAG 怎么避免强行生成？

匹配正文：…容，比如国内票据遗失说明、差旅报销材料清单，或者交通费用标准。这些内容都和问题有关，却没有真正回答问题。如果系统把它们直接交给大模型，大模型很可能把几段相近内容整理成一套完整流程。文字顺，步骤也像那么回事，但关键规定并不在资料里。这就是 RAG 面试中很容易被低估的一道题：资料里没有答案时，RAG 怎么判断证据不够，并避免强行生成？很多人的第一反应是：“设置一个相似度阈值，低于阈值就拒答。” 这句话只答到了最外层。面试官很快会继续问：向量库几乎总能返回结果，相关和…

#RAG#生成与对话#RAG 无答案检测

面试题·RAG

多轮 RAG 如何理解“这个怎么申请”？

匹配正文：…该澄清，不能靠综合分替用户决定。如果两路语义一致，可以保留候选来源标签再融合。这样能看到正确证据由原问题还是改写问题找回，也能在评测中判断改写真正贡献了什么。若原 Query 已经稳定找到证据，改写没有增加覆盖却带来更多噪声，就不应只因为流程完整而强制启用改写。重试还要有次数和策略上限。一次回退解决不了的问题，不应继续自动扩写、分解和放宽门槛，直到出现一段勉强相关的文本。对象或条件不清时，澄清是正常结果；资料里没有答案时，则进入无答案控制，而不是把“改写失败”伪装成“检索…

#RAG#生成与对话#多轮 RAG

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…。 GRPO 省掉了什么，又没有省掉什么？ PPO 通常需要一个可学习的价值函数估计基准，用来判断某个动作结果比预期好还是差。在大模型场景中，价值网络可能带来额外参数、显存和训练复杂度。 GRPO 用同一问题的组内 reward 统计量构造基准，因此不再需要单独训练那个 critic。但 GRPO 仍然需要 reward。 DeepSeekMath 原始 GRPO 还要从旧策略采样候选，计算新旧策略概率比，使用 clipped surrogate objective，并在…

#Deep Research#数据构造与训练#Deep Research GRPO

RAG 解决了哪些核心问题?

全量微调和 LoRA 微调怎么选?

GraphRAG 落地的主要技术挑战是什么？

Agent架构设计原则？

PDF、表格、OCR 与文档解析项目模拟面试

RAG 面试题大全与知识体系

PPO vs DPO vs GRPO 怎么选?

DPO vs PPO 怎么选?

第 6 章：训练取舍与 GRPO——CPT、SFT、RL 怎么选

Reward 函数设计关键因素?

长周期 Agent 如何建模与规划?

从零拼一个最小 RAG 问答

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

SFT 置信度下降影响

Chunk 为什么要带标题、页码和前后片段 ID？

第 10 章:系统评估与上线优化

RAG 为什么要同时用 BM25 和向量检索？

Rerank 为什么更准，却不能对整个知识库运行？

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

轨迹中哪些 Token 应参与 Loss，Observation Mask 怎样按目标实现？

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

资料里没有答案时，RAG 怎么避免强行生成？

多轮 RAG 如何理解“这个怎么申请”？

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？