匹配正文：…到",问题在切分/检索,生成再强也白搭(第 5 章那条铁律:召回率是天花板);如果检索 Recall 很高、但生成还差,问题就在 prompt 或模型,该去优化第 9 章那套。不分段,你连往哪使劲都不知道。 2.4 别全从零造:可复用基准与自动评估可复用的基准与自动评估框架公开基准:HotpotQA(多跳问答,带"支持事实"标注,测跨文档检索 + 推理)、TriviaQA / NQ(开放域问答)等,适合横向比能力。自动评估框架:RAGAS 这类工具,让 LLM 自动给答…

#RAG#检索#项目实战

面试题·Agent

简单问答怎样升级成真正需要多步研究的问题，又不把题目编坏？

匹配正文：…写题，比直接要求“生成一道难题”更稳妥。问题变长与证据结构变复杂的差别真正难题需要不可省略的证据路径，而不是堆背景与限制词。方法一：沿知识图谱路径构造 SailorFog-QA 的核心思路，是先构建知识图谱，再沿图中路径采样复杂关系。图里的节点可以是实体、事件或属性，边是可由资料支持的关系。路径越长、节点越容易混淆，问题通常越难。这种方法的优势是答案路径显式存在，便于检查每一跳的证据。难点在图谱本身。实体合并错误会把两个对象串在一起，关系抽取错误会产生看似合理但不…

#Deep Research#数据构造与训练#Deep Research 复杂问答

求职指南·求职

大模型简历怎么写:项目怎么描述、怎么量化、怎么防追问

匹配正文：…开的、谁都能抄的,项目里的技术决策和数字是抄不走的,那才是你的证据。很多人把简历项目栏写成技能清单:"熟悉 RAG、Agent、Prompt 工程、向量数据库、LangChain"。这行字的问题不在于哪个词写错,而在于它没有任何一个可被追问的抓手——面试官无法从中判断你是搭过一个能跑的系统,还是看了两篇文章记住了这些词。真正立得住的写法,是把项目拆成下面三个维度,每一维都写到能被追着问下去的粒度。三维项目表达法:每个项目从三个维度写透(本篇核心) 一个大模型项目要"立得住…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#求职#职业转型

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…。第三句只有一个抽象概念，信息太少，向量很容易飘到一堆相近主题。这三类问题都可能被笼统地归入“Query 优化”，但适合的处理方法并不一样。如果不分类型，每个问题都先交给大模型改写，不仅多一次调用，还可能把原本清楚的编号、否定和限制条件改错。重写、扩写和 HyDE 分别解决什么？ Query 重写追求的是“把问题说完整”。用户问“这个怎么申请”，系统要结合有限的对话历史，把它恢复成类似“年假怎么申请”这样可以脱离上下文独立理解的问题。错别字、口语填充、缩写和省略也…

#RAG#检索与重排#RAG Query 重写

面试题·Agent

Teacher 生成的 Agent 轨迹为什么不能直接拿去训练，怎样筛出高质量样本？

匹配正文：…的内在推理。答案层要把每个关键主张与证据 ID 对齐，并区分事实、计算、推断、建议和证据不足。治理层还要保存 Teacher、Prompt、工具、环境、规范化器和审核器版本，以及生成、重试、人工修改和发布记录。这些信息让一条轨迹不只是训练文本，也是可以复盘的数据资产。格式标准化时，可以把不同 Teacher 的原始记录转换为目标模型所需的对话与工具调用格式，但原始血缘不能丢。三阶段漏斗怎样筛轨迹？相关数据构造材料强调，轨迹采样后需要严格过滤，可以按三阶段漏斗理解。 …

#Deep Research#数据构造与训练#Deep Research 轨迹生成

面试题·Agent

Agent 短任务和长任务怎么记？工作记忆、长期记忆与任务状态怎样分层

匹配正文：…事实和可复用经验，走写入、检索、更新、冲突与遗忘生命周期。三层分开存储和授权，模型每次只拿当前决策需要的信息，不能把全部历史塞进 Prompt，也不能把任务日志不加筛选地写成永久用户记忆。这段回答的核心是：短期负责“当前怎么继续”，任务状态负责“这次做到哪里”，长期记忆负责“以后什么值得复用”。三层记忆解决三类问题生命周期不同的信息，不应该塞进同一个 Messages 列表或向量库。先把上下文和记忆分开模型 API 通常是无状态的。每次请求只看到应用传入的消息和工具…

#Agent#记忆与存储#Agent 长期记忆设计

面试题·Agent

Agent 长期记忆什么时候写入？从候选提取到更新、冲突和遗忘的完整生命周期

匹配正文：…。记忆系统不是秘密保险箱。即使用户主动粘贴，也应按安全策略拦截或脱敏，而不是为了“下次方便”长期保存。第六类是一次成功产生的全局方法。某个 Prompt 在一个样本上有效，不足以证明它是稳定程序记忆。可复用经验应经过多样任务验证或人工批准。面试时如果只回答“重要的信息才存”，面试官通常会追问谁来定义重要。更好的回答是给出类型、来源、用途、授权和验证五个判断维度。候选记忆需要一张暂存区候选与正式记忆分层，能让写入过程可回放。候选区可以保存提取内容、来源消息引用、候选类…

#Agent#记忆与存储#Agent 记忆写入机制

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…中间是它实际在考察什么,右边是对应怎么准备。 JD 原文实际在考察怎么准备「熟悉 LLM 应用开发链路」调过 API、懂 prompt、做过一个完整应用 AI 编程最小实现系列「熟悉大模型训练原理」应用岗只需懂大方向:预训练/SFT/RLHF 各解决什么,不用会训基础概念扫盲,会讲即可「有 RAG 系统实践经验」能讲清检索链路每个环节的选型与权衡 RAG 完整教程 + 题库 RAG 模块「有 Agent 落地经验」做过多步工具调用的东西,能说清编排与失败…

#求职#职业转型

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…法、过程合理、证据支持等信号获得 reward。组内相对优势用于判断哪些候选比同组平均更好，哪些更差。相比需要额外训练价值网络的方法，这种组内统计基线减少了一个可学习 critic。 GRPO 不是“有 reward 就会自动变强”。奖励函数如果只看最终答案，模型可能跳过证据；只看格式，模型可能输出漂亮空壳；只看调用少，模型可能提前结束。环境如果无法稳定返回工具结果，reward 又会混入基础设施噪声。同组候选如果全对或全错，组内缺少区分信号。动态采样可以识别低区分度…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

求职指南·求职

领域八股速通:RAG / Agent / 评估 / 微调高频考点地图

匹配正文：…""长指令模型不听怎么办" 项目里怎么体现讲你怎么把 prompt 模板化、加约束和校验、用什么方式让输出可解析可回退刷题去 Prompt 工程题库。评估与监控(121 题):验证你怎么证明"效果好" 这是仅次于 Agent 的高频区,也是转行者最容易忽略的地基。面试问到底就一句:你凭什么说你的系统做得好?没有评估闭环,前面所有方向都讲不实。维度内容面试官在验证什么你有没有评估集、指标、LLM-as-Judge、badcase 闭环这套方法,能不能量化和迭代效果…

#求职#职业转型

面试题·Agent

GRPO 为什么同一道题要采样一组答案，组内相对优势到底怎么算？

匹配正文：…同下可比。如果把不同难度、不同时间范围和不同工具预算的问题混在一组，reward 高低可能来自题目差异，不是策略差异。同一个 prompt 也不够。工具环境、来源时间、最大步骤、超时、可用工具和 reward 版本都要一致。某条轨迹因为网页暂时不可访问而低分，不能简单解释成策略更差。同组候选还应尽量独立采样。如果复制同一轨迹或随机性过低，reward 几乎一样，组内没有可用差异。因此组是一个实验单元：任务、环境和判定条件相同，只让策略采样路径发生变化。组内标准化到…

#Deep Research#数据构造与训练#Deep Research GRPO

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：…回。Recall 正常而 MRR 下降，融合与重排更值得优先检查。正确证据已经排在前面，Faithfulness 却下降时，再看 Prompt、上下文组织和模型生成。一个总分无法给出这种定位能力。开发集、回归集和保留集为什么要分开？开发集用于日常调试。调整 Chunk 大小、检索权重、阈值和 Prompt 时，可以反复运行开发集，快速观察变化。回归集保存已经发生过的 bad case。每修复一个真实问题，就把原问题、正确证据和预期行为加入回归集。以后换模型或重构链…

#RAG#评测与上线#RAG 评测集

面试题·Agent

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

匹配正文：…通过至少一次投递加幂等消费获得可观察的等价效果，而不是口头承诺绝对不重复。发布新版本时，运行中任务怎么办？任务启动时记录模型、Prompt、工具协议、状态 schema 和执行代码版本。滚动发布后，新 Worker 接管旧 checkpoint 前，要确认能够读取旧 schema。无法兼容时继续由旧版本 Worker 排空，或者运行显式迁移。不能让同一任务前半程使用旧工具协议，后半程无记录切到新协议。这样结果出现变化时无法归因。对于安全修复，可以强制暂停旧任务，但要…

#Deep Research#上线成本与评估#Deep Research 长任务

面试题·项目与经历· 字节

大模型任务表现差怎么排查？

匹配正文：…置信与真实错误率联合观察。t-SNE适合探索局部可视化，但会扭曲全局距离，不能单独作为样本属于分布外的证据。系统侧要把基础模型、prompt、检索、工具、后处理和模型本体分开。检索没召回、上下文被截断、格式校验错误，都可能表现为模型能力不足。训练侧检查loss mask、tokenizer、学习率、梯度、checkpoint加载和数据配比，并用少量样本过拟合测试确认实现能学习。若确定需要微调，就建立可比较基线。LoRA的target modules、rank、alpha、…

#模型调试#bad case分析#数据质量

求职指南·求职

转行大模型最常见的 12 个坑

匹配正文：…把模块题一道道背熟,却从没在自己项目里处理过那些场景面试官换个场景挂到你项目上追问,只背通用答案一换问法就穿按方向刷并绑项目,方法在领域八股速通 5 简历堆名词、无场景无数字罗列"精通 LangChain、熟悉 RAG、了解 Agent",没有一句在讲你做了什么名词谁都会写,招人看的是场景、动作、结果,堆词等于没写用场景加数字重写,看简历三维表达法 6 项目没有评估和 badcase 项目能演示、能跑通,但说不出效果好在哪、哪些 case 会挂评估闭环是应用岗…

#求职#职业转型

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…还停留在知识点层面。面试官真正想听的是，你能不能沿着证据流解释每个指标，看懂指标组合背后的故障，并设计一套不会被自动裁判误导的评测方法。先画清楚：一个 RAG 回答经过了哪些可评估节点堆更多指标不能直接让评测变专业。每一个分数都要先回答一个明确问题。用户提出问题以后，检索器给出一组候选 Chunk。这里要回答的是“应该找到的证据找到了多少”“返回内容里噪声有多少”“最有用的证据排在哪里”。候选经过融合、重排和截断，真正进入 Prompt 的上下文往往只是其中一部分。这…

#RAG#评测与上线#RAG 评估指标

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：… 和研究步骤序号。若输入随步骤持续增长，说明系统可能每轮重放全部历史。进一步区分工具 observation、状态摘要、系统 Prompt、证据和用户上下文分别占多少。 IterResearch 的演进报告与 ReSum 等方法，方向上用于控制长上下文；是否真实降本必须在同一任务、相同质量下测量。压缩过度也可能丢失证据和约束，导致后续重搜或答案错误。因此实验同时看累计输入 token、重搜次数、证据覆盖、答案质量和运行时长。不能用教程中的复杂度直觉直接换算现有账单，…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…主张强度是否匹配。页面说“支持某功能”，不能推出“在所有条件下性能最好”；搜索摘要也不能替代原文限制。计算主张要保留输入证据和方法。建议可以没有直接来源，但支撑它的事实与约束必须可追溯。若答案没有主张级映射，引用质量只能靠 Judge 猜，准确性和可复现性都会下降。步骤与信息缺口怎样对齐？过程评估不能简单奖励更多步骤。在每个 action 前，状态应表示当前已知、未知和下一步目标。 Action 之后，observation 是否填补了目标缺口，状态是否发生变化。…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…？不是。可以用，但要多维、硬门、独立 holdout、对抗测试和人工校准，避免单一 Judge 垄断目标。追问五：你们通过这些方法提升了多少？材料没有现有 Judge 改进数据。只能说明设计与验收方法，不能虚构提升幅度。怎样回答 Judge 可信与指标投机问题 LLM Judge 适合开放任务的规模化评估，但它有位置、长度和自我偏好，也可能被候选答案中的 Prompt injection 影响。我会先用规则做事实、引用、格式和安全硬门，再让 Judge 按带锚点的多维…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…很容易失败。相反，Agent 可能完成了高质量检索和验证，但最后格式不符合用户要求。只记一个失败，会掩盖前面能力，也无法决定修 Prompt、工具还是状态机。因此结果层要拆维度，轨迹层要独立归因。最终综合结论可以有，但必须能回到每个分项和样本。第一步：先把“任务完成”写成可验收条件不同任务有不同完成定义。事实问答要求关键结论正确且有支持证据。研究报告还要求覆盖指定范围、引用与主张对应、冲突被说明、未知部分不编造。工具任务要求真实业务状态达成，而不是 API 返回成功…

#Agent#多智能体与评估#Agent 评估体系

面试题·项目与经历· 美团

信息抽取：规则 vs LLM

匹配题目：在数据预处理与信息提取任务中，如何权衡使用基于规则的方法与基于大语言模型（LLM）的自动化处理？各自的适用场景、优缺点及成本考量是什么？

#规则引擎#LLM应用#成本优化

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtyp…

#LoRA#参数高效微调#故障排查

面试题·模型训练· 美团

LLM 训练哪步最难?

匹配正文：…我选一个最具挑战的环节，我会选数据工程，但会明确这是面向通用大模型训练的工程判断，不是所有项目的定律。模型结构和训练系统有大量公开方法，而数据来源、许可、质量标准和目标分布与组织场景紧密相关，很多问题到训练后才暴露。数据难在错误隐蔽且影响链长。重复会重加权样本并浪费预算，低质与有毒内容会进入模型行为，近重复还会污染评测；许可证、隐私和删除请求需要数据血缘。过滤过强又会删掉方言、专业术语和长尾能力，因此不是清洗越多越好。不能说某个重复比例必然导致退化，也不能给长文清洗固定成…

#数据工程#训练稳定性#超参数调优

面试题·RLHF与对齐· 美团

GSPO 与 SFT、PPO、GRPO 区别

匹配正文：…tion GSPO 不是 Generalized Supervised Policy Optimization，也不是离线监督微调方法。Qwen 团队论文将其定义为 Group Sequence Policy Optimization，用于大语言模型强化学习。它针对可验证奖励下的成组采样：同一 prompt 生成一组响应，依据组内奖励构造相对优势，再用策略概率更新模型。关键变化是把 importance ratio 的粒度从 token 转到序列。GSPO 根据整条响应在新…

#GSPO#策略优化#离线强化学习