匹配正文：先写实验契约 A/B 测试验证一个预先定义的排序策略变化是否导致用户可观察结果变化，不等同于在线学习。实验前冻结候选、权重、模型和页面版本，写明假设、随机化单位、目标人群、主指标、护栏、MDE、分析方法、停止条件和排除规则。实验中每小时改权重会破坏固定 treatment 的解释，除非从一开始研究的就是已定义的自适应策略。 1. 随机化与隔离随机化单位由干扰范围决定。需要一致体验和留存指标时常按用户分组；无登录流量可用稳定匿名 ID；查询级实验可能产生同一用户跨组和学习效应…

#搜索排序#A/B测试#随机化

面试题·RAG· OPPO

推荐结果不准，如何从曝光到业务结果定位？

匹配标题与标签：…排序、展示、点击和履约链路诊断推荐问题，区分模型、数据、库存、界面与实验归因。 RAG 推荐系统诊断曝光日志漏斗位置偏差 A/B测试数据质量 OPPO

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#推荐系统

#诊断

#曝光日志

项目实战·Agent

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

匹配正文：…sity/style 和 self-enhancement 等偏差,但方向与强度会随 Judge 和任务变化。可以随机顺序、交换 A/B 重评、控制内容与长度、跨 Judge 对照;出现顺序不一致时记录分歧或交人工。正反平均不会保证消除位置偏差,多个相关 Judge 投票也可能共同放大同一种误差。缓解是否有效需要用人工标签验证。 2.4 评估集要兼顾可比、更新与隔离锚点、开发、轮换挑战与隔离测试集各司其职开发集:可供错误分析和提示/模型迭代,不能用来宣称最终泛化性能。固…

#Agent#Deep Research#项目实战

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…们可能共享长度、风格和训练数据偏差。需要异质 Judge、人工锚点和分维度校准。追问二：怎样缓解位置偏好？随机候选顺序并交换 A/B 重评，冲突时标记不确定，不只取第一次结果。追问三：Judge 分数涨了为什么不能说质量提升？模型可能只学会迎合长度、风格、引用数量或 rubric。还要看规则硬门、独立 Judge、人工和真实任务。追问四：Goodhart 是不是意味着不能用 Judge 做 reward？不是。可以用，但要多维、硬门、独立 holdout、对抗测试…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…。不要允许更低成本补偿关键事实错误，也不要允许更高质量无限突破资源上限。观察 Pareto 前沿比单一加权总分更诚实。如果方案 A 质量更高但成本也更高，是否采用取决于任务价值和 SLA；如果方案 B 质量更低且成本更高，它明显被支配。还可以按任务风险动态路由。低风险简单任务走轻量路径，复杂研究才允许更多检索和验证。但路由策略本身也要进入评测。权重和预算来自业务需求与真实评测，不能先拍一个公式。即使需要综合分，也保留所有原始分项和硬失败原因。规则、LLM Judge …

#Agent#多智能体与评估#Agent 评估体系

项目实战·RAG

RAG 智能问答系统

匹配正文：…说明它的边界使用先进的 AI 技术，大幅提升用户体验问题：抽象空洞，看不出你做了什么可以改成：为解决[真实问题]尝试[方案 A / B]，按[指标]验证后选择[真实结论] 用 STAR 组织项目追问你那个 RAG 项目最难的地方是什么? 情境（S）：[填写真实用户、资料类型和业务约束] 任务（T）：[填写你负责解决的问题，以及可复现的基线] 行动（A）：[填写你亲自做的方案、对照实验和取舍] 结果（R）：[填写实测结果、工程代价、失败样本和适用边界] 给我讲一个你印象…

#项目实战#RAG 智能问答系统

面试题·Agent

LLM、Workflow 和 Agent 怎么选？什么任务根本不该做成 Agent

匹配正文：…些结论允许保留不确定性。完成条件越模糊，越不应该一开始就赋予系统更多自主行动权。 2. 下一步是否真的依赖外部反馈如果每次都按 A、B、C 执行，写成 Workflow 更直接。只有当 B 的结果会决定下一步选择 C、D、E 中哪一个，模型的动态规划才有价值。这里的“反馈”必须是真实可读取的环境状态，例如数据库结果、工具返回、测试结果或用户补充信息。让模型读一遍自己刚生成的文字，再声称它在根据环境反馈决策，意义有限。 3. 可选行动能否被清楚约束 Agent 至少要知道有…

#Agent#架构与规划#Agent 和 Workflow 区别

面试题·Agent

Deep Research 拿到一个大问题后，怎么拆成能查证的子问题？

匹配正文：…，而不是直接沿默认偏好开始搜索。子问题要拆到“可以采取动作” 一个子问题是否合格，可以看它能否对应明确动作和产出。 “研究候选 A”不够具体。Agent 不知道先查功能、成本还是部署，也不知道什么结果算完成。 “确认候选 A 是否支持私有部署，并找到官方部署文档”就清楚得多。动作是搜索并访问官方文档，产出是支持状态、适用版本、部署条件和来源。 “了解性能”也太宽。可以改成“在与当前数据规模接近的公开测试中，找到查询延迟或吞吐口径，并记录硬件、数据集和配置；如果口径不可比，明…

#Deep Research#问题边界与研究闭环#Deep Research 问题拆解

面试题·Agent

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

匹配正文：…明字段边界，不是生产代码： { "goal": "比较两份资料中的准入要求", "steps": [ { "id": "read_a", "depends_on": [], "tool": "read_document", "success_condition": "返回资料 A 的条款与来源位置" }, { "id": "compare", "depends_on": ["read_a", "read_b"], "tool": "compare_evidence", "su…

#Agent#架构与规划#Agent 规划 Prompt 还是代码

面试题·Agent

ReAct Agent 为什么会死循环？停止条件和步数上限怎么设计

匹配正文：…了哪个工具、参数是什么、工具返回什么、状态发生什么变化。以教学场景为例，用户要求比较两座城市的天气。第一轮选择天气工具查询城市 A，第二轮查询城市 B，第三轮发现两份数据齐全，于是进入比较并结束。关键不在调用两次工具，而在每次 Observation 都让“还缺什么”发生变化。如果系统没有“城市 A 已查询”“城市 B 已查询”这样的状态，模型下一轮可能再次查询城市 A。表面上步骤还在继续，实际上只是在重复读取相似上下文。 ReAct 循环必须同时检查状态和出口每轮循环…

#Agent#架构与规划#ReAct Agent 死循环

面试题·Agent

Deep Research 报告有引用就可信吗？多个来源互相矛盾怎么办？

匹配正文：…件、冲突与缺口。原始正文可以放在外部证据库，需要时按 ID 重新取回，不必把整页永久塞进上下文。一个教学示例：两份“冲突”的公开测试下面是结构教学示例，不对应真实产品或真实测试数字。来源 A 声称某方案“查询更快”，测试条件是单用户、数据已缓存、小规模数据集。来源 B 声称同一方案“延迟更高”，测试条件是多用户、带结构化过滤、较大数据集。这两份结果不能用多数投票，也不能简单平均。 Agent 应先抽取共同字段：版本、硬件、数据量、并发、过滤、缓存状态、指标定义。对齐…

#Deep Research#问题边界与研究闭环#Deep Research 引用溯源

面试题·Agent

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

匹配正文：… ID 或过滤条件，却无法指出来自用户输入、当前状态还是工具结果。参数看起来合法，也可能是猜出来的。计划依赖可能无法执行步骤 B 依赖步骤 A 的输出，步骤 A 又要求先获得 B 的结论；或者两个节点都等待对方完成。自然语言列表不容易发现这种环，依赖图可以检查。完成条件可能只是主观描述 “分析充分”“结果合理”“资料完整”无法由系统直接验证。需要改成可观察条件，例如必需字段已获得、指定测试通过、每条结论有来源或缺失项已明确标记。计划先要成为一个有契约的数据对象具体字…

#Agent#架构与规划#Agent 计划校验

项目实战·RAG

第 4 章:Embedding 选型与向量化

匹配正文：…数 +1(没出现过就从 0 开始) return v # 返回 {字: 次数},就是这段文字的"玩具向量" def cosine(a, b): # 余弦相似度:两个向量方向有多接近,1 最像、0 不相关 dot = sum(cnt * b.get(ch, 0) for ch, cnt in a.items()) # 点积:两边都出现的字,次数相乘再求和 na = math.sqrt(sum(c * c for c in a.values())) # 向量 a 的长度(模) n…

#RAG#检索#项目实战

面试题·Agent

IterResearch 的演进报告为什么不是普通摘要，怎样避免越改越错？

匹配正文：…方文档，确认一种部署方式。报告新增 Claim A1，绑定来源 S1，同时关闭“部署形态”缺口。第三轮访问一篇旧版本博客，它说 A 不支持某能力。报告发现时间冲突，把这条信息标为待核验，不覆盖 A1。第四轮找到新版本发布说明，确认能力后来加入。报告将旧博客限制在历史版本，新增当前版本主张，同时记录版本演变。第五轮方案 C 的资料仍不足。报告把它保留为缺口，下一步计划寻找原始文档。若预算耗尽，最终输出应说明 C 的证据不足，而不是照着 A、B 的结构补齐一句猜测。这个过…

#Deep Research#执行框架与长任务#IterResearch 演进报告

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…verlap 控制的是相邻块之间保留多少共同上下文重叠窗口的目的，是让切分点附近的前提和结论至少在某一个块中共同出现。假设块 A 末尾是“申请人应满足以下条件”，块 B 开头是“第一，已完成身份核验”。如果 B 完全不带前文，单独召回 B 时语义会变弱。让 B 带上一小段 A 的尾部，可以恢复“这些条目是什么”的上下文。但 overlap 不是越大越保险。重叠越多，同一段文字会被多次向量化。查询命中边界区域时，Top K 里可能出现内容高度相似的 A、B、C，表面上召回…

#RAG#切分与索引#Chunk Size

面试题·Agent

Deep Research 并行任务怎么拆，依赖、尾延迟和综合成本怎样控制？

匹配正文：…：三个 Agent 得到“三种性能” 下面是教学情境，不代表真实产品或实测数字。总任务要求比较某技术的公开性能边界。研究单元 A 找到官方页面，报告一个理想配置下的结果。研究单元 B 找到第三方测试，硬件、数据规模和过滤条件不同，数值更低。研究单元 C 找到一篇博客，引用的其实就是 A 的官方页面，但省略了测试条件。若使用多数票，A 和 C 看似形成两票，系统会选择官方数值。合格综合应先识别 C 与 A 同源，再说明 A 和 B 的测试条件不可直接比较。最终报告可…

#Deep Research#执行框架与长任务#Deep Research 并行任务拆分

面试题·RAG

Chunk 为什么要带标题、页码和前后片段 ID？

匹配正文：… 先检查解析阶段有没有页码和坐标，切分时是否正确合并，入库字段是否保留，检索接口又是否返回。不要在前端临时猜位置。第二种，搜索 A 知识库却返回 B 知识库内容。检查 kb_id、租户和文档状态是否在检索前进入过滤条件。生成后再删除越权内容太晚，因为越权证据已经参与了排序和回答。第三种，命中例外条款却缺少适用前提。检查当前 Chunk 是否带章节路径、父 ID 和前后关系，再确认扩展没有跨过章节或版本边界。第四种，文档更新后仍引用旧页码。检查 Chunk 与来源位…

#RAG#切分与索引#RAG Metadata

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…都有人说"感觉更准了"。这时应该追问:"准了多少?你怎么知道是真变好,不是错觉?" 如果回答不出来,说明团队仍在凭感觉调参。改了 A 觉得好,改了 B 也觉得好,可到底哪个真有用、提升多少,谁也说不清,因为没有一把客观的尺子。正确做法是建立评估集:从目标资料与使用场景中分层抽样问题,标注参考答案、原文证据范围、内容版本和可接受证据集合。固定切分与索引时可以用 chunk ID 简化练习;比较不同切分方案时,要把各方案的 chunk 映射回稳定证据范围。一句话:准备上线前,…

#RAG#检索#项目实战

面试题·RAG

RAG 知识库如何动态更新？重复上传怎么做到不重复、不漏写？

匹配正文：…前版本，确认新版本稳定后再清理。这样失败回退时仍有可恢复对象，也避免删除任务与查询任务互相干扰。还要防止旧任务晚到。假设版本 B 已经成为当前版本，较早启动的版本 A 任务此时才完成。系统不能因为 A 最后写完，就把当前版本重新切回 A。切换时需要比较文档版本或任务代次，只允许符合预期的新版本生效。因此，幂等不只发生在 Chunk 写入。文档状态迁移、版本切换和清理任务也要可重复执行，并且在重试后保持同一结果。锁与幂等也不是同一件事。文档级锁可以减少两个任务同时工作，…

#RAG#切分与索引#RAG 增量入库

求职指南·求职

没有大模型项目经验,怎么攒出能写进简历的项目

匹配正文：…官真正在挖的是「你在岔路口选了哪条、为什么」。切块策略、嵌入模型选型、混合检索的权重、什么情况下检索失败怎么兜底——每一个「选了 A 没选 B」的地方都是一个可讲的决策点。量化结果可以来自自己设计并记录抽样与标注规则的测试集,但数字必须由真实运行产生,并说明数据规模、口径、版本和局限。「召回率 81%」自带追问入口(怎么测的、测试集怎么来的),而「效果不错」是死路,面试官接不下去,只会觉得你没做过。扛住追问是前三条的验收。一个技术点如果只经得起一层提问,说明你只是用了它、…

#求职#职业转型

面试题·RAG

RAG 为什么要同时用 BM25 和向量检索？

匹配正文：…处理候选，不能直接当成其他数据集的固定答案。追问三：检索前为什么要先限定资料范围搜索前还要先限定资料范围。例如，用户正在查询 A 知识库，就不应从 B 知识库带回内容；已经停用的文档，也不应继续参与搜索。这一步不是判断哪段资料更相关，而是先决定哪些资料有资格进入候选集。实现中的过滤步骤会整理所属知识库、来源文档和内容是否可用等条件。它们不是给相关内容加分，而是决定本次搜索能看哪些资料。若知识库选错、文档范围过窄，或者内容状态不符合条件，两种检索都会在错误范围里工作。对应…

#RAG#检索与重排#RAG 混合检索

面试题·Agent

Agent 工具超时怎么办？重试、换工具、降级和停止怎样设计

匹配正文：…，故障率和恢复时间也不同。合理阈值来自工具历史分布、服务目标和故障演练。同一次 Agent 任务中的重试要有共享预算。否则工具 A 重试若干次、工具 B 再重试若干次、Planner 重规划后又从头重试，局部都没超上限，整体却已经失控。重试放在哪一层客户端或 SDK 层适合处理连接重置等非常底层、明确安全的瞬时错误。它看不到完整业务语义，次数要保守，并把实际尝试记录出来。工具网关层掌握工具契约、幂等、超时和备用执行器，是多数工具重试的主位置。它能把底层错误转换为统…

#Agent#工具调用与安全#Agent 工具超时重试

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…文档在某一路越靠前，贡献越大；同时出现在多路前排的文档，会累加多路贡献。用一个假设的教学例子说明会更直观：BM25 的前三名是 A、B、C，向量检索的前三名是 D、B、E。B 在两路都出现，虽然都不是第一，它的两份倒数排名贡献会相加；A 和 D 只在一路领先，各自只有一路贡献。RRF 因此会让“被不同检索机制共同认可”的候选获得更高排名。实现时，核心步骤是按统一文档标识遍历每一路结果，把同一文档在各路的 1 / (k + rank) 累加，再按总贡献排序。生产链路还要处理…

#RAG#检索与重排#RRF

搜索排序A/B测试权重设计陷阱

搜索排序权重如何做可信 A/B 测试？

推荐结果不准，如何从曝光到业务结果定位？

第 8 章:评估:调研类任务没标准答案,怎么定义「好」

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

RAG 智能问答系统

LLM、Workflow 和 Agent 怎么选？什么任务根本不该做成 Agent

Deep Research 拿到一个大问题后，怎么拆成能查证的子问题？

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

ReAct Agent 为什么会死循环？停止条件和步数上限怎么设计

Deep Research 报告有引用就可信吗？多个来源互相矛盾怎么办？

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

第 4 章:Embedding 选型与向量化

IterResearch 的演进报告为什么不是普通摘要，怎样避免越改越错？

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

Deep Research 并行任务怎么拆，依赖、尾延迟和综合成本怎样控制？

Chunk 为什么要带标题、页码和前后片段 ID？

第 10 章:系统评估与上线优化

RAG 知识库如何动态更新？重复上传怎么做到不重复、不漏写？

没有大模型项目经验,怎么攒出能写进简历的项目

RAG 为什么要同时用 BM25 和向量检索？

Agent 工具超时怎么办？重试、换工具、降级和停止怎样设计

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？