匹配口述回答：这道题其实是在问，怎么造一套靠谱的数据来评估[[RAG]]系统好不好用，而不是随便找几个问题测测就完事。我一般会从三个层面来构建评估集：开发集、测试集和对抗集。开发集大概500到1000条，用来迭代调优，比如调 chunk 大小或者 rerank 阈值；测试集1000到3000条，做最终对比评测；对抗集200到500条，专门挑高难度、容易翻车的场景，比如需要多跳推理或者要回答“不存在”。三层分开，避免调参时过拟合到测试数据上。先说问题怎么来。我倾向于混合策略，大概70%用 …

#安克科技#评估与监控#RAG 问答金标构建

面试题·检索· 快手

RAG 延迟与准确率优化

匹配口述回答：…苦把优化全上了，结果用户问的问题太简单，比如“你好”，系统却走了一遍完整检索加推理，延迟白白浪费。所以上线前我会特别关注query分类，简单问题直接命中缓存或走轻量模型，复杂问题才走全链路。另外，我最近在关注[[Agentic RAG]]的方向，就是让Agent主动决定什么时候检索、什么时候直接生成，而不是被动等用户指令。但这里有个风险，Agent如果判断失误，可能该检的不检，不该检的乱检，反而拉低正确率。所以我会把Agent的决策边界设置得保守一些，优先保证正确率，再逐步…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配口述回答：…文压缩，只保留最相关的几句，避免超出模型窗口。举个例子，企业做合规文档问答，用户问“我们这种跨境业务适用哪个条款”，Naive RAG可能搜出一堆不相关的政策，而Advanced RAG会先识别“跨境”关键词，从知识图谱里找到对应的业务分类，再检索具体条款，最后用重排确保答案精准。落地时我特别关注两个风险。一是检索精度，如果[[Embedding]]模型没在领域数据上微调过，语义会漂移，比如“苹果”可能匹配到水果而不是品牌。我的做法是用[[Dense Retrieval]…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#RAG实现原理#RAG 实现原理

面试题·检索· 字节

RAG 架构：检索到生成全链路

匹配口述回答：…司年假政策”这种宏观问题，需要大块上下文；问“某天请假扣多少钱”这种具体问题，小块就够。如果面试官有兴趣，可以聊聊怎么用query分类来决定分块策略。所以整体上，我更倾向于把RAG看成一个检索系统加一个生成系统的组合，检索的精度决定了生成的上限。在工程落地上，我会先保证检索的召回和排序不出大问题，再优化生成侧的Prompt和模型选择。一句话定位：RAG本质是让LLM带个外部知识库，解决事实更新与幻觉问题离线构建：文档解析、分块、向量化、存库，重点说分块策略和边界在线流…

#字节#RAG组件设计#RAG 系统架构

面试题·RAG

LLM 封闭标签方法对比

匹配标题与标签：LLM 封闭标签方法对比封闭标签分类的 Prompt、约束解码、后处理和微调对比 RAG 封闭集合分类约束解码 LLM 封闭标签方法对比 LLM 怎么严格输出预定义标签？方法对比与选型 LLM 输出限定标签

#封闭集合分类#约束解码#LLM 封闭标签方法对比

求职指南·RAG

PDF、表格、OCR 与文档解析项目模拟面试

匹配正文：…。端到端组件、数据流和每层输入输出关键接口与约束如何影响设计下一步：tradeoff。配套学习：扫描PDF怎么解析内容?、RAG 数据处理与索引流程?。 4. tradeoff · tradeoff 为什么选择当前 OCR、版面模型和表格方案？规则、专用模型、视觉大模型和人工复核各在什么边界使用？考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。至少两个候选方案、真实约束与放弃原因质量、时延、开发和维护成本下一步：metrics。配套学习：RAG 中…

#模拟面试#简历项目#连续追问

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：… 需要追加追问时：ownership_ambiguous → ownership-proof。下一步：design。配套学习：RAG 文档检索选型。 2. ownership · ownership-proof 请用一次参数变更、离线实验或线上回滚说明你的决策如何进入生产。考察重点：用可脱敏工件交叉验证职责，而不是继续听抽象表述。能对应到本人动作的变更、评审或设计记录本人负责的参数变更、离线实验、配置 diff 或线上回滚记录下一步：design。配套学习：项目…

#模拟面试#简历项目#连续追问

求职指南·RAG

多轮对话、引用与权限隔离项目模拟面试

匹配正文：…至少两个候选方案、真实约束与放弃原因质量、时延、开发和维护成本下一步：metrics。配套学习：多轮对话上下文状态管理机制、RAG多轮对话怎么防知识遗忘?。 5. metrics · metrics 多轮一致性、引用正确率、权限泄漏率和延迟如何定义？基线与对抗集是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。多轮一致性、引用正确率和权限泄漏率的判定规则同一会话与权限对抗集上的旧方案结果多轮、错引、越权和权限变更样本的版本记录租户、用户和文档级…

#模拟面试#简历项目#连续追问

项目实战·Agent

第 1 章:为什么需要 Deep Research

匹配正文：…。真正显水平的是讲清「分级路由」:用一个轻量判断(规则 / 小模型 / 一次便宜的 LLM 调用)先判断问题复杂度,简单的走普通 RAG、复杂的才进 Deep Research 全流程。把贵的算力只花在真正需要的问题上,这套「先分诊、再调度」的思路,在 RAG 项目的文档解析里也用过(见 RAG 系列第 3 章「分类器前置 + 动态调度」),是通用的工程审美。 2.3 Deep Research 的能力边界:能做什么、不能做什么面试官常追问「它的局限是什么」,这是在看你有没…

#Agent#Deep Research#项目实战

项目实战·RAG

第 3 章:文档预处理与切分

匹配正文：📊 学习时长:60-75 分钟 🎯 完成后能力:能在本机用 30 行代码切完一份 PDF,并讲清切分如何决定一个 RAG 系统的天花板 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用 langchain 跑通你的第一份文档切分 ✓ 看懂 3 个核心概念:什么是切分、什么是召回率、什么是 top-k ✓ 亲手重现一个切分失败演练,理解"切分为什么是地基" ✓ 看懂基础方案可能遇到哪些坑,并学会用自己的评估集比…

#RAG#检索#项目实战

面试题·RAG

复杂 PDF 的双栏、表格和图片怎么解析，才不会打乱语义？

匹配正文：…断。它可以帮助检索，但必须保留原图引用和来源位置，关键内容还要抽检。回答中应区分原文文字、结构化提取和模型生成描述。解析成功但 RAG 仍答错，先查哪里？先拿出模型实际看到的证据。若证据中的顺序和字段关系已错，回到解析与切分。如果证据结构正确却没有被找回，再查检索。如果正确证据已经排在前面，才继续检查上下文组织与生成。怎样证明不是只调用了开源解析器？讲清输入分类、路由条件、保留的数据结构、失败页面、验收样本和回归过程。工具名称只是链路中的一环，真正的工程贡献体现在怎样…

#RAG#解析与入库#复杂 PDF 阅读顺序

项目实战·RAG

第 7 章:Query 理解与改写

匹配正文：…YDE 为什么"假答案"反而有用能讲清多轮里为什么要做指代消解、怎么做能答出"300-500 个意图怎么做"(检索式 / 两级分类) 4 项以下 → 回去 Part 1 重做;4–5 项 → Part 2 再看一遍;6 项以上 → 进入下一章。完整代码 + 数据集本书每章的完整可运行代码 + 测试样本,都在配套 GitHub 仓库: 🔗 github.com/MisterBooo/rag-from-zero clone后先阅读项目首页的配套代码与运行环境，把零依赖演…

#RAG#检索#项目实战

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…拆开？召回结果重复后，会占掉多少候选位和模型上下文？参数改变后，怎样证明收益来自切分，而不是其他模块同时变化？从工程链路看，RAG 可以拆为离线解析、在线召回、上下文生成和查询理解。切分位于离线阶段，但它会沿着整条链路向后影响：块太大，向量里同时包含多个主题，检索得分可能被噪声稀释；块太小，问题所需的前提、条件和结论可能落在不同块里；重叠太小，边界信息可能断开；重叠太大，多个近似块会挤进同一个 Top K。所以，这不是一个“字符串应该截多长”的问题，而是“证据怎样进入…

#RAG#切分与索引#Chunk Size

面试题·RAG

跨页表格、代码块和图片怎么切，才不丢结构？

匹配正文：…列代表什么。代码可能从函数中间断开，缩进和上下文一起丢失。流程图虽然识别出所有文字，却看不出箭头关系。这就引出一道很有区分度的 RAG 面试题：表格、代码和图片应该怎样切成 Chunk，既能被检索，又不破坏原来的结构？常见回答是：“表格单独成块，代码按函数切，图片先做 OCR。” 这句话只讲了入口。面试官接下来通常会问：表格太长怎么办，跨页表头怎么继承，PDF 里的代码无法做语法解析怎么办，图片描述如果编错了又怎么核验？为什么普通文本能切，特殊内容却容易切坏？普通段…

#RAG#切分与索引#RAG 表格切分

项目实战·RAG

第 9 章:上下文问答与引用溯源

匹配正文：📊 学习时长:50-65 分钟 🎯 完成后能力:能讲清 RAG 最后一环怎么把检索结果"翻译"成有据、可溯源的回答,会用 30 行代码实现"带引用 + 会拒答"的问答,并讲清引用溯源两条路线和幻觉检测 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用一段零依赖代码,看到"有依据就带出处答、没依据就拒答" ✓ 看懂上下文问答:LLM 是基于检索到的资料作答,而不是凭记忆 ✓ 学会 Prompt 怎么拼(仅依据资…

#RAG#检索#项目实战

面试题·RAG

RRF 和加权求和怎么选？两路检索分数为何不能直接相加？

匹配正文：…必须有依据如果验证集显示精确查询更依赖 BM25，口语化和同义表达更依赖向量检索，可以按查询类型采用不同权重。工程上可以先做意图分类和动态权重，并通过验证集实验选择权重。但动态权重会新增一层风险：查询分类错了，融合方向也会跟着错。一个问题可能既包含精确术语，又带有长场景描述，硬分成“精确”或“语义”并不总是合理。分类模型本身还会增加延迟、维护和监控成本。所以加权融合的优势是控制力强，可以使用分数差距、查询类型和业务先验；代价是必须承担分数校准、权重选择和分布漂移。 RR…

#RAG#检索与重排#RRF

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…什么时候可以跳过 Rerank？当检索已经提供高置信、低歧义的正确证据，且评测显示精排没有稳定增益时，可以考虑跳过。但决定要来自分类型评测，而不是感觉。把 Rerank 的价值讲到可验收口述时先把 Bi-Encoder 与 Cross-Encoder 的职责分开，再用候选覆盖、排序变化和尾延迟说明是否值得接入： Rerank 常用 Cross-Encoder，把 Query 和每条候选一起编码，能捕捉否定、条件和候选细节之间的交互，因此排序更细。但它无法像 Bi-Enc…

#RAG#检索与重排#RAG Rerank

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：…概念，信息太少，向量很容易飘到一堆相近主题。这三类问题都可能被笼统地归入“Query 优化”，但适合的处理方法并不一样。如果不分类型，每个问题都先交给大模型改写，不仅多一次调用，还可能把原本清楚的编号、否定和限制条件改错。重写、扩写和 HyDE 分别解决什么？ Query 重写追求的是“把问题说完整”。用户问“这个怎么申请”，系统要结合有限的对话历史，把它恢复成类似“年假怎么申请”这样可以脱离上下文独立理解的问题。错别字、口语填充、缩写和省略也可以通过重写处理。重点…

#RAG#检索与重排#RAG Query 重写

面试题·评估· 美团

LLM 幻觉治理方法对比

匹配正文：幻觉分类事实性幻觉：模型生成与客观事实不符的内容（如错误日期、虚构人物）忠实性幻觉：生成与输入上下文或检索内容不一致的回答主要缓解方法及有效性分析 1. 训练数据优化（源头治理）做法：去重、过滤低质量/冲突数据、知识边界标注、课程学习效果：基础但长尾，无法解决训练截止后新知识问题局限：成本高，且模型仍可能"过度泛化" 2. RAG（检索增强生成）做法：外挂知识库，将检索到的相关文档拼入Prompt 效果：对事实性幻觉效果显著，可追溯来源关键：检索质量决定上限，…

#美团#幻觉治理#LLM 幻觉治理方法对比

面试题·评估· 字节

知识库更新策略怎么选?

匹配正文：…版本控制、事务）提及更新对检索质量的影响及重索引策略体现对实际工程权衡（成本、延迟、准确性）的理解知识库更新策略按更新粒度分类全量重建：定期（如每天/每周）重新拉取全部数据、重新分块、重新生成embedding 优点：数据一致性最好，可彻底清理脏数据缺点：成本高、耗时长，适合数据量小或低频变更场景增量更新：仅处理变更数据（新增、修改、删除）基于CDC（Change Data Capture）捕获数据库binlog 或基于消息队列（Kafka/Pulsar）消费…

#字节#评估与监控#RAG 知识库更新

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配正文：…型能力通用问答、格式转换零成本、易迭代；受模型能力上限约束客服话术生成上下文学习(ICL) 示例驱动，无需参数更新小样本分类、风格迁移灵活快速；受上下文长度限制工单分类、情感分析微调(SFT/PEFT) 领域数据适配模型参数垂直领域、稳定需求效果深度定制；数据/算力成本高滴滴司机调度策略模型 RAG 检索+生成，外挂知识库知识密集型、需可解释解决幻觉、实时更新；检索质量决定上限智能客服、合规审查 Agent 工具调用+规划+记忆，自主决策复杂任务…

#滴滴#模型微调#Agent

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配口述回答：[[Reranker]] 训练数据的核心目标，不是让模型学会“相关/不相关”这么粗的二分类，而是让它在一批都看起来有点相关的候选里，把最能回答问题的文档排到最前面。因为在 [[RAG]] 里，召回器会先产生较大的候选集，而生成器受上下文预算限制只能使用其中一部分，所以 reranker 的质量会直接影响最终证据可见性。我会先定义标注标准。正样本里最好区分强相关和弱相关：强相关是单独看这个文档就能回答 query；弱相关是包含部分信息，但需要和其他文档组合；负样本则是语义相近…

#美团#重排与优化#Reranker 训练数据

面试题·RAG· 小红书

用户兴趣模型：数据与特征取舍

匹配正文：…的完播率序列特征最近50条交互内容的ID序列（用于DIN/SIM）小红书特色：强化"生活方式"标签体系（穿搭、家居、旅行等细分类目）三、算法选型：召回→粗排→精排召回层双塔模型（User塔+Item塔）：用户兴趣向量实时更新，Item向量天级更新多路召回：兴趣标签召回、协同过滤、图神经网络（社交关系）精排层多目标优化：点击+互动+关注+时长，用MMoE或PLE结构序列建模：DIN/Transformer捕捉短期兴趣，长期兴趣用记忆网络冷启动策略新用户：…

#小红书#用户兴趣建模#用户兴趣模型

面试题·RAG· OPPO

搜索排序中时效性特征量化方法

匹配正文：…保鲜期的内容（如评测）周期性特征提取小时、星期、是否节假日捕捉周期性用户行为 2. 相对时效性（意图感知） Query时效性分类：用模型判断query是否含时效意图（如"最新"、"2024"）动态权重融合：final_score = α(t)·时效分 + (1-α(t))·相关分，其中α根据意图强度动态调整 3. 行业特例手机/数码：发布会前后7天权重陡增，用分段函数或事件时间对齐医疗/法律：需反向降权，优先权威来源而非最新衡量方法离线指标时效性NDCG：按…

#OPPO#时间衰减#时效性特征设计