匹配正文：…和正确证据。记录当前基线的完整配置，包括解析版本、Chunk 策略、Embedding、候选数量、融合方式、Rerank、阈值和生成模型。一次只改变一个主要因素，再运行同一批样本。保存每条问题的候选原文、排名、最终上下文、答案和引用，而不是只保存汇总指标。汇总时分层看检索、生成和无答案表现，再按题型查看。总分上升但否定题下降，不能直接宣布改动成功。最后运行回归集和保留集，确认已知问题没有退化，新问题也能得到同方向改善。一次 RAG 改动的评审清单固定数据、记录配置…

#RAG#评测与上线#RAG 评测集

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…uery 处理、检索、排序、上下文组装、答案生成和引用回跳。最终回答错了，可能是正确证据根本没有被找回，也可能是证据已经排在前面，生成模型却漏掉了限制条件。只看一个端到端分数，团队仍然不知道应该修哪一段。这也是项目面试里很容易被追问的一道题： Recall@K、Precision@K、MRR、答案正确性和 Faithfulness，分别在评估 RAG 哪一层？如果几个指标互相矛盾，你会怎样定位问题？如果只把几个英文缩写逐个翻译出来，回答还停留在知识点层面。面试官真正想听的…

#RAG#评测与上线#RAG 评估指标

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

…大，失效风险也越高。 Embedding 缓存依赖模型版本。检索缓存依赖知识库、文档版本、过滤条件、检索配置和权限。答案缓存还依赖生成模型、Prompt、引用和时效。三层缓存的收益与失效风险矩阵缓存位置越接近最终答案，需要纳入缓存键和失效策略的上下文越多。假设同一句问题在两个知识库里答案不同，缓存键却只有 Query。第一个用户的检索结果可能被第二个用户复用，这已经不是性能小问题，而是数据越界。文档更新后，旧缓存也要失效。可以把知识库版本写入缓存键，或者在发布新版本时…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：

#RAG#评测与上线#RAG 首字响应

面试题·模型训练· 美团

合成数据怎么系统构建?

匹配正文：…任务引导模型生成新的指令，并根据指令是否需要输入继续生成输入与输出，再通过相似度和启发式规则过滤，形成迭代数据。实现时要保留来源、生成模型、prompt和过滤版本，防止同一模板无限扩张。质量控制应按可验证性分层。代码运行测试，数学重算结果，检索型答案检查权威资料和引用，结构化任务用schema与业务规则，主观写作用盲标gold和成对人评。多个模型给出相同答案只能作为弱信号，因为它们可能共享训练数据、知识盲点和表达捷径。困惑度可以反映文本在某个语言模型下的可预测程度，却不是…

#数据合成#Self-Instruct#指令微调

面试题·项目与经历· 美团

项目难题怎么定位与解决?

匹配正文：…bedding；若候选集中有答案但排序靠后，再检查查询改写、向量模型、负样本和重排；若证据正确但答案错误，则处理提示、上下文冲突、生成模型或校验。落地过程还要说明负责人、灰度范围、回滚条件与复测结果。所有数字都应能由实验记录、监控或评审材料核验。

#问题定位#工程实践#跨团队协作

面试题·评估· 字节

判别式转生成式哪种方法更优?

匹配正文：…式任务包含分类、匹配、序列标注和结构化抽取，输出空间与错误成本差异很大。常见路线包括把标签写进prompt直接生成、用指令数据微调生成模型、用统一schema做多任务生成，以及保留encoder表示再接专用判别头。 prompt路线改动小，适合快速验证和少量示例，但结果受模板、verbalizer和基础模型能力影响，严格格式还需要约束或校验。指令微调能让输出更稳定，却需要代表性训练数据，并可能对未覆盖表达过拟合。统一生成框架便于共享任务与schema，但解码成本、无效输出和标…

#判别式转生成式#Prompt工程#指令微调

面试题·项目与经历· 商汤科技

数据预处理关键步骤与目的

匹配正文：…率等指标，并结合业务表现与人工复核设阈值。阈值由历史波动和风险成本校准，不是看到任意距离变化就自动增量训练。Self-RAG 是让生成模型按需检索并用反思 token 评价检索与生成的 RAG 方法，不是通用数据漂移检测或自动清洗触发器。

#数据清洗#数据增强#数据采样

面试题·项目与经历· 百度

训练数据来源怎么选?

匹配正文：…；普通 RLHF 奖励模型学习的是给定偏好数据上的相对偏好，可能偏爱风格、长度或迎合，不应当作通用事实正确性评估器。合成数据要保留生成模型、提示、过滤和人工抽检记录，防止错误自举和分布变窄。落地时为数据集建立 datasheet 或 dataset card，按来源和风险分层抽样，去重后再划分 train、validation、test，避免同源泄漏。发布前运行许可证白名单、敏感信息检测、内容安全、基准污染和人工评审；训练后按来源做消融，发现某来源只增加规模却降低目标指标时…

#数据构建#数据质量#数据合规

面试题·项目与经历· 京东

普通经历如何讲成就感

匹配正文：…中相关证据的比例；只有在二元相关标注下，候选噪声比例才可写成 1-precision。context utilization 说明生成模型是否使用了证据；faithfulness 检查回答断言是否被上下文支持；最终任务成功还取决于问题理解、生成、工具和交互。召回低于某个固定百分比不会让所有系统必然崩溃，阈值依业务错误成本与数据分布确定。所有项目名、角色、数据量、指标和收益都保留给候选人按事实填写，不使用通用脚本制造个人履历。

#行为面试#自我认知#项目复盘

面试题·模型架构· 安克科技

GPT vs BERT 核心区别在哪?

匹配正文：…据上训练，并经过域内校准后，BERT 类模型才可承担相应分类环节。选型看输出形式和成本：需要逐 token 生成与上下文学习时选生成模型；需要低延迟固定标签、向量编码或 token 标注时，encoder-only 往往更经济。两者都可通过微调扩展任务，不能用“GPT 只会生成、BERT 只会分类”作绝对边界。图解 GPT vs BERT 核心区别在哪?图解

#自回归模型#自编码模型#Transformer

面试题·推理优化· 百度

视频生成加速有哪些方法?

匹配正文：…训练或蒸馏减少步数。DPM-Solver++不是“动态跳步”的同义词。 latent压缩：空间或时空autoencoder减少进入生成模型的token/latent数量；压缩率、重建误差和时序一致性需要共同评测。时空建模：全时空attention为 O((THW)^2)；先空间后时间的分解仍为 O(T(HW)^2 + T^2HW)，并没有变成线性。局部与稀疏计算：窗口、块稀疏、token pruning或条件缓存可减少特定重复计算，但必须说明可见范围和复用条件。3D因果V…

#视频生成#扩散模型加速#时序建模优化

面试题·评估· 字节

RAG 评测优化闭环

匹配正文：…生成损失反向优化检索器（可微分搜索或强化学习）在线闭环：用户反馈（点赞/点踩）回流优化检索排序三、落地建议冷启动阶段：先固定生成模型，优化检索（见效快）数据积累后：引入RAGAS自动评估，建立A/B测试框架高阶阶段：针对业务bad case做专项优化（如表格理解、多文档聚合）学习建议建议系统学习该知识点

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 百度

RAG 错误怎么定位到检索或生成?

匹配正文：…先确认黄金证据充分、prompt和输入格式正确，再查生成与证据使用；不能仅凭该实验断言是幻觉。二、独立指标体系检索侧指标（无需生成模型）： Recall@K：Top-K命中的黄金相关文档数 / 全部黄金相关文档数；至少命中一份是Hit@K MRR：每个query首个相关结果排名的倒数，再求均值；无命中记0 NDCG：排序质量生成侧指标（固定检索结果）： Faithfulness：生成内容是否被检索文档支持（可用NLI模型判断） Answer Relevance：答案与问…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…ank）精排Top-K 交叉编码器微调关键设计：查询改写（Query2Doc）处理口语化输入，如"心跳快"→"心动过速" 三、生成模型层（领域适配）基座选择：专业领域优先选已预训练模型（如Huatuo、LawGPT），或通用模型+领域SFT 检索增强生成：检索结果作为上下文注入Prompt 引用溯源：强制模型输出参考来源编号，支持可解释性安全机制：添加拒答策略（超纲问题、无可靠来源时），医疗场景必须设置"请咨询专业医师"风险提示四、评估机制（多维指标）维度指标…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…工标注 Answer Relevance：答案是否直接回应问题，而非答非所问诊断方法黄金文档实验：把人工标注的理想文档强制喂给生成模型，看输出是否变好变好 → 检索问题仍差 → 生成问题（指令遵循不足、长上下文理解差、或SFT数据有偏）上下文长度消融：逐步截断输入文档，观察性能衰减曲线，判断模型长文本能力瓶颈第三层：协同环节问题（最易被忽视）典型症状检索文档相关但生成忽略（选择性失明）多文档信息冲突时生成混乱（矛盾融合失败）检索文档冗余导致关键信息被淹没（…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…mpt（如"文档[1]说...文档[2]说..."），明确标注来源动态上下文窗口：根据问题复杂度调整送入LLM的文档数量 2. 生成模型/推理优化微调策略：用领域数据SFT，强化"基于给定上下文回答"的指令遵循能力 Prompt工程：添加显式约束，如"若上下文无法回答，请明确说明" 解码策略调整：降低temperature减少发散，或改用CoT激发推理能力 3. 反馈闭环机制收集"检索准但生成错"的样本，构建针对性训练集引入Self-RAG或迭代生成：让模型先生成、再…

#上下文压缩#生成调优#RAG 效果诊断

面试题·模型微调· 百度

RAG 端到端工作流程

匹配正文：…低微调成本基本原理 RAG（Retrieval-Augmented Generation）将外部知识检索与大模型生成结合，解决纯生成模型的知识截止和幻觉问题。核心思想：不依赖模型参数记忆知识，而是动态检索相关文档作为上下文，让模型基于检索结果生成回答。系统架构模块功能索引模块文档切分 → Embedding编码 → 向量数据库存储检索模块查询向量化 → 相似度搜索（Top-K召回）生成模块检索结果+原始查询 → 拼接Prompt → LLM生成工作流程…

#百度#RAG 端到端工作流程#RAG 从查询到答案怎么工作？完整流程与可靠性边界

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…词） └── 图谱检索（如有构建实体关系） ↓ 重排序模型（Cross-Encoder/LLM-based） ↓ Top-K 送入生成模型关键优化：Query改写（HyDE、伪文档生成）、多向量表示（ColBERT）四、模型集成与生成上下文压缩：检索结果去冗余，用LLM摘要或选择性上下文 Prompt设计：明确引用格式要求，强制"不知道就拒绝" Citation生成：要求模型标注信息来源，提升可信度五、效果评估：闭环迭代层级指标方法检索 Recall@K、MR…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调

SFT vs RAG 知识更新

匹配正文：…无限知识，且知识冲突时易产生幻觉。适合模式学习（风格、格式、推理链）而非事实记忆。 RAG上限：受限于检索精度和上下文长度。再强的生成模型也救不回错误的检索结果。适合事实密集型任务，但长程多跳推理是短板。选型建议场景推荐方案领域知识稳定、需深度推理（代码、数学） SFT 知识频繁变更、需可溯源（客服、政策问答） RAG 两者都要 RAG+SFT：RAG提供实时知识，SFT优化推理风格和领域格式关键判断：知识更新频率 > 每周？选RAG。需要复杂推理且知识稳定？选SF…

#SFT#RAG 知识更新#SFT vs RAG 知识更新

面试题·Prompt· 字节

AI Agent 核心特点与局限

匹配正文：…本与延迟落地场景举例（自动化运维、智能客服、代码助手） Agent的核心特点 Agent = LLM + 环境交互能力，区别于纯生成模型的关键：闭环反馈机制四大核心组件感知：接收环境状态（API返回、用户输入、工具输出）规划：任务分解、策略选择（CoT/ReAct/Tree of Thoughts）行动：工具调用、代码执行、外部API交互记忆：短期上下文 + 长期知识库（向量检索）主流架构模式模式特点代表 ReAct 推理与行动交替，实时修正大多数开源A…

#字节#评估与监控#Agent

面试题·RAG· 百度

对话模型准确性怎么提?

匹配正文：…罗列一、模型架构层面知识增强架构检索增强生成（RAG）：把外部检索到的资料作为生成上下文，检索器与生成器可以独立更新；不要求生成模型采用编码器—解码器架构。 Self-RAG：引入反思token（Retrieve/IsRel/IsSup/IsUse），让模型自主决定何时检索、如何使用 Toolformer范式：预训练阶段嵌入API调用能力，将外部工具调用内化为模型原生能力长上下文优化 NTK-aware RoPE、YaRN 等方法用于扩展可处理的上下文；具体长度和质量…

#百度#对话模型准确性#模型架构优化

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：…关系流水线式分离：检索→拼接→生成，各模块独立优化端到端融合：检索作为可微分模块嵌入生成流程训练方式检索器固定或独立训练，生成模型无法反馈优化检索联合训练，生成loss可回传优化检索编码器知识存储检索结果作为硬提示（hard prompt）拼接检索向量通过注意力机制软融合（soft fusion）核心区别：RAG将检索从"前置预处理"转变为"模型内部运算"，典型如Dense Passage Retrieval + BART/GPT的联合优化。二、信息融合机…

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·RAG· 字节

垂直领域 RAG 完整架构

匹配题目：…如何为专业领域（如医疗或法律）构建一个高质量的检索增强生成（RAG）系统或智能助手，涵盖架构设计、数据源选择与处理、检索系统构建、生成模型优化、安全合规保障以及多环节集成等关键方面，并结合实际应用场景说明各模块的设计考量与协同机制。

#字节#垂直领域RAG#垂直领域 RAG 完整架构

面试题·RAG· 淘天

现代 RAG 架构怎么变?

匹配正文：…5）、独立索引稠密检索（DPR、Contriever）、双塔编码生成器固定LLM，仅把检索文本当prompt 可训练或适配的生成模型连接方式字符串拼接，显式上下文窗口潜在空间交互，隐式信息融合典型代表：Facebook的RAG模型（2020）首次将检索器和生成器联合预训练，而非简单拼接。 2. 信息融合位置输入层融合（早期）：检索文档直接拼接到prompt，受限于上下文长度，容易信息淹没中间层融合（现代）：检索得到的向量通过cross-attention注入…

#淘天#RAG端到端训练#现代 RAG 架构