匹配追问：场景切入假设你做一个知识库问答系统，用户上传了几百份PDF合同，需要从中检索条款。你怎么把这些文档存到向量库里？从解析、分块到选模型和建索引，大致步骤说一下吧。层层追问 RAG系统里文档数据怎么处理才能检索？……那原始文本读进来之后，分块你一般怎么分？……如果文档很长，比如法律条文，怎么保证语义连贯？……嵌入模型选型要考虑哪些因素？……最后存到向量库，索引结构你怎么选？直球架构讲一下RAG系统中从原始文本到向量数据库的完整数据流，包括文档解析、分块策略、嵌入模型选型以…

#RAG#文档存储#解析

面试题·文档处理· 安克科技

RAG文本向量化：分块与嵌入陷阱

匹配追问：场景切入假设你要做一个企业内部知识库问答机器人，用户上传了一堆PDF和Word文档。你打算怎么把这些文档转成向量存起来？从原始文本到向量，中间要经过哪些步骤？层层追问 RAG系统里，文本怎么变成向量？……那文档很长怎么办，直接整篇编码吗？……分块的话，块大小怎么定？……选什么编码模型？中文场景有没有推荐的？……向量存进去之后，怎么保证检索质量？直球架构请你描述一下RAG系统中，将文本内容转化为向量表示的完整流程。包括分块策略、Embedding模型选型、向量维度与归一…

#安克科技#RAG 文本向量化#分块策略

面试题·评估· 字节

Agent 系统优缺点怎么分析?

匹配口述回答：…动作不够”的问题。真正落地上，Agent把RAG当做一个工具来调用。比如用户问“我们公司对退货有什么政策”，Agent先规划需要查知识库，就调RAG工具拿结果，再基于检索结果继续规划，最后执行回复或发起退款流程。反过来，RAG也可以把Agent的输出作为上下文。所以不是二选一，而是按需组合。其实还有一个更前沿的方向，就是[[Self-RAG]]，让Agent自己学会反思和修正自己的输出，减少幻觉。但那个对模型能力和推理成本要求更高，目前还在探索阶段。最后总结我的落地思路：…

← 上一页第 10 / 14 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#字节#Agent#Agent 系统优缺点

面试题·评估· 字节

RAG 为何要二次生成?

匹配口述回答：…”是不同实体。说白了，向量检索是模糊匹配，大模型做的是精确理解。所以光靠向量匹配直接输出，很容易答非所问。再一个，上下文完整性。知识库里的文档被切成[[Chunk]]，每个chunk是独立的片段，但原文的逻辑是连贯的。比如一句“如果用户逾期，则收取违约金”，如果只检索到后半句“收取违约金”，没有前面那个条件，回答就错了。还有指代问题，比如“该公司”在chunk里找不到指代对象。大模型的作用就是把分散的chunk重新拼起来，做跨片段的逻辑补全。这里有个坑：如果chunk切得太…

#抖音#RAG 二次生成#向量检索 vs 大模型生成

面试题·评估· 字节

RAG 评测优化闭环

匹配追问：场景切入假设你做一个智能客服，用户问'我的订单到哪了'，系统从知识库检索物流规则生成回答。你怎么知道这次回答对不对？如果用户说'你答错了'，你打算怎么改？层层追问 RAG系统上线后，你怎么判断它好不好？……比如用户问了一个问题，你怎么知道检索到的文档够不够？……那生成的内容是不是都来自文档？如果没有，算不算幻觉？……你打算从哪些维度去评估，又怎么一步步改进？直球架构设计一套完整的RAG系统评估体系，包括检索模块、生成模块和端到端的指标，再给出至少三种迭代优化策略，覆盖…

#字节#评估与监控#RAG 评测优化闭环

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配追问：场景切入假设你在做一个电商客服机器人，用户问“这个订单什么时候到”，系统去知识库检索了物流规则。你怎么评估这次检索和生成的效果？比如你能从哪些层面去度量，又怎么知道哪里需要优化？层层追问 RAG系统上线后，你怎么判断它好不好？……如果只看端到端正确率够吗？……那检索召回和生成质量怎么分开看？……比如检索召回很高但答案还是错的，你会怎么定位和迭代？直球架构请讲一下RAG系统的系统性评估方法，需要覆盖检索层、生成层和端到端指标，以及常见瓶颈对应的迭代优化方法。你直接说框架…

#字节#评估与监控#RAG 评估

面试题·评估· 字节

RAG 召回评估指标对比

匹配追问：场景切入我看你做过知识库问答。假设用户问了一个产品问题，你召回了几段文档，但答案在第三段才出现，你觉得这个召回结果算不算好？你会用什么指标来量化这个‘好’？层层追问 RAG系统里召回结果怎么评估？……你一般用什么指标？……那如果正确答案排在很后面，只靠Recall够不够？……你觉得MRR和Recall分别侧重什么？直球架构评估RAG召回阶段，你选哪些关键指标？比如Recall@k、MRR、NDCG，它们分别影响系统什么性能？你怎么根据业务场景取舍？

#抖音#Recall@k#RAG 召回评估

面试题·评估· 淘天

RAG编码模型评估指标与对比

匹配口述回答：…不知道答案的时候，能自己去查资料，然后给出靠谱的回答。[[RAG]]就是干这个的，它本质上不是让模型学会新知识，而是给它配一个外挂知识库。先说整体流程，我习惯把它拆成三段。第一段是索引，把知识文档切成小块，大概几百个token一段，然后用编码模型转成向量，存到[[向量数据库]]里。第二段是检索，用户问一个问题，同样用编码模型转成向量，去库里做近邻搜索，召回最相关的几段。第三段是生成，把问题和召回文档拼在一起，喂给大模型，让它基于这些信息回答。这里有个关键组件就是编码模型，…

#淘天#DPR 与 Contriever#RAG 编码模型评估

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配口述回答：…确文档，还是找到了但模型生成时忽略了，还是引用格式错了。针对性地修，迭代几轮之后质量会稳定很多。最后提一个我最近在关注的方向：当知识库频繁更新时，比如药品说明书改了，索引更新不及时会导致检索结果过时。这种情况下，我倾向用双缓冲策略，新旧索引共存，线上查询先走新索引，如果召回率不足再回退到旧索引，同时后台异步重建。但这里有个坑，如果更新太频繁，重建压力会很大，需要设计增量更新机制。所以整体上，我更愿意把领域RAG助手看作一个知识可信的工程系统，而不是单纯堆模型。从数据切分到…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 快手

Chain/Agent/Tool 怎么分工?

匹配口述回答：…字、描述、函数三个东西。关键是描述文本，模型靠它自主决定啥时候调哪个工具。比如客服系统里，工具可以是查订单API、计算运费、或者查知识库。举个例子，一个客服退款场景。用户说“我买的东西坏了，要退款”。如果流程固定，比如先验证订单，再判断退款条件，然后生成退款单，我会用Chain串联。但如果用户说“东西坏了，但我没订单号，而且我想换货”，这就复杂了，我会用Agent让它自己决策，先查用户信息，再调换货工具，最后确认。实际落地往往是Chain和Agent混用，Chain处理标准…

#快手#评估与监控#Agent

面试题·评估· 快手

LangChain 链式调用原理

匹配追问：…手写if-else？层层追问你平时用LangChain吗？……它里面的Chain和Agent有什么区别？……如果我想让模型先查知识库再生成回答，用Chain怎么搭？那如果查询步骤不固定、模型自己决定要不要查呢？……你觉得Runnable协议在背后起了什么作用？直球架构请你解释LangChain的模块化设计原理，它怎么通过Runnable协议和LCEL实现链式调用？各抽象层比如Model/IO、Retrieval、Memory之间怎么协作？Agent的决策循环又是怎么实…

#快手#评估与监控#Agent

面试题·评估· 淘天

现代RAG架构有哪些改进?

匹配口述回答：…检索，比如生成到一半发现缺信息，再主动去查一次。这不是简单拼接，而是有更深层的融合。具体说一下，传统RAG适合那些问题比较固定、知识库也不太变动的场景，比如内部知识库问答，查什么文档基本一眼就能判断。但真实业务里，问题复杂度差别很大，比如电商客服，用户问“退款流程”可能直接生成就行，但问“用了满减券又用了积分，退款怎么算”就得检索详细规则。所以现代RAG引入了自适应路由，让模型自己判断要不要检、检几次。这里我重点讲几个机制。第一个是迭代式检索，生成过程中发现知识缺口就触发…

#淘天#评估与监控#RAG架构改进

面试题·评估

RAG 检索语义相似但无关怎么解?

匹配追问：场景切入假设你在做一个电商智能客服，用户问'苹果手机的电池寿命'，你从知识库检索出一段'苹果的营养价值'，语义上挺像的，但实际完全无关。你会怎么分析和解决这种问题？层层追问 RAG系统里，检索召回的结果有时候语义相似度很高但实际不相关，你遇到过吗？……那你是怎么区分语义相似和任务相关的？……具体有哪些优化思路，从查询侧、检索侧到数据侧都说说？直球架构 RAG中'语义相似但任务无关'是一个经典问题，你分析一下它的根本原因，并给出至少三种分层优化方案，包括查询重写、多路召回…

#Embedding#Rerank#RAG 检索相关性

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配追问：场景切入假设你们做一个企业知识库问答系统，用户问“今年的报销政策”，你从文档里检索出几条相关条目，再让大模型生成回答。你怎么评估这个系统到底好不好？从检索和生成两方面说说你会看哪些指标。层层追问 RAG系统上线后，怎么判断它表现怎么样？……光看用户反馈够吗？……那检索部分有没有什么指标可以量化？……生成部分呢，答案是不是准确、有没有幻觉，这些怎么评估？直球架构评估一个RAG系统，从检索质量和生成质量两个维度，你分别会用哪些指标？具体怎么计算或获取这些指标？有没有一些现…

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 字节

RAG 上下文不准确，如何用数据定位？

匹配追问：…层层追问 RAG系统上线后用户反馈答案不准，你一般怎么排查？……如果确定是上下文信息本身错了呢？……那你手头有哪些数据能帮你定位是知识库脏了、检索没召回到对的、还是模型没用好？直球架构请你设计一套RAG上下文准确性问题的诊断和修复方案。诊断层面要区分检索和生成两类根因，数据层面要列出你需要的开发集、对抗集、线上回流数据，并说明每类数据的质量怎么控制。

#RAG#上下文诊断#数据质量

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配追问：场景切入假设你在做电商客服，用户问‘我的订单到哪了’，系统先检索知识库再生成回答。你怎么知道检索到的文档对不对、生成的内容有没有瞎编？具体用什么指标来衡量？层层追问 RAG效果好不好，你一般怎么评估？……光看生成回答够吗？……检索部分怎么量化？有没有一个统一的框架把检索和生成都管起来？直球架构请设计RAG系统的评估方案，分检索和生成两个层面，列出具体指标，再给一个端到端的自动化评估框架。实际项目中你会怎么平衡自动评估和人工抽检？

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 蚂蚁

Agent项目背景与技术方案怎么写?

匹配追问：场景切入假设你现在要给银行信用卡中心做一个客服智能体，每天十万咨询量，人工成本高、知识库分散在不同系统里。你会怎么设计整体方案？能不能聊聊你实际做过的类似项目？层层追问你在大模型落地方面有什么实际经验吗？……比如做个客服Agent，从项目背景、技术方案到具体工作，你是怎么想的？……能不能展开讲讲你负责的模块和遇到的难点？直球架构请分享一个你主导或深度参与的Agent项目，说清楚项目背景、技术架构、你负责的具体工作和量化成果。重点讲讲技术选型的思考和你的个人贡献，不要…

#蚂蚁#评估与监控#Agent 项目经验

面试题·评估· 美团

Agent三大能力评估陷阱

匹配口述回答：…时、准确的外部知识。比如一个金融Agent要生成研报，它必须去查最新的股价、新闻、财报，而不是靠模型背出来的数据。再比如企业内部的知识库问答，Agent需要从海量文档里检索出相关段落，然后才能回答。实际应用中，search往往和[[RAG]]结合，但有个常见失败场景：检索到的信息质量不高，或者被噪声干扰，导致Agent答非所问。所以我会特别关注检索的精度和去重。这三种能力不是孤立使用的，真正落地时往往要组合。比如一个智能客服Agent，用户问“帮我查一下上周的订单”，它先通…

#美团#Agent#Agent 能力评估

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配口述回答：…用和规划能力，比如它能不能正确调API、多步推理对不对。但真正落地，很多系统是RAG和Agent混在一起的，比如一个客服助手既要查知识库又要调订单接口，所以评估也得结合起来。先说RAG。检索模块我重点看 Recall@K 和 MRR，也就是正确答案在前K个结果里有没有、排得靠不靠前。生成模块最核心的是 [[Faithfulness]]，就是生成内容是不是忠实于检索到的文档，别自己瞎编。这个我会用NLI模型自动判，比如[[RAGAS]]框架。还有[[Hallucination…

#安克科技#Agent#Agent 评估体系

面试题·评估· 美团

Coding vs GUI vs Search 谁先落地?

匹配口述回答：…验证了。搜索能力，像Perplexity那种检索加总结的pipeline也挺成熟，但本质是[[RAG]]的变体，依赖检索质量，如果知识库不干净或者query模糊，容易出[[Hallucination]]。GUI最麻烦，因为要感知屏幕、解析DOM、模拟点击，环境千变万化，窗口大小、系统版本、按钮位置稍微一变就可能失败，而且动作执行后很难自动验证目标有没有达成，你点了个保存，弹窗没出来，你都不知道是没点到还是保存成功了。再看应用场景和ROI。编程面向开发者群体，虽然人不多，但付…

#美团#Agent#Agent 能力对比

面试题·评估· 美团

Agent 功能模块怎么分工?

匹配口述回答：…] 的问题。输入就是一个自然语言的 query，输出是检索到的文档片段或链接。但这里有个坑，就是你不能把 Search 当成万能的知识库。比如一个客服退款场景，用户问“我上周买的鞋降价了，能退差价吗”，如果直接搜全网，可能搜到过期的促销政策。真正落地时，Search 要跟业务知识库配合，比如先搜内部的知识库，再搜外部网页，并且要设定时间范围。如果检索结果质量差，比如 top-k 太小或者相关性分数低，Agent 会基于错误信息做决策，反而加剧幻觉。所以前提是检索系统本身要可靠…

#美团#评估与监控#Agent

面试题·评估· 安克科技

评估集防泄漏与复现

匹配口述回答：… Calling]]参数解析对不对、任务规划是否合理、多轮对话状态能不能记住。但真正落地时，两者常常是混合的，比如一个客服系统既有知识库检索又有工具调用，那评估就得两套一起上。另外，很多人会纠结RAG和[[SFT]]怎么选，我的判断是，如果知识频繁更新，RAG更合适，因为微调跟不上变化；如果知识相对稳定、对推理深度要求高，微调更合适。评估数据集也要对应调整。具体到构建步骤，我重点讲几个核心点。先说标注策略。我一般做三层：先让领域专家按标注指南做初标，建立标准；然后交叉验证…

#安克科技#评估与监控#Agent

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配追问：场景切入假设你做一个企业知识库问答的RAG系统，用户问“报销流程”，系统先召回一堆文档，然后只取第一个送给大模型。这时候第一个结果准不准很关键吧？那你怎么评价这个“准不准”呢？层层追问检索出来的文档你一般怎么评估排序质量？……那只看第一个位置够不够？……如果我想知道第一个文档是否相关，但又不关心后面，有什么指标专门衡量这个？直球架构说说MRR在RAG里的定义和意义。就是那个平均倒数排名，怎么算的？为什么它对RAG特别重要？还有它有什么局限？

#百度#评估与监控#MRR 定义

面试题·模型微调· 美团

RAG检索偏差怎么缓解?

匹配追问：场景切入假设你做一个电商客服RAG系统，上个月的知识库全是夏季商品，现在上新了一批秋冬装，结果用户问“推荐厚外套”，检索出来的全是T恤。你觉得问题出在哪儿？怎么从技术层面避免这种新老文档的偏差？层层追问 RAG系统里，如果新加入的文档和原来分布不一样，检索效果可能会变差，你遇到过吗？……那具体是什么原因导致的偏差呢？……有什么策略可以缓解，让系统对新旧文档都公平？直球架构 RAG系统中新文档与历史文档存在分布差异，导致检索偏差。请你设计策略来提升系统鲁棒性，会从索引、检…

#美团#模型微调#RAG检索偏差