匹配追问：………如果查询量很大，比如每秒上万次，延迟必须5ms以内，你优先考虑什么？……那数据量上亿了，内存放不下，怎么平衡成本和速度？直球架构你负责给一个RAG系统选向量数据库，要求支持十亿级向量、查询延迟<10ms、能水平扩展。请从索引类型、性能、可扩展性、技术栈集成这几个维度，说说你的选型思路和理由。

#京东#评估与监控#向量数据库选型

面试题·评估· 淘天

匹配口述回答：…注标注一致性检验和奖励黑客监控，这两个点最容易翻车。本质是RLHF在对话中的落地数据构建：显式排序+隐式反馈，注意一致性模型架构：SFT+Reward Model+PPO/DPO，选型看场景评估：胜率、安全、业务指标，坑是奖励黑客我的取舍：DPO优先，数据质量是前提约4分钟 Self-RAG是另一种偏好对齐路线，适合事实性要求高的场景面试官可能会追问Self-RAG和RLHF的对比，以及如何选择

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估

RAG 检索语义相似但无关怎么解?

匹配追问：…果手机的电池寿命'，你从知识库检索出一段'苹果的营养价值'，语义上挺像的，但实际完全无关。你会怎么分析和解决这种问题？层层追问 RAG系统里，检索召回的结果有时候语义相似度很高但实际不相关，你遇到过吗？……那你是怎么区分语义相似和任务相关的？……具体有哪些优化思路，从查询侧、检索侧到数据侧都说说？直球架构 RAG中'语义相似但任务无关'是一个经典问题，你分析一下它的根本原因，并给出至少三种分层优化方案，包括查询重写、多路召回、重排序，以及数据层面的根治方法，再谈谈怎么评估…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#Embedding#Rerank#RAG 检索相关性

面试题·评估· 字节

RAG 文档检索选型

匹配追问：…昨天买的充电宝怎么还没到？’，系统要同时匹配订单号和‘物流延迟’这种语义。检索链路应怎么设计，稠密和稀疏检索如何取舍？层层追问 RAG检索你一般用什么方法？……如果用户输入的专有名词很多，比如‘iPhone 15 Pro Max 256G 钛金属’，纯语义检索会不会漏？……那你怎么把关键词和语义结合起来？具体融合策略是什么？直球架构说说你在RAG系统里用了哪些检索方法？技术选型怎么考虑的？针对检索效果做了哪些优化？比如索引切分、查询改写、重排序这些具体怎么落地？

#字节#混合检索#RAG 文档检索选型

面试题·评估· 蚂蚁

RAG 检索与生成评估

匹配追问：…你从文档里检索出几条相关条目，再让大模型生成回答。你怎么评估这个系统到底好不好？从检索和生成两方面说说你会看哪些指标。层层追问 RAG系统上线后，怎么判断它表现怎么样？……光看用户反馈够吗？……那检索部分有没有什么指标可以量化？……生成部分呢，答案是不是准确、有没有幻觉，这些怎么评估？直球架构评估一个RAG系统，从检索质量和生成质量两个维度，你分别会用哪些指标？具体怎么计算或获取这些指标？有没有一些现成的评估框架可以用？

#蚂蚁#评估与监控#RAG 检索与生成评估

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配追问：…相关文档。实际跑起来，你发现有时候检索到的内容跟问题不太沾边，甚至模型自己瞎编答案，你觉得这背后可能是什么问题？层层追问你用过RAG吧？感觉怎么样？……那有没有遇到过检索结果不靠谱的情况？……再进一步，如果检索到的内容里有些跟模型自己的知识冲突了，模型会怎么处理？你觉得这个流程整体上有什么硬伤？直球架构分析一下RAG在实际应用中的主要缺陷，从检索、生成和系统三个层面分别说，比如召回率低、上下文丢失、延迟高等，然后针对每个问题给出对应的改进方案。

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 字节

RAG 上下文不准确怎么诊断?

匹配追问：场景切入假设你在做电商客服RAG，用户问“这款手机支持5G吗”，系统回了一段包含过时参数的上下文，结果答错了。你拿到这个bad case后会怎么一步步查问题？层层追问 RAG系统上线后用户反馈答案不准，你一般怎么排查？……如果确定是上下文信息本身错了呢？……那你手头有哪些数据能帮你定位是知识库脏了、检索没召回到对的、还是模型没用好？直球架构请你设计一套RAG上下文准确性问题的诊断和修复方案。诊断层面要区分检索和生成两类根因，数据层面要列出你需要的开发集、对抗集、线上回…

#字节#RAG 上下文不准确#RAG 诊断

面试题·评估· 小鹏

RAG 失败场景诊断

匹配追问：场景切入假设我们做电商客服RAG，用户问‘这个充电宝支持快充吗？’，系统可能会从商品文档检索，也可能从对话历史里找，你怎么评估这个检索和生成的整体效果？层层追问 RAG上线后，你怎么知道它好不好？……检索和生成是不是分开看？……那有没有一些自动化的指标能同时评估两者？直球架构评估一个RAG系统的效果，你从哪几个维度设计指标？检索层和生成层分别用什么指标？端到端评估你会怎么做？

#小鹏#评估与监控#RAG 失败场景诊断

面试题·评估· 淘天

RAG 评估：检索、生成与端到端指标

匹配追问：…的订单到哪了’，系统先检索知识库再生成回答。你怎么知道检索到的文档对不对、生成的内容有没有瞎编？具体用什么指标来衡量？层层追问 RAG效果好不好，你一般怎么评估？……光看生成回答够吗？……检索部分怎么量化？有没有一个统一的框架把检索和生成都管起来？直球架构请设计RAG系统的评估方案，分检索和生成两个层面，列出具体指标，再给一个端到端的自动化评估框架。实际项目中你会怎么平衡自动评估和人工抽检？

#淘天#评估与监控#RAG 线上效果评估

面试题·评估· 美团

RAG 解决了哪些问题?

匹配追问：…项目，有没有遇到模型信口开河的情况？……那你们怎么让模型能引用最新的文档或数据库来回答？……具体怎么把检索和生成结合起来呢？直球架构请阐述你对RAG技术的理解，包括离线阶段和在线阶段的流程，以及在你的RAG项目中解决了哪些具体问题，带来了哪些可量化的效果提升？

#美团#混合检索#RAG 技术

面试题·评估· OPPO

意图识别在 RAG 中怎么用?

匹配追问：场景切入假设你在做电商客服RAG，用户问“这个手机和那个比哪个好”，但没说是哪两个手机。这时候意图识别要做什么？如果识别成比较意图，检索和生成会怎么调整？层层追问 RAG系统里，用户输入进来，你通常第一步做什么？……那意图识别具体起什么作用？……如果用户问“最新政策有什么变化”，意图识别要怎么影响检索策略和生成质量？直球架构请阐述在RAG系统中意图识别模块的关键作用，重点说它如何提升检索准确性和生成质量，比如在检索方式选择、查询改写、上下文筛选等方面。

#OPPO#RAG 意图识别#RAG

面试题·评估· 淘天

RAG 核心指标优先级

匹配追问：场景切入假设你在做一个电商客服RAG，用户问‘订单怎么还没到’，系统检索后生成了回答。你怎么判断这个回答好不好？光看流畅度够吗？层层追问 RAG系统上线了，你怎么评估它好不好？……如果只看最终答案行不行？……检索和生成你分开看吗？……你觉得最关键的指标是哪个，为什么？直球架构聊一下RAG系统的评估体系，你认为哪些是关键评价指标？从检索端和生成端分别说说，再讲一下端到端的指标和业务指标，挑最重要的解释原因。

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

RAG 效果差怎么排查？

匹配追问：…单什么时候发货”，结果模型答了退货政策，明显没对上。你会怎么一步步排查是检索没找到相关文档，还是模型压根没读检索结果？层层追问 RAG效果不好，你觉得可能哪些环节出问题？……检索和生成，哪个更容易定位？……如果我把正确答案依赖的文档直接塞进上下文，生成变好了，那问题出在哪？……那如果还是不行呢？直球架构请你说说系统性地诊断RAG中检索模块和生成模块问题的具体步骤和评估指标，比如召回率、忠实度这些，怎么用实验设计来解耦两个模块？

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配追问：场景切入假设你在做一个电商客服RAG，用户问‘我的订单怎么还没到’，系统回答了一堆不相干的内容。你觉得问题可能出在检索、生成还是哪里？怎么一步步排查？层层追问 RAG效果不好，你一般从哪里开始查？……如果检索结果看起来相关但生成还是乱说呢？……那有没有可能检索和生成都没问题，但两者配合出了问题？直球架构请系统性地说明RAG效果差时，如何分层定位是检索模块、生成模块还是协同环节的问题，包括关键诊断指标和具体实验方法。

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 安克科技

Agent/RAG 评估指标与挑战

匹配追问：…索相关文档并生成回答。你觉得应该从哪些方面评估这个系统的好坏？比如检索准不准、回答对不对，实际落地时又会遇到什么麻烦？层层追问 RAG系统评估你一般怎么做？……如果只评估生成部分够不够？……那检索层你用什么指标？……端到端评估和分开评估有什么区别？……实际用的时候有没有遇到标注成本高或者指标和用户体验不一致的问题？直球架构请你说说构建Agent或RAG系统时，常用的评估指标和方法有哪些？要涵盖检索层、生成层和端到端，再提一下实际挑战，比如延迟与质量的权衡、主观性等。

#安克科技#评估与监控#Agent

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配追问：…gent去查物流，然后用户又说“那帮我改地址”。你怎么衡量这个Agent做得好不好？从检索到工具调用，整套评估怎么搭？层层追问 RAG或者Agent系统的效果，你觉得怎么评估才全面？……除了准确率这些自动指标，还有哪些维度需要看？……那这些指标实际落地的时候，比如数据怎么来、环境不稳定，有什么坑？直球架构设计一套完整的评估体系，用来衡量RAG或智能Agent系统的性能。需要包含哪些指标？测试方法怎么设计？实际落地中最大的挑战是什么？

#安克科技#Agent#Agent 评估体系

面试题·评估· 安克科技

Agent/RAG 评估集构建

匹配追问：…备怎么收集测试数据？特别是那些刁钻的、模型容易答错的问题，比如明明没发货却答成已发货，怎么刻意构造出来？层层追问你一般怎么评估RAG或者Agent的效果？……那评估数据从哪来？……如果真实日志里大部分是简单问题，长尾场景很少，你怎么补？……负样本呢，怎么造才能真的测出模型短板？直球架构设计一套RAG或Agent的评估数据集构建方案，要求覆盖数据采集、标注流程、负样本构造以及数据代表性验证。你会怎么设计？重点讲清楚负样本的hard negative策略和标注中如何保证质…

#安克科技#评估与监控#Agent/RAG 评估集构建

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配追问：场景切入假设你做一个企业知识库问答的RAG系统，用户问“报销流程”，系统先召回一堆文档，然后只取第一个送给大模型。这时候第一个结果准不准很关键吧？那你怎么评价这个“准不准”呢？层层追问检索出来的文档你一般怎么评估排序质量？……那只看第一个位置够不够？……如果我想知道第一个文档是否相关，但又不关心后面，有什么指标专门衡量这个？直球架构说说MRR在RAG里的定义和意义。就是那个平均倒数排名，怎么算的？为什么它对RAG特别重要？还有它有什么局限？

#百度#评估与监控#MRR 定义

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配追问：… 大模型生成内容有时会胡说八道，你了解吧？……一般怎么缓解这类问题？……那如果微调不够，还有什么办法？比如生成时能不能干预？直球架构列举目前主流的缓解LLM幻觉的技术方法，包括检索增强、微调、推理时干预等，各自的核心思路和典型做法是什么？

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 美团

RAG vs SFT 场景怎么选?

匹配追问：场景切入假设你正在做企业客服系统，客户每天咨询的产品政策经常更新，比如促销规则、退换货条款。你是选择定期微调模型，还是用RAG？为什么？层层追问你怎么看大模型的幻觉问题？……常用的缓解方法有哪些？……那RAG和SFT在这上面有什么本质区别？……什么时候你宁愿用RAG而不是花精力做SFT？直球架构请你对比RAG和纯SFT，从知识更新、幻觉控制、训练成本、可解释性四个维度讲一下各自优劣，并给出RAG明显占优的两种具体场景。

#美团#模型微调#RAG vs SFT

面试题·模型微调· 字节

RAG Embedding 模型怎么选?

匹配追问：场景切入假设你要给一个电商客服系统做RAG，用户问“这款手机怎么样”，需要检索相关产品文档。你会选哪个Embedding模型？从哪些方面考虑？层层追问 RAG里Embedding模型怎么选？……你觉得主要看哪些因素？……如果文档很长，比如产品说明书有几千字，模型长度不够怎么办？…… 直球架构让你为一个RAG系统选Embedding模型，给出选型的关键因素和评估方法，从语义能力、效率、领域适配这些方面讲。注意结合具体业务场景。

#字节#向量检索#RAG Embedding 选型

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配追问：…时会胡说八道，你怎么保证它能基于真实知识来回答？……如果知识是动态更新的呢？……那你怎么把外部知识塞进去，又不重新训练模型？直球架构讲一下检索增强生成（RAG）从索引到检索再到生成的全流程技术实现，包括文档分块、向量化、相似度搜索和提示组装这些关键环节。

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 百度

RAG 向量模型怎么选?

匹配追问：场景切入假设你在做一个电商客服RAG，用户问‘退货运费谁出’，系统要检索相关规则。你会怎么选文本编码模型？比如考虑领域术语和长描述怎么处理？层层追问 RAG里文本编码模型怎么选？……除了精度，工程上还要看哪些指标？……如果业务有大量长文档，向量维度和存储成本怎么权衡？直球架构请列出在RAG系统中选择文本向量编码模型时，需要考虑的技术指标和性能因素，包括语义质量、工程性能和系统兼容性等方面。

#百度#评估与监控#向量检索

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配追问：场景切入假设你在做电商客服的RAG系统，用户问“我的订单到哪了”，系统检索到一段物流信息但其实是另一个订单的。你会从哪些环节去优化，避免这种噪声干扰？层层追问 RAG系统里检索出来的上下文不准确或者有噪声，你一般怎么处理？……那如果从数据构建角度呢？……还有检索环节或者拿到结果之后，有没有什么补救措施？直球架构当RAG系统检索出现上下文不准确或噪声干扰时，有哪些解决策略？请从数据构建、检索优化和后处理三个方面展开，并说说常用哪些训练和评估数据集。

#字节#RAG 检索噪声#RAG 数据构建

RAG向量数据库选型关键指标

偏好感知系统架构怎么选?

RAG 检索语义相似但无关怎么解?

RAG 文档检索选型

RAG 检索与生成评估

RAG 有哪些主要缺陷?

RAG 上下文不准确怎么诊断?

RAG 失败场景诊断

RAG 评估：检索、生成与端到端指标

RAG 解决了哪些问题?

意图识别在 RAG 中怎么用?

RAG 核心指标优先级

RAG 效果差怎么排查？

RAG效果差：检索vs生成怎么诊断？

Agent/RAG 评估指标与挑战

Agent/RAG 评估体系怎么搭?

Agent/RAG 评估集构建

MRR 在 RAG 中怎么定义?

RAG/蒸馏/微调怎么选?

RAG vs SFT 场景怎么选?

RAG Embedding 模型怎么选?

RAG 技术流程怎么跑?

RAG 向量模型怎么选?

RAG 检索噪声 3 大策略