匹配正文：…pass@k、采样数和沙箱安全。业务或 RAG：公开集不能代替目标场景，应建立经过许可、去重和版本化的私有测试集，分别评估检索、上下文利用、faithfulness 和任务成功。每个数据集都要交代选择理由、split、样本数、污染与近重复检查、评分脚本版本和局限。没有实际跑过的金融、代码或线上数据不能写成个人项目成果。

#评测数据集#benchmark选择#评测指标

面试题·Agent· 美团

ReAct vs Plan-and-Execute 怎么选?

匹配题目：比较ReAct框架与Plan-and-Execute架构在处理长上下文任务时的表现：各自的信息管理机制、上下文利用率、错误恢复能力及推理效率方面的优劣。

#美团#Agent

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#ReAct vs Plan-and-Execute

面试题·评估· 美团

召回阶段怎么评估质量?

匹配正文：…相关性，但RAG需要**"对生成有用"**的文档。因此出现新方向：端到端评估：检索+生成联合评测（如RAGAS、ARES框架）上下文利用率：评估检索结果是否被生成阶段有效使用美团场景：本地生活业务需考虑时效性（团购信息过期）、地理位置（LBS召回）等额外维度，评估更复杂。学习建议建议系统学习该知识点

#美团#评估与监控#召回评估指标

面试题·评估· 小红书

匹配正文：答案要点检索阶段：召回率低、相关性不足、向量语义鸿沟生成阶段：上下文利用不足、幻觉与知识冲突、长文本建模困难系统层面：延迟高、成本高、冷启动问题改进方案需具体对应上述问题一、检索阶段的缺陷 1. 召回质量不稳定向量检索存在"语义鸿沟"：query与文档的embedding空间不对齐，导致字面相关但语义检索失败稀疏场景（专业术语、ID、代码）dense retrieval效果差改进：混合检索（BM25 + 向量）、query改写/扩展、重排序（Cross-enc…

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 淘天

RAG 核心指标优先级

匹配正文：…否忠实于检索到的文档，最关键，直接对应幻觉问题答案相关性（Answer Relevance）：是否回答了用户问题，而非泛泛而谈上下文利用率：模型有没有有效利用检索内容，而非依赖参数记忆三、端到端自动化指标 RAGAS：无需人工标注，用LLM打分评估忠实度和相关性 ARES：基于合成数据训练评判模型人工评估：最终仲裁，特别是边界案例四、业务实用指标延迟：检索+生成的总耗时，影响产品体验成本：向量检索+LLM调用的综合开销用户满意度：点击率、采纳率、后续追问率等 …

#淘天#评估与监控#RAG 核心指标优先级

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…R等）掌握生成模块的评估维度（忠实性、相关性、流畅性）给出至少3种针对性的生成优化策略能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）一、系统性诊断：定位问题模块核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。 1. 检索模块独立评估离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档快速验证：用固定的人工精选文档替换检索结果，若生成质量显著提升 → 检索是瓶颈 Bad Case分析：抽样失…

#上下文压缩#生成调优#RAG 效果诊断

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…缩：LLMLingua选择性压缩、重排序后截断关键片段多文档处理：去重合并、按相关性加权融合、构建结构化上下文（表格/树状）长上下文利用：Lost in Middle问题缓解，关键信息放首尾生成环节优化 Prompt工程：明确引用格式要求、 few-shot示例引导结构化输出生成增强：Self-RAG（生成时自检索验证）、RAG-Fusion（多查询结果融合生成）后处理验证：答案与检索片段的事实一致性校验、置信度打分过滤系统级迭代离线评估：构建领域评测集，端到端…

#字节#RAG迭代优化#RAG 优化

面试题·检索· 字节

RAG 重排收益与成本

匹配正文：…减少无关信息干扰事实准确性确保进入上下文的文档真正包含答案依据，降低幻觉风险信息密度优先排序信息完整、结构清晰的文档，提升上下文利用效率多跳推理对需要组合多个文档的场景，重排能更好识别互补性文档工程实践要点模型选择：轻量场景用Cross-Encoder（如bge-reranker），复杂场景用LLM-as-Reranker 截断策略：通常向量检索取Top-100~200，重排后取Top-5~10送入生成延迟控制：重排是同步阻塞环节，需控制候选数量或模型大小 …

#字节#重排与优化#RAG 重排收益与成本

面试题·检索· 百度

RAG 工作原理与核心组件

匹配正文：…，不知道就说不知道" 关键优化点环节优化手段检索质量查询改写（HyDE）、多路召回、重排序（Cross-Encoder）上下文利用长上下文压缩、信息去重、相关性过滤端到端 Self-RAG（模型自主判断是否需要检索）、RAG-Fusion 一句话总结 RAG的本质是用检索代替记忆，让大模型基于外部实时知识生成，解决知识时效性和幻觉问题。

#百度#RAG核心组件#RAG 工作原理

面试题·检索· 美团

RAG 检索器与知识库怎么搭?

匹配正文：…】，样本与硬件【】，副作用【】。证据自检所有阈值和指标应说明数据集、标注、硬件、并发与统计窗口。必须分开测候选召回、排序质量、上下文利用和最终回答；不能用单一“准确率”概括整条 RAG。追问入口准备解释为什么选择当前融合、RRF 常数或权重怎样确定、Top-K 和延迟如何权衡、重排消融、文档冲突、权限过滤、引用校验和索引更新。

#美团#知识库构建#RAG 检索器设计

面试题·项目与经历· 商汤科技

项目局限性与改进方向

匹配口述回答：…】排除了【】，目前证据更支持【根因】。下一步会用【最小实验】验证，并保留【回退或人工】。若案例是 RAG，要把检索 recall、上下文利用、faithfulness 和最终任务成功分开，不能说召回与幻觉天然互换。【90秒主答】复盘从目标开始。项目原本解决【用户问题】，主指标是【】，还有【延迟、成本、安全】约束。个人直接负责【模块】，团队其他部分为【】。局限要描述成可重放样本，例如某类长问题检索不到证据、证据已进入上下文但模型忽略、某硬件下 P95 超标，或某类输入触发不…

#项目复盘#技术债务#系统优化

面试题·项目与经历· 京东

普通经历如何讲成就感

匹配口述回答：…通过【产物、评测或反馈】确认，观察窗口是【】。这件事意义在于【能力或价值变化】，仍有【局限】。如果案例是 RAG，还要把检索召回、上下文利用、回答忠实度和最终任务成功分开，不能用一个检索数字代表系统全部质量。【90秒主答】背景部分说明为什么选择这件事。可能是研究复现长期不稳定、项目无法满足用户、竞赛暴露能力缺口，或个人学习缺少反馈。目标要可验证，例如交付可运行系统、通过一组隐藏测试、让实验能够复现、完成公开作品或建立稳定习惯。个人职责与他人支持要分开，避免把平台、标注或团…

#行为面试#自我认知#项目复盘

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配口述回答：这道题其实问的是[[RAG]]落地时怎么平衡检索质量、上下文利用和生成效果，避免出现检索一堆但生成瞎编的尴尬。我重点讲几个实战中容易踩坑的地方。先说检索。[[分块]]策略是个基础但容易翻车的点。固定切分简单，但遇到表格、代码或长段落，边界切在语义中间，检索召回率直接崩。我会优先按语义切，实在不行用Chunk重叠加LLM辅助判断边界。块大小一般256到512 tokens，太大模型上下文窗口塞不下，太小丢信息。前提是你的文档结构清晰，如果文档质量差，语义切分反而更乱，那不如固…

#美团#RAG常见陷阱#RAG 系统陷阱