匹配正文：…保证相关信息被召回，降低"幻觉"风险，但可能引入噪声 MRR高正确答案排在前面，减轻LLM筛选负担，提升生成效率 NDCG高高质量文档优先，直接提升生成质量实际评估要点与生成环节联动：高Recall但低Precision时，需增强重排序或压缩上下文多路召回评估：分别评估向量检索、关键词检索、图谱检索，再测融合后的Recall 业务定制：客服场景重MRR（要快准），研报场景重Recall@20（要全）学习建议建议系统学习该知识点

#抖音#Recall@k#RAG 召回评估

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：…文块法律：保持"事实-法条-判决"逻辑链知识增强：提取实体关系构建领域知识图谱，作为检索补充二、检索系统层（混合召回）单一向量检索不够，需多路融合检索方式适用场景实现稠密向量检索语义相似、同义表达领域微调Embedding（如MedCPT、法律BERT）稀疏关键词（BM25）精确术语、药品名、法条编号 Elasticsearch 知识图谱检索关联推理、禁忌症、判例引用 Neo4j + 子图匹配重排序（Rerank）精排Top-K 交叉编码器微调 …

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 高德

多工具评分排序机制

匹配正文：…目标优化问题，需同时考虑：功能匹配度：工具描述与任务需求的语义相似度执行成本：延迟、调用费用、资源消耗历史表现：成功率、输出质量、用户满意度评分模块实现 1. 分层评分体系最终得分 = α·语义匹配分 + β·历史绩效分 + γ·成本惩罚项维度计算方式语义匹配用embedding模型计算工具描述与任务query的余弦相似度历史绩效滑动窗口统计近N次调用的成功率，引入时间衰减成本项归一化后的延迟/费用，作为负向惩罚 2. 模型化打分（进阶）训练轻量级…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#高德#Agent#智能体工具选择

面试题·评估· 百度

Reflection vs Memory 如何影响决策?

匹配正文：…机制的定义与作用：自我评估、错误修正、策略优化 Memory的分类与功能：短期记忆（上下文）、长期记忆（知识库/经验）两者对决策质量的影响：减少重复错误、提升推理深度对协同效果的影响：共享记忆促进协作、反思机制避免集体偏差实际落地中的挑战：记忆一致性、反思开销、信息过载 Reflection（反思）机制核心作用：自我修正与策略迭代执行后反思：智能体完成任务后，评估结果与预期的差距，识别失败原因过程中反思：在推理链中间步骤暂停，检查当前路径是否合理（类似"内心独白"…

#百度#Agent#多智能体系统

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配口述回答：…单走 [[BM25]] 或者 [[稀疏检索]]，复杂才走大模型改写和扩展，这叫查询路由。再讲检索召回。这里有个经典误区：有人以为向量检索能完全替代关键词。实际上，**[[混合检索]]**才是更靠谱的做法。向量抓语义，关键词抓精确匹配，比如搜订单号「ORD123」，向量检索根本没用，必须靠 BM25。再叠一个[[知识图谱]]，比如商品品牌和类别的关系，召回率能提升不少。生成输出这步，大模型负责把检索结果整合成一段自然语言答案，附带引用溯源。但这里有个大坑：[[幻觉]]。模型…

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·评估· 美团

RAG 解决了哪些问题?

匹配正文：…说明至少2个具体解决的问题（如幻觉、时效性、领域知识）结合实际项目描述效果提升（量化指标更佳）体现对RAG局限性的认知（如检索质量依赖、上下文长度限制） RAG核心原理 RAG = 检索（Retrieval）+ 生成（Generation），本质是给大模型外挂一个可动态更新的知识库：离线阶段：文档切分 → Embedding模型编码 → 存入向量数据库在线阶段：用户Query向量化 → Top-K相似度检索 → 拼接Prompt上下文 → LLM生成答案关键优势：知…

#美团#混合检索#RAG 技术

面试题·评估

RG 系统效果差怎么排查?

匹配正文：…逐个验证：一、定位检索模块问题关键指标 Recall@K：正确答案是否在Top-K检索结果中 MRR/NDCG：相关片段的排序质量诊断方法人工标注100个查询的"黄金文档"，计算检索命中率分析未命中的case：是query理解偏差（需改写/扩展）、还是向量空间不对齐（需调整embedding或分块策略）快速实验：用人工精选的上下文替换检索结果，若生成质量显著提升 → 问题在检索侧二、定位生成模块问题关键指标忠实度（Faithfulness）：生成内容是否被上…

#检索归因#生成归因#RG 系统故障排查

面试题·评估

RAG 效果差怎么排查？

匹配正文：…问题检索侧关键指标指标用途健康阈值 Recall@K 相关文档是否被召回 >0.8（K=5/10） MRR/NDCG 排序质量视场景，MRR>0.5 Context Precision 检索结果中噪声比例越高越好快速诊断信号用户问题与召回文档语义明显不相关 → Embedding模型或分块策略问题相关文档召回但排名靠后 → 需要重排序（Rerank）或混合检索第二步：判断是否为生成问题生成侧关键指标 Faithfulness（忠实度）：生成内容是否基于c…

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：…：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，人工判断"给定这个问题，理想文档应该是什么"，对比实际检索结果查询改写分析：检查原始query与改写后query的检索效果差异向量相似度分布：观察query与top1结果的相似度分数，过低（如<0.6）说明语义空间对齐有问题判定标准：Recall@K < 70% 或人工…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估· 百度

RAG 架构怎么工作?

匹配正文：答案要点清晰描述RAG的两阶段架构（检索+生成）说明向量检索的核心机制（embedding、相似度计算）解释RAG缓解幻觉的原理列举至少2个优势（知识时效性、可溯源性等）提及至少2个局限（检索质量依赖、上下文长度限制等） RAG基本架构 RAG = 检索（Retrieval） + 生成（Generation），核心思想是"外挂知识库"：用户Query → 向量化 → 向量检索 → Top-K文档 → 拼接Prompt → LLM生成工作流程拆解 1. 索引阶段（…

#百度#评估与监控#RAG 架构

面试题·评估· 字节

大模型 Agent 优缺点怎么分析?

匹配正文：…规划（Planning）：ReAct、CoT、ToT等推理范式，让模型"先想后做" 记忆（Memory）：短期对话上下文 + 长期向量数据库/知识图谱工具（Tools）：Function Calling标准化调用外部API，扩展能力边界行动（Action）：执行结果反馈形成闭环，支持多轮迭代工程关键点意图识别准确率决定入口质量工具描述工程（Tool Description）影响调用成功率错误恢复机制：超时、异常、幻觉结果的兜底处理应用场景与适配性场景适配度 …

#字节#Agent#大模型 Agent 优缺点

面试题·评估· 安克科技

评估集防泄漏与复现

匹配正文：答案要点明确区分Agent与RAG的评估维度差异（工具调用vs检索质量）数据构建需覆盖真实用户分布而非理想场景标注策略必须包含多轮校验与一致性指标多样性需从任务类型、难度、领域三维度设计偏差控制需显式处理位置偏差、流行度偏差和标注者偏差一、任务设计：区分Agent与RAG的核心差异 RAG评估重点检索相关性：召回率、精确率、NDCG 生成忠实度：答案是否基于检索内容，有无幻觉答案完整性：是否覆盖用户问题的全部意图 Agent评估重点工具调用准确性：参数解析、…

#安克科技#评估与监控#Agent

面试题·评估· 字节

知识库更新策略怎么选?

匹配正文：…策略及适用场景说明近实时更新的技术方案（CDC、消息队列、定时任务）阐述一致性保障机制（双写、版本控制、事务）提及更新对检索质量的影响及重索引策略体现对实际工程权衡（成本、延迟、准确性）的理解知识库更新策略按更新粒度分类全量重建：定期（如每天/每周）重新拉取全部数据、重新分块、重新生成embedding 优点：数据一致性最好，可彻底清理脏数据缺点：成本高、耗时长，适合数据量小或低频变更场景增量更新：仅处理变更数据（新增、修改、删除）基于CDC（Change…

#字节#评估与监控#RAG 知识库更新

面试题·评估· 得物

AI Agent 四大瓶颈怎么破?

匹配正文：…调用确认）工具沙箱+重试策略：隔离失败影响，设计指数退避重试反思机制（Self-Refine）：让Agent显式评估上一步输出质量可解释性瓶颈与改进核心问题推理轨迹（trace）虽可见，但决策依据不透明多工具组合时，为何选A而非B缺乏说明改进方向显式推理结构化：强制输出"观察→思考→行动"的标准化格式（ReAct增强）注意力可视化：展示决策时关注的记忆片段和工具文档人机协同确认：高风险操作前请求用户确认，暴露决策逻辑长期记忆瓶颈与改进核心问题上下文窗…

#得物#评估与监控#Agent

面试题·评估· 百度

MRR 在 RAG 中怎么定义?

匹配口述回答：…息没召回，最终答案还是会漏。所以我实际评估 RAG 时，不会单独看 MRR。我通常会组合看几个指标：MRR 看首个有效证据的排序质量，Recall@K 看正确证据有没有被召回，NDCG 看多个相关文档的整体排序质量；到了生成端，还要看 faithfulness 和答案正确率。这样才能判断问题到底是“没找回来”“排得太后”，还是“找回来了但模型没用好”。如果要落到优化动作上，MRR 低通常说明排序链路有问题，可能是 [[embedding]] 不适合、query 改写不准，…

#百度#评估与监控#MRR 定义

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…示显式记忆机制短期记忆（Context Window）：最近K轮完整对话长期记忆（External Memory）：关键信息向量库（摘要、实体、用户画像）记忆写入：每轮用轻量encoder提取关键信息，更新至FAISS/HNSW索引记忆读取：当前query检索Top-N相关记忆，拼接至输入二、训练策略优化多阶段训练阶段目标数据特点预训练长文档建模书籍、长文章，4K→32K→128K渐进扩展 SFT 对话能力高质量多轮数据，平均10-20轮，含角色一…

#字节#模型微调#多轮对话一致性

面试题·模型微调· 百度

Tool Calling 技术路径怎么选?

匹配正文：一、三大技术路径对比方法核心机制适用场景优劣势提示工程在prompt中嵌入工具描述（JSON Schema），靠ICL能力生成调用工具少、调用简单、快速上线零成本，但复杂场景易幻觉、格式不稳定微调增强用<tool_call>标注数据SFT，训练模型输出结构化调用工具多、领域专用、高稳定性要求准确率高，但需标注数据、灵活性差代理框架 ReAct/Plan-and-Execute循环，LLM作为推理引擎决策多步推理、动态规划、复杂Agent 可解释性强…

#百度#模型微调#Tool Calling 实现

面试题·模型微调· 联通

RAG/蒸馏/微调怎么选?

匹配正文：…需针对性选择。主流技术方法 1. 检索增强（RAG）核心思路：外接知识库，将生成约束在检索到的证据上标准流程：查询改写 → 向量检索 → 重排序 → 上下文增强生成关键优化：多路召回、HyDE（假设文档嵌入）、Self-RAG（反思token）局限：检索失败时幻觉反而加重，需配合置信度校准 2. 微调策略事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：RLHF/DPO中引入事实性奖励，惩罚幻觉输出知识蒸馏：从大模型蒸馏事实性强的推理链到小模型 …

#联通#大模型幻觉缓解#检索增强

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：…上下文 → LLM生成最终回答二、系统架构要点模块关键技术文档处理分块策略（固定长度/语义切分/递归切分）、元数据保留 Embedding模型通用场景用BGE/M3E，垂直领域需微调；多向量表示（ColBERT）向量数据库 Milvus、Faiss、Pinecone；考虑HNSW索引、量化压缩检索策略稠密检索 + 稀疏检索（BM25）混合；多路召回融合重排序 Cross-Encoder精排（如bge-reranker），提升Top-K质量三、关键优化技术…

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：…识弥补大模型的知识截止和幻觉问题，把LLM从"闭卷考试"变成"开卷考试"。标准流程三步走：索引（Indexing）：文档切分→Embedding编码→向量库存储检索（Retrieval）：Query向量化→相似度搜索→Top-K召回生成（Generation）：将检索结果拼入Prompt→LLM生成答案关键洞察：检索质量决定RAG上限，生成能力决定下限。二、系统架构用户Query → Query理解/改写 → 多路检索（向量+关键词+图谱） ↓ 重排序（Rera…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配口述回答：…知识。RAG解决的不是模型能力问题，而是知识边界问题。流程上分三块：索引、检索、生成。我先说索引。离线阶段，我们把文档切碎、[[向量化]]、存进 [[Vector Database]]。这里有个常见的坑：[[分块]]策略。固定长度切分简单，但容易切断语义；语义切分效果好，但计算成本高。我的做法是混合：先用段落级粗切，再对超长块做递归切分，控制块大小在256到512 tokens之间。Embedding模型我倾向用 BGE 或 M3E，兼顾中文效果和推理速度。检索阶段，用户…

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配正文：答案要点数据构建：文档切分策略、元数据标注、负样本构造检索优化：混合检索、查询改写、Embedding微调后处理：重排序模型、上下文压缩、置信度过滤评估数据集：MS MARCO、Natural Questions、HotpotQA、自建业务数据集数据构建层面文档切分优化按语义边界切分（标题、段落），避免硬截断；重叠窗口保留上下文连贯性构建多级索引：摘要级 + 细节级，先粗筛再精确定位数据质量提升清洗低质量文档，添加领域-specific的元数据标签（时间、…

#字节#RAG 检索噪声#RAG 数据构建

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配正文：…，提升生成可信度，满足合规审计需求成本可控：相比全量SFT，RAG的边际成本极低，适合频繁变更的业务知识技术深度体现不仅是"向量检索+Prompt拼接"，而是涉及查询理解→多路召回→精排融合→上下文压缩→生成约束的全链路优化关键局限性局限类型具体表现典型场景检索质量瓶颈语义匹配≠相关性，Top-K可能漏关键信息专业术语、多义词上下文碎片化长文档切块导致逻辑断裂技术文档、法律条款推理能力边界弱于多跳推理、数值计算、跨文档归纳财报分析、科研综述系…

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调· 字节

RAG 检索与生成流程详解

匹配正文：…固定长度切分，通常256-512 tokens，保留段落边界向量化：用Embedding模型（如BGE、M3E）将chunk转为向量索引存储：存入向量数据库（Milvus、Faiss、Elasticsearch）在线阶段：检索生成 Query理解：必要时进行Query改写、扩展、意图识别向量检索：用ANN算法快速召回Top-K相关chunk 精排优化：Cross-Encoder重排序，过滤低质量内容上下文融合：将检索结果拼接为Prompt上下文，约束模型生成技术架…

#字节#检索生成流程#RAG 实现