匹配正文：…假设答案，再用答案去检索 2. 检索侧优化多路召回：BM25 + 向量检索 + 关键词匹配，互补覆盖重排序（Rerank）：用Cross-Encoder等交互式模型精排，捕捉细粒度相关性负样本硬挖掘：把"语义近但任务远"的样本加入训练，拉远embedding 3. 数据侧根治收集业务真实的<查询, 相关文档>对，微调Embedding模型引入指令微调：训练时显式区分"相似≠相关" 效果验证离线：人工标注Top-K命中率、NDCG@K 在线：端到端回答满意度、引用准…

#Embedding#Rerank#RAG 检索相关性

面试题·评估· 字节

RAG 文档检索选型

匹配正文：…标题、章节和权限等元数据。用 query 类型分析决定是否改写、扩展或路由，避免所有查询都调用 LLM。评估召回集合后再考虑 Cross-Encoder 重排，防止用重排掩盖召回缺失。分别记录召回质量、P95 延迟、索引更新时效和单次查询成本。建立 bad case 分类，区分切块、召回、融合、重排和权限过滤问题。 3. 评测闭环离线至少观察 Recall@K、MRR 或 NDCG，并按查询类型切片；线上还要看引用正确性、无答案识别、延迟和成本。指标定义、标注口径、…

#字节#混合检索#RAG 文档检索选型

面试题·评估· 小红书

RAG 有哪些主要缺陷?

匹配正文：…（专业术语、ID、代码）dense retrieval效果差改进：混合检索（BM25 + 向量）、query改写/扩展、重排序（Cross-encoder） 2. 上下文切片粒度难把握切分太细丢失全局语义，切分太粗引入噪声改进：语义切分（基于主题边界）、层次索引（摘要+详情）、多粒度召回二、生成阶段的缺陷 3. 上下文利用不足（Lost in the Middle）模型对长上下文中间位置信息遗忘，关键证据在prompt中间时被忽略改进：重排序把关键文档放首尾、压缩…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#小红书#RAG 局限性#RAG 缺陷

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配正文：…回层向量检索 + 稀疏检索（BM25）+ 知识图谱生成稠密向量（bi-encoder）精排/重排层结果重排序、去重、过滤 Cross-encoder 打分、多任务融合生成输出层答案摘要、直接回答、多源整合生成式摘要、引用溯源关键优化点混合检索：向量（语义）+ 倒排（精确匹配）+ 图谱（实体关系），召回率提升30%+ 查询路由：简单query走传统搜索，复杂query走大模型深度处理缓存策略：高频query的生成结果缓存，降低延迟和成本核心优势语义理解：…

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·评估· 美团

RAG 解决了哪些问题?

匹配正文：…库作为外部记忆专业术语理解准确率提升35% 关键工程实践召回策略：向量检索 + 关键词BM25混合，解决语义漂移问题重排序：Cross-Encoder精排Top-20，提升相关性上下文压缩：检索结果摘要后再输入LLM，控制Token消耗局限认知：检索质量是天花板，若文档切分不当或Query与文档表述差异大，容易"检索到了但没用"。

#美团#混合检索#RAG 技术

面试题·模型微调· 京东

300-500意图怎么召回?

匹配正文：…dding（如BGE-M3）关键词召回精确匹配构建意图-关键词倒排索引规则召回兜底高频正则+业务规则硬匹配精排层：用Cross-Encoder对Top-K候选重排序动态示例选择：从该意图历史Query中选3-5个最难区分的作为Few-shot，而非全量意图说明三、上下文压缩技术意图摘要：每个意图用结构化描述替代长文本（意图名+核心槽位+典型说法） Query改写：用SLM先做指代消解和补全，减少历史轮次依赖滑动窗口+记忆压缩：对多轮对话，用摘要模型压缩历…

#京东#大规模意图识别#上下文长度限制

面试题·模型微调· 高德

Agent 记忆怎么用向量库?

匹配正文：… 是否包含用户明确确认的信息（"对的""没错"）是否涉及后续对话引用是否跨会话被重复提及（长期偏好）重排序技巧：用对话历史做Cross-Encoder精排，或训练小型BERT做记忆相关性二分类。落地检查点记忆是否"可用"：检索结果在Prompt中能否真正帮助生成是否"可控"：支持显式删除/修改某条记忆（GDPR合规）是否"可解释"：检索时返回记忆来源时间，便于Debug 学习建议建议系统学习该知识点

#高德#Agent#向量检索

面试题·模型微调· 美团

向量检索怎么保准又保真?

匹配正文：…推荐各路召回结果融合时，用加权或机器学习模型做初选 3. 重排序（Rerank）精排粗排：向量相似度Top-K快速筛选精排：Cross-Encoder交互式模型（如BGE-Reranker）计算查询-文档相关性分数业务规则：结合点击率、转化率、时效性等业务特征最终排序 4. 查询侧优化查询改写：扩写同义词、纠错、补全意图（"火锅"→"重庆火锅/老北京涮肉"）查询理解：识别地理位置、价格区间等约束条件，做前置过滤 5. 评估与迭代离线：Recall@K、MRR、N…

#美团#向量检索准确性#向量检索相关性

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：…MRR/NDCG。检查知识覆盖、解析、分块、元数据与权限，再比较查询改写、稀疏/稠密/混合召回。只有正确文档已经进入候选集时，Cross-Encoder 等重排器才可能改善高位排序；否则应先修召回。 Embedding 微调、难负样本和索引参数必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不足时的行为。分开测答案正确性、引用支持率、faithfulness、覆盖率与拒答，不…

#AIlab#检索器优化#RAG 优化

面试题·模型微调· 字节

RAG 工作原理与架构怎么搭?

匹配正文：…Faiss、Pinecone；考虑HNSW索引、量化压缩检索策略稠密检索 + 稀疏检索（BM25）混合；多路召回融合重排序 Cross-Encoder精排（如bge-reranker），提升Top-K质量三、关键优化技术 1. 检索侧优化混合检索：向量语义匹配 + 关键词BM25，用RRF融合排序查询改写：HyDE（假设文档嵌入）、Query扩展、多跳检索上下文压缩：LLMLingua、LongLLMLingua，减少token消耗 2. 生成侧优化重排序后T…

#字节#RAG 系统架构#RAG 工作原理

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：…mbedding-3 向量库：Milvus（大规模）、Qdrant（轻量）、Elasticsearch（混合场景） Rerank：Cross-Encoder（精度高但慢）、ColBERT（平衡）三、最佳实践环节关键做法文档切分按语义段落切，256-512 tokens；重叠窗口作为待测变量，并用同一评测集验证边界证据、召回与成本检索策略稠密+稀疏混合（RRF融合），复杂场景加知识图谱查询优化 HyDE（假设文档嵌入）、Query扩展、多Query生成上下文处…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：…├── 向量检索（语义相似） ├── 关键词检索（BM25，兜底专有名词） └── 图谱检索（如有构建实体关系） ↓ 重排序模型（Cross-Encoder/LLM-based） ↓ Top-K 送入生成模型关键优化：Query改写（HyDE、伪文档生成）、多向量表示（ColBERT）四、模型集成与生成上下文压缩：检索结果去冗余，用LLM摘要或选择性上下文 Prompt设计：明确引用格式要求，强制"不知道就拒绝" Citation生成：要求模型标注信息来源，提升可信度 …

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 商汤科技

RAG 技术流程怎么跑?

匹配正文：…查询向量化：用户问题同样转为Embedding向量相似度搜索：用ANN（近似最近邻）算法快速召回Top-K相关块重排序优化：用Cross-Encoder等精排模型提升相关性（可选但重要） 3. 生成阶段上下文组装：将检索结果与用户问题拼接成Prompt 大模型生成：LLM基于"检索到的证据"生成回答，典型Prompt结构：基于以下参考资料回答问题： [检索内容1] [检索内容2] 问题：{用户提问} RAG解决的核心问题问题说明知识时效性大模型训练数据有截止日…

#商汤科技#检索生成流程#RAG 技术流程

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…构用户Query → 查询改写（HyDE/扩展）→ 向量检索（Dense）+ 关键词检索（BM25）→ 融合排序 → 精排模型（Cross-Encoder）→ Top-K上下文金融领域加粗体匹配规则（如"第X条"精确命中）重排序用bge-reranker或轻量LLM打分三、生成模块：可控输出 Prompt工程系统角色固化："你是资深医疗顾问，基于以下参考资料回答，不确定时请说明" 上下文组织：按相关性排序，标注来源编号支持溯源输出约束：JSON结构化（诊断/依据/…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：…过滤：按时间、来源、标签预过滤五、检索与优化检索流程 Query → Embedding → 向量召回Top-K → 重排序（Cross-Encoder） → 精排Top-N 关键优化查询改写：用LLM扩展同义词、纠错多路召回：向量+关键词+图谱并行重排序：轻量Cross-Encoder（如bge-reranker）提升相关性六、持续维护增量更新：新数据单独建索引，定期合并失效检测：监控检索点击率，自动标记低质量片段反馈闭环：收集用户点击/满意度，迭代Emb…

#百度#大模型知识库构建#知识库向量化

面试题·模型微调· 百度

文本嵌入模型怎么选?

匹配正文：…小模型（如bge-small），服务端可选大模型进阶优化：垂直领域建议用领域数据做对比学习微调重排序（Rerank）阶段可用Cross-Encoder提升精度一句话总结通用场景选BGE-large，长文本选GTE，成本敏感选M3E，中英混合做微调——没有最好，只有最适合业务约束的。

#百度#文本嵌入模型#Embedding 模型对比

面试题·模型微调· 字节

RAG 检索噪声 3 大策略

匹配正文：…召回，取长补短 Embedding微调：用领域数据对比学习，让向量空间更适配业务后处理层面重排序（Rerank）交叉编码器（Cross-Encoder）精排，计算查询-文档交互注意力多任务学习：同时预测相关性和答案抽取位置上下文压缩置信度过滤：设定相似度阈值，低分文档直接丢弃摘要提取：用SLM压缩长文档，保留关键信息常用数据集数据集特点 MS MARCO 大规模真实搜索日志，标准Benchmark Natural Questions 长答案、需要多跳推理 …

#字节#RAG 检索噪声#RAG 数据构建

面试题·模型微调· 美团

RAG 深度与局限怎么破?

匹配正文：…方向与方案 1. 检索层：混合检索+重排序向量检索（语义）+ 稀疏检索（BM25，关键词）+ 知识图谱（实体关系）多路召回引入Cross-Encoder精排模型，替代余弦相似度的粗排 2. 查询层：意图理解与改写识别Query类型（事实型/比较型/推理型），动态调整检索策略多Query扩展：对复杂问题拆解为子查询，分别检索后聚合 3. 生成层：上下文工程检索结果按相关性重排序，关键信息置首尾（利用位置偏置）上下文压缩：用更小模型提取关键句，缓解长上下文噪声 4. …

#美团#RAG 局限性#RAG 优化方向

面试题·模型微调· 字节

RAG 检索与生成流程详解

匹配正文：…生成 Query理解：必要时进行Query改写、扩展、意图识别向量检索：用ANN算法快速召回Top-K相关chunk 精排优化：Cross-Encoder重排序，过滤低质量内容上下文融合：将检索结果拼接为Prompt上下文，约束模型生成技术架构用户Query → Query处理 → 向量检索 → 重排序 → 上下文组装 → LLM生成 → 输出 ↓ [向量数据库] ← Embedding模型 ← 文档知识库关键组件：Embedding模型、向量数据库、重排序模型、大…

#字节#检索生成流程#RAG 实现

面试题·模型微调

RAG检索相关但生成差原因

匹配正文：…/代码等丢失语义歧义冲突：检索结果相互矛盾，模型无法判断分层优化策略一、提示工程（最快见效）策略具体做法重排序注入用Cross-Encoder对检索结果二次排序，优先放置高置信度文档上下文压缩用LLM提取关键片段（如LLMLingua），或只保留与问题相关的句子结构化提示明确标注[Document 1] [Document 2]，强制模型引用来源指令强化添加"若文档不足以回答，请明确说明"等约束，抑制幻觉二、上下文建模（架构层面）动态窗口分配：长…

#上下文压缩#生成调优#RAG 生成优化

面试题·模型微调

生成质量差怎么调优?

匹配正文：…型特定身份（"你是严谨的医学助手"）提升一致性 2. 上下文处理优化问题技术手段文档过长/噪声多重排序（Rerank）：用Cross-Encoder对检索结果二次排序上下文窗口溢出语义压缩：用LLM提取关键句，或滑动窗口分段处理多文档冲突冲突检测+源标注：要求模型标注引用来源，显式处理矛盾 3. 模型微调（成本较高但效果显著） SFT：用领域高质量QA对微调，强化"基于文档回答"的指令遵循能力 RLHF/DPO：针对连贯性、忠实度训练奖励模型，减少幻觉 4. …

#RAG 生成质量#指令遵循#生成模块调优

面试题·模型微调· 百度

怎么提升对话模型事实一致性?

匹配正文：…节混合检索：向量相似度 + BM25关键词 + 知识图谱路径查询改写：HyDE（假设文档嵌入）、子查询分解增强环节重排序：Cross-encoder精排，过滤噪声文档上下文压缩：只保留与问题相关的文档片段生成环节引用生成：强制模型标注信息来源，便于溯源和人工审核实际权衡场景推荐方案高频、事实稳定预检索+缓存，减少实时检索延迟时效性强实时RAG + 搜索引擎API 专业领域领域知识图谱 + 微调混合高 stakes 场景人机协同：模型生成+人工…

#百度#模型微调#评估与监控

面试题·知识图谱· 字节

向量索引 vs 分层存储怎么选？

匹配正文：…关键信息提取：用SLM提取"用户偏好、决策结论、待办事项"结构化存储 3. 检索优化两阶段检索：向量召回Top-K → 重排序（Cross-Encoder）→ 上下文截断查询扩展：将当前Query扩展为"近期主题+用户偏好+时间约束"的复合查询缓存热点：高频访问的用户画像常驻内存 4. 写入优化异步批处理：记忆写入走消息队列，避免阻塞主链路增量Embedding：仅对新内容编码，避免全量重建索引工程权衡点延迟vs召回：实时场景用近似检索（HNSW），离线分析用精…

#字节#Agent 长期记忆#向量索引

面试题·RAG· 字节

RAG 怎么提升生成质量?

匹配正文：…私有知识，比微调便宜10-100倍可解释性：答案从哪来一目了然关键优化点（加分项）检索侧：Query改写、多轮检索、重排序（Cross-Encoder精排）生成侧：上下文窗口压缩、让模型先判断"是否足够回答" 工程侧：缓存热点Query、检索失败兜底策略一句话总结 RAG = 给LLM配个"外挂硬盘"，需要时查资料，不用死记硬背，答不准还能甩锅给知识库。学习建议建议系统学习该知识点

#字节#大模型幻觉#RAG 原理