匹配正文：…状结构关键信息提取：用SLM提取"用户偏好、决策结论、待办事项"结构化存储 3. 检索优化两阶段检索：向量召回Top-K → 重排序（Cross-Encoder）→ 上下文截断查询扩展：将当前Query扩展为"近期主题+用户偏好+时间约束"的复合查询缓存热点：高频访问的用户画像常驻内存 4. 写入优化异步批处理：记忆写入走消息队列，避免阻塞主链路增量Embedding：仅对新内容编码，避免全量重建索引工程权衡点延迟vs召回：实时场景用近似检索（HNSW），离线…

#字节#Agent 长期记忆#向量索引

面试题·知识图谱· 海尔

训练/推理/外部知识怎么选?

匹配正文：…发人工审核三、外部知识集成（RAG为核心）检索增强生成检索相关文档作为上下文，将生成约束在检索内容范围内关键：检索召回率+重排序精度，需处理检索失败时的优雅降级知识图谱增强将结构化知识（KG）与非结构化文本联合检索复杂推理场景用KG进行多跳验证工具调用对时效性、精确性要求高的信息，调用搜索引擎、数据库API实时获取四、系统层兜底事实性校验模块：NER提取实体，与知识库比对人机协同：高风险场景设置置信度阈值，低于阈值转人工持续反馈闭环：线上幻觉案例回流…

#海尔#外部知识集成#大模型幻觉

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：…应模态的模型回答。典型流程是：OCR、ASR 或视觉编码入库，分块时保留页码、区域和时间戳；查询做模态识别与改写；多路召回、跨模态重排；最后编排上下文、生成并验证引用。索引可将多模态对齐到共享向量空间，也可为各模态分别建索引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/ASR 错误和域偏移；有限上下文内的证据去重与排序；版权、隐私、提示注入和访问控制。…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#阿里#多模态#多模态 RAG

面试题·多模态· 字节

截图界面怎么用 RAG 解析?

匹配正文：…检索（找同类UI）+ 文本语义检索（找功能描述）+ 规则匹配（精确组件ID）融合排序：用轻量模型（如ColBERT）对多模态候选重排生成：输入结构化的UI上下文 + 检索到的知识，用VLM或纯文本LLM生成回答实际优化考虑问题方案延迟高预计算热门界面的解析结果；检索用HNSW近似；生成用蒸馏小模型 UI频繁变更建立组件指纹（布局哈希），变更时增量更新索引冷启动先用通用UI知识库（Android/iOS设计规范），再逐步积累业务数据复杂交互理解引入时序：…

#字节#多模态#多模态 RAG

面试题·多模态· 淘天

多模态 RAG 架构设计

匹配正文：…合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景文档智能：发票、合同、研报（ColPali优势）电商搜索：…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：…IP（图文）、ImageBind（图文音）、Q-Former（细粒度）检索层：向量库支持多模态索引（如Milvus多向量集合）、重排序模型生成层：LLaVA、Qwen-VL、GPT-4V等多模态大模型，支持图文交错输入典型应用场景电商智能导购：用户上传穿搭图，检索相似商品图+详情文本，生成搭配建议医疗辅助诊断：CT影像检索相似病例图像+诊断报告，生成综合分析工业设备运维：故障现场照片+设备日志，跨模态检索维修手册和案例视频教育多模态答疑：学生圈出题目图片区域，检…

#阿里#多模态#Multi-modal RAG

面试题·Prompt· 字节

RAG Generator Prompt 整合原理

匹配正文：一、上下文整合策略检索结果预处理按相关性得分重排序，优先放置高置信度文档动态截断：根据模型上下文窗口预留20%给系统提示和用户查询，剩余分配给检索文档去重与冲突检测：相似度过高的文档合并，矛盾内容标记供模型判断上下文格式化 [Document 1] 来源: {source_id} {content} [Document 2] ... 二、Prompt模板设计三层结构系统指令：定义角色（"你是专业助手"）、任务目标、约束条件（"仅基于提供文档回答，不确定时说明"）…

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 字节

RAG Generator 怎么构造 Prompt?

匹配正文：…和输出契约。Prompt 只能帮助模型使用证据，不能弥补错误召回，也不能保证固定幅度的准确率提升。构造步骤筛选与去重：按检索和重排结果筛选候选，保留来源、版本、权限和时间；不要用未经校准的统一阈值。信任边界：将检索文本视为不可信数据，用清晰分隔符包裹，禁止其中内容覆盖系统指令。排序与预算：根据任务、证据依赖和“lost in the middle”风险安排顺序，预留生成与工具调用空间。输出契约：要求答案断言关联引用；证据不足或冲突时返回结构化的不确定状态。校验：检…

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 字节

RAG 生成阶段 Prompt 怎么构建?

匹配正文：…前问题：{current_q} 进阶策略策略作用动态Few-shot 从检索结果中挑1-2个高质量问答对作为示例注入上下文重排序把最相关的文档放Prompt末尾（近因效应）置信度提示要求模型输出"确定性分数"或"需澄清"标记角色隔离用XML标签<context> <question>严格分隔字节场景的特殊考量短内容平台：检索结果可能是碎片化评论，Prompt需强调"综合多方观点" 时效性内容：加入时间戳提示，让模型优先参考最新资料安全过滤：系统指令层前…

#字节#Prompt工程#RAG Prompt 构建

面试题·Prompt· 百度

RAG 改写与 Prompt 链路

匹配正文：…riginal_query} 【要求】 - 直接回答，不要复述问题 - 不确定时明确说明 - 引用格式：[编号] 4. 进阶技巧重排序提示：把检索分数作为文本提示注入，帮助模型判断可信度动态上下文：根据query类型选择不同提示模板（事实型/观点型/计算型）负样本提示：主动告知"以下文档与问题无关，请忽略"，过滤噪声三、工程权衡策略收益成本 HyDE 召回+15-20% 多一次LLM调用查询分解多跳问题准确率提升延迟×N，需并行化长上下文重排序答案相关…

#百度#小鹏#美团

面试题·Prompt· 商汤科技

RAG Prompt 模板设计陷阱

匹配正文：…巧问题解决方案文档冗余/重复 prompt中加指令："若多片段内容重复，优先使用最新/最具体的来源" 长上下文截断按相关性重排序后截断，prompt提示"以下是最重要的N份资料" 跨文档推理显式要求："对比[1]和[3]的观点，指出差异" 幻觉抑制强制要求："任何无引用支撑的内容标记为[推测]" 进阶：动态模板实际项目中建议用LangChain/LlamaIndex的提示模板引擎，根据检索结果动态调整：高置信度单文档 → 精简模板，直接抽取多文档冲突 → 激…

#商汤科技#Prompt工程#Prompt 模板设计

面试题·RAG· 淘天

RAG 核心架构与工作流程

匹配正文：…ng模型）生成器：将"查询+检索文档"拼接为上下文，生成最终回答标准流程：用户Query → 向量化 → 向量检索召回 → 重排序（可选） → 上下文拼接 → LLM生成解决的关键问题问题说明事实幻觉生成内容有检索文档支撑，可溯源验证知识时效性无需重训即可更新知识库领域专业知识注入企业私有数据，弥补通用模型短板生成可控性通过限定检索范围约束回答边界 RAG vs 纯参数化模型：场景对比 RAG显著更优的场景：高事实准确性要求：医疗诊断、法律咨询、…

#淘天#阿里#RAG 架构

面试题·RAG· 字节

高风险垂直领域 RAG 如何设计？

匹配正文：…与引用位置。检索结果必须能回到原始证据，而不是只返回脱离条件的文本块。 3. 检索与候选资格关键词、向量、结构化规则、知识图谱和重排都是候选组件。是否采用由错误切片决定：法规编号、药品名和精确条款可能受益于词法匹配；自然语言改写可能受益于语义检索；实体关系查询可能需要结构化数据。不存在所有专业系统都必须三路并行的方案。先做服务端权限、地区、时间与资料状态过滤，再评估候选 Recall@K、排序和引用覆盖。用户画像不能替代资源授权，医务职级也不是文档可见范围的通用规则。正确…

#RAG#高风险应用#医疗

面试题·RAG· 字节

RAG 怎么提升生成准确性?

匹配正文：…需重训模型领域适配微调成本高零样本接入私有知识关键优化点检索质量：Embedding模型微调、混合检索（向量+关键词）、重排序（Rerank）上下文组织：片段截断策略、多轮检索、检索结果去重融合生成控制：提示词约束模型严格基于检索内容回答，拒绝无关Query 与微调对比 RAG优势在于知识可解释、更新即时、成本可控；适合知识频繁变更、需溯源的场景。微调更适合改变模型行为风格或需要内化复杂推理模式的任务。学习建议建议系统学习该知识点

#字节#外部知识检索#RAG 原理

面试题·RAG· 字节

RAG 怎么提升生成质量?

匹配正文：…成本接入私有知识，比微调便宜10-100倍可解释性：答案从哪来一目了然关键优化点（加分项）检索侧：Query改写、多轮检索、重排序（Cross-Encoder精排）生成侧：上下文窗口压缩、让模型先判断"是否足够回答" 工程侧：缓存热点Query、检索失败兜底策略一句话总结 RAG = 给LLM配个"外挂硬盘"，需要时查资料，不用死记硬背，答不准还能甩锅给知识库。学习建议建议系统学习该知识点

#字节#大模型幻觉#RAG 原理

面试题·RAG· 百度

RAG 索引构建管线

匹配正文：…据归档实际落地建议：先通过Bad Case分析定位是"召不回"还是"召不准"，再针对性优化——召回不足扩分块、调模型；准确率低加重排序、加过滤。学习建议建议系统学习该知识点

#百度#RAG索引优化#RAG 索引构建管线

面试题·RAG· 阿里

LangChain vs LlamaIndex 架构差异？

匹配正文：…dex强项索引策略：VectorStoreIndex、TreeIndex、KGIndex等10+种索引结构检索优化：自动路由、重排序、递归检索、子问题分解数据连接器：150+种数据源开箱即用（PDF、SQL、Notion等）选型建议场景推荐框架原因多步骤Agent（数据分析→生成报告→邮件发送） LangChain 需要复杂的状态管理和工具编排百万级文档知识库问答 LlamaIndex 索引分层、查询优化、响应速度更优快速原型验证两者皆可 LlamaIn…

#阿里云#LangChain与LlamaIndex#LangChain vs LlamaIndex

面试题·RAG· 字节

医疗法律RAG架构怎么搭？

匹配正文：…领域同义词词典（如ICD-10编码映射）结构化检索：SQL/图查询针对法条层级、药品属性精排与过滤 Cross-Encoder重排序时效性过滤（法律：优先现行有效；医疗：优先近3年指南）权威性分级（法规 > 专家共识 > 文献）生成模块 Prompt设计你是{领域}助手，基于以下参考资料回答： [检索片段，带来源标注] 约束：1) 不确定时明确说明 2) 引用具体条款/文献 3) 禁止编造安全机制拒答策略：超范围问题（如具体诊疗建议）转人工引用溯源：输出必须…

#字节#专业领域RAG#RAG 系统设计

面试题·RAG· 阿里

LangChain vs LlamaIndex 场景怎么选？

匹配正文：…eIndex、TreeIndex、KGIndex、DocumentSummaryIndex等检索优化：自动检索器选择、混合搜索、重排序（rerank）、递归检索查询引擎：支持子问题分解、多文档对比、结构化数据查询选型决策优先选LangChain 需要调用多个外部工具/API的复杂Agent 工作流涉及条件判断、循环、人工介入审批多模态任务编排（LLM+图像生成+代码执行）优先选LlamaIndex 企业知识库场景：海量文档（10万+）的高效检索需要精细控制检索策…

#阿里云#AI框架选型#LangChain vs LlamaIndex

面试题·RAG· OPPO

查询文档相关性怎么算?

匹配正文：…EP] Doc [SEP] 输入 BERT 取 [CLS] 输出过 MLP 得相关性分数效果最优但计算昂贵，仅用于 Top-K 重排优化方向： ColBERT：延迟交互，token 级相似度，平衡效率与效果 Poly-encoder：多向量表示查询，兼顾速度与精度四、RAG 场景的特殊考量阶段方法职责召回向量检索（双塔）+ BM25 混合高召回、低延迟精排 Cross-Encoder / LLM 重排高精确、可接受延迟关键权衡：RAG 的检索延迟直接影…

#OPPO#查询文档相关性#语义匹配

面试题·RAG· 快手

LLM怎么融入推荐系统？意图理解与生成

匹配正文：…你推荐"的个性化话术四、核心挑战与应对挑战应对策略幻觉（推荐不存在item）约束解码+检索增强（RAG），先召回候选集再重排实时性 LLM只做离线特征或粗排，精排保持轻量；或投机解码成本大小模型级联，简单请求走小模型，复杂请求触发LLM 评估困难离线用A/B test，在线关注用户停留时长等长期指标五、快手场景的特殊考量短视频推荐的核心是实时性+多样性： LLM适合做session级别的兴趣总结（如识别用户从"搞笑"转向"知识"）不适合逐帧实时推理，可…

#快手#LLM推荐系统#LLM 推荐系统

面试题·RAG· 淘天

RAG 模型分类有哪些?

匹配正文：…事实性问答、内部文档查询等单跳、确定性场景 2. Advanced RAG（优化架构）架构：检索前（查询改写/扩展）→ 检索中（重排序/混合检索）→ 检索后（上下文压缩/摘要）→ 生成核心改进：查询优化：HyDE（假设文档嵌入）、Query2Doc 精排策略：Cross-encoder重排、多路召回融合上下文处理：Recomp压缩、选择性上下文适用：企业知识库、产品手册等噪声多、需精排的场景 3. Modular RAG（模块化/Agent化）架构：检索与生成解耦…

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 蚂蚁

时间窗口对话系统：约束与取舍

匹配正文：…23] 用户: ...）长上下文模型中，利用NTK-aware插值或YaRN适配时间跨度变化 RAG增强向量检索 + 时间衰减重排：score = semantic_score × exp(-λ·Δt) 避免硬过滤：保留高语义相关但较早的内容作为"背景知识" 用户体验设计渐进式遗忘：非突然截断，而是"我记得您之前问过X，但细节可能需要确认" 显式锚定：允许用户主动标记关键信息突破时间限制（"记住这个"）时效性提示：对可能过期的信息主动标注（"根据3天前的政策..."）…

#蚂蚁#时间窗口对话#时间窗口对话系统

面试题·RAG· 小红书

生成式推荐系统未来怎么发展？

匹配正文：…范式当前：ID-based序列建模（SASRec等）与生成式LLM割裂趋势：用生成式统一框架替代多阶段漏斗（召回→粗排→精排→重排）关键：设计适配推荐的Tokenizer（将item ID、属性、内容编码为统一token） 2. 训练方式：多任务+反馈学习引入RLHF/DPO：利用用户真实反馈（点击、收藏、时长）优化生成质量解决生成式推荐的"曝光偏差"和"奖励稀疏"问题小红书场景：笔记生成需对齐"收藏率"而非单纯点击率 3. 推理效率：动态解码策略核心矛盾：生成…

#小红书#生成式推荐趋势#生成式推荐系统