匹配正文：…合文档理解 Qwen-VL-RAG 统一多模态Embedding 中文优化，图文联合表征 LlamaIndex多模态多向量空间+重排序工程成熟，灵活度高 3. 关键架构差异 Embedding层方案A：冻结视觉编码器（CLIP/SigLIP）+ 投影对齐方案B：端到端训练（如ColPali的ViT+Transformer）检索策略早期融合：图文拼接后统一编码晚期融合：分别检索后加权融合 4. 适用场景文档智能：发票、合同、研报（ColPali优势）电商搜索：…

#淘天#多模态#多模态 RAG 架构设计

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：…IP（图文）、ImageBind（图文音）、Q-Former（细粒度）检索层：向量库支持多模态索引（如Milvus多向量集合）、重排序模型生成层：LLaVA、Qwen-VL、GPT-4V等多模态大模型，支持图文交错输入典型应用场景电商智能导购：用户上传穿搭图，检索相似商品图+详情文本，生成搭配建议医疗辅助诊断：CT影像检索相似病例图像+诊断报告，生成综合分析工业设备运维：故障现场照片+设备日志，跨模态检索维修手册和案例视频教育多模态答疑：学生圈出题目图片区域，检…

#阿里#多模态#Multi-modal RAG

面试题·Prompt· 脉脉

Prompt 怎么系统设计与优化?

匹配正文：…样本学习 3-5个输入-输出对，覆盖边界case 多轮交互动态上下文压缩保留摘要+关键实体，丢弃过时细节 RAG场景检索结果重排序按相关性打分注入，标注来源可信度三、评估与迭代体系三层验证：规则层：正则/JSON Schema校验格式合规性模型层：用更强模型（如GPT-4）作为裁判，设计评分rubric 业务层：埋点采集用户满意度、任务完成率、人工复核准确率迭代机制：建立Prompt版本库，小流量A/B测试，关键变更需回归测试集（含对抗样本）。四、RAG/…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#脉脉#评估与监控#Agent

面试题·Prompt· 字节

RAG Generator Prompt 整合原理

匹配正文：一、上下文整合策略检索结果预处理按相关性得分重排序，优先放置高置信度文档动态截断：根据模型上下文窗口预留20%给系统提示和用户查询，剩余分配给检索文档去重与冲突检测：相似度过高的文档合并，矛盾内容标记供模型判断上下文格式化 [Document 1] 来源: {source_id} {content} [Document 2] ... 二、Prompt模板设计三层结构系统指令：定义角色（"你是专业助手"）、任务目标、约束条件（"仅基于提供文档回答，不确定时说明"）…

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 字节

RAG Generator 怎么构造 Prompt?

匹配正文：…和输出契约。Prompt 只能帮助模型使用证据，不能弥补错误召回，也不能保证固定幅度的准确率提升。构造步骤筛选与去重：按检索和重排结果筛选候选，保留来源、版本、权限和时间；不要用未经校准的统一阈值。信任边界：将检索文本视为不可信数据，用清晰分隔符包裹，禁止其中内容覆盖系统指令。排序与预算：根据任务、证据依赖和“lost in the middle”风险安排顺序，预留生成与工具调用空间。输出契约：要求答案断言关联引用；证据不足或冲突时返回结构化的不确定状态。校验：检…

#字节#Prompt工程#RAG Generator Prompt

面试题·Prompt· 字节

RAG 生成阶段 Prompt 怎么构建?

匹配正文：…前问题：{current_q} 进阶策略策略作用动态Few-shot 从检索结果中挑1-2个高质量问答对作为示例注入上下文重排序把最相关的文档放Prompt末尾（近因效应）置信度提示要求模型输出"确定性分数"或"需澄清"标记角色隔离用XML标签<context> <question>严格分隔字节场景的特殊考量短内容平台：检索结果可能是碎片化评论，Prompt需强调"综合多方观点" 时效性内容：加入时间戳提示，让模型优先参考最新资料安全过滤：系统指令层前…

#字节#Prompt工程#RAG Prompt 构建

面试题·Prompt· 百度

RAG 改写与 Prompt 链路

匹配正文：…riginal_query} 【要求】 - 直接回答，不要复述问题 - 不确定时明确说明 - 引用格式：[编号] 4. 进阶技巧重排序提示：把检索分数作为文本提示注入，帮助模型判断可信度动态上下文：根据query类型选择不同提示模板（事实型/观点型/计算型）负样本提示：主动告知"以下文档与问题无关，请忽略"，过滤噪声三、工程权衡策略收益成本 HyDE 召回+15-20% 多一次LLM调用查询分解多跳问题准确率提升延迟×N，需并行化长上下文重排序答案相关…

#百度#小鹏#美团

面试题·Prompt· 商汤科技

RAG Prompt 模板设计陷阱

匹配正文：…巧问题解决方案文档冗余/重复 prompt中加指令："若多片段内容重复，优先使用最新/最具体的来源" 长上下文截断按相关性重排序后截断，prompt提示"以下是最重要的N份资料" 跨文档推理显式要求："对比[1]和[3]的观点，指出差异" 幻觉抑制强制要求："任何无引用支撑的内容标记为[推测]" 进阶：动态模板实际项目中建议用LangChain/LlamaIndex的提示模板引擎，根据检索结果动态调整：高置信度单文档 → 精简模板，直接抽取多文档冲突 → 激…

#商汤科技#Prompt工程#Prompt 模板设计

面试题·RAG· 淘天

RAG 核心架构与工作流程

匹配正文：…ng模型）生成器：将"查询+检索文档"拼接为上下文，生成最终回答标准流程：用户Query → 向量化 → 向量检索召回 → 重排序（可选） → 上下文拼接 → LLM生成解决的关键问题问题说明事实幻觉生成内容有检索文档支撑，可溯源验证知识时效性无需重训即可更新知识库领域专业知识注入企业私有数据，弥补通用模型短板生成可控性通过限定检索范围约束回答边界 RAG vs 纯参数化模型：场景对比 RAG显著更优的场景：高事实准确性要求：医疗诊断、法律咨询、…

#淘天#阿里#RAG 架构

面试题·RAG· 字节

RAG 怎么提升生成准确性?

匹配正文：…需重训模型领域适配微调成本高零样本接入私有知识关键优化点检索质量：Embedding模型微调、混合检索（向量+关键词）、重排序（Rerank）上下文组织：片段截断策略、多轮检索、检索结果去重融合生成控制：提示词约束模型严格基于检索内容回答，拒绝无关Query 与微调对比 RAG优势在于知识可解释、更新即时、成本可控；适合知识频繁变更、需溯源的场景。微调更适合改变模型行为风格或需要内化复杂推理模式的任务。学习建议建议系统学习该知识点

#字节#外部知识检索#RAG 原理

面试题·RAG· 字节

RAG 怎么提升生成质量?

匹配正文：…成本接入私有知识，比微调便宜10-100倍可解释性：答案从哪来一目了然关键优化点（加分项）检索侧：Query改写、多轮检索、重排序（Cross-Encoder精排）生成侧：上下文窗口压缩、让模型先判断"是否足够回答" 工程侧：缓存热点Query、检索失败兜底策略一句话总结 RAG = 给LLM配个"外挂硬盘"，需要时查资料，不用死记硬背，答不准还能甩锅给知识库。学习建议建议系统学习该知识点

#字节#大模型幻觉#RAG 原理

面试题·RAG· 百度

RAG 索引构建管线

匹配正文：…据归档实际落地建议：先通过Bad Case分析定位是"召不回"还是"召不准"，再针对性优化——召回不足扩分块、调模型；准确率低加重排序、加过滤。学习建议建议系统学习该知识点

#百度#RAG索引优化#RAG 索引构建管线

面试题·RAG· 阿里

LangChain vs LlamaIndex 架构差异？

匹配正文：…dex强项索引策略：VectorStoreIndex、TreeIndex、KGIndex等10+种索引结构检索优化：自动路由、重排序、递归检索、子问题分解数据连接器：150+种数据源开箱即用（PDF、SQL、Notion等）选型建议场景推荐框架原因多步骤Agent（数据分析→生成报告→邮件发送） LangChain 需要复杂的状态管理和工具编排百万级文档知识库问答 LlamaIndex 索引分层、查询优化、响应速度更优快速原型验证两者皆可 LlamaIn…

#阿里云#LangChain与LlamaIndex#LangChain vs LlamaIndex

面试题·RAG· 字节

医疗法律RAG架构怎么搭？

匹配正文：…领域同义词词典（如ICD-10编码映射）结构化检索：SQL/图查询针对法条层级、药品属性精排与过滤 Cross-Encoder重排序时效性过滤（法律：优先现行有效；医疗：优先近3年指南）权威性分级（法规 > 专家共识 > 文献）生成模块 Prompt设计你是{领域}助手，基于以下参考资料回答： [检索片段，带来源标注] 约束：1) 不确定时明确说明 2) 引用具体条款/文献 3) 禁止编造安全机制拒答策略：超范围问题（如具体诊疗建议）转人工引用溯源：输出必须…

#字节#专业领域RAG#RAG 系统设计

面试题·RAG· 阿里

LangChain vs LlamaIndex 场景怎么选？

匹配正文：…eIndex、TreeIndex、KGIndex、DocumentSummaryIndex等检索优化：自动检索器选择、混合搜索、重排序（rerank）、递归检索查询引擎：支持子问题分解、多文档对比、结构化数据查询选型决策优先选LangChain 需要调用多个外部工具/API的复杂Agent 工作流涉及条件判断、循环、人工介入审批多模态任务编排（LLM+图像生成+代码执行）优先选LlamaIndex 企业知识库场景：海量文档（10万+）的高效检索需要精细控制检索策…

#阿里云#AI框架选型#LangChain vs LlamaIndex

面试题·RAG· OPPO

查询文档相关性怎么算?

匹配正文：…EP] Doc [SEP] 输入 BERT 取 [CLS] 输出过 MLP 得相关性分数效果最优但计算昂贵，仅用于 Top-K 重排优化方向： ColBERT：延迟交互，token 级相似度，平衡效率与效果 Poly-encoder：多向量表示查询，兼顾速度与精度四、RAG 场景的特殊考量阶段方法职责召回向量检索（双塔）+ BM25 混合高召回、低延迟精排 Cross-Encoder / LLM 重排高精确、可接受延迟关键权衡：RAG 的检索延迟直接影…

#OPPO#查询文档相关性#语义匹配

面试题·RAG· 快手

LLM怎么融入推荐系统？意图理解与生成

匹配正文：…你推荐"的个性化话术四、核心挑战与应对挑战应对策略幻觉（推荐不存在item）约束解码+检索增强（RAG），先召回候选集再重排实时性 LLM只做离线特征或粗排，精排保持轻量；或投机解码成本大小模型级联，简单请求走小模型，复杂请求触发LLM 评估困难离线用A/B test，在线关注用户停留时长等长期指标五、快手场景的特殊考量短视频推荐的核心是实时性+多样性： LLM适合做session级别的兴趣总结（如识别用户从"搞笑"转向"知识"）不适合逐帧实时推理，可…

#快手#LLM推荐系统#LLM 推荐系统

面试题·RAG· 淘天

RAG 模型分类有哪些?

匹配正文：…事实性问答、内部文档查询等单跳、确定性场景 2. Advanced RAG（优化架构）架构：检索前（查询改写/扩展）→ 检索中（重排序/混合检索）→ 检索后（上下文压缩/摘要）→ 生成核心改进：查询优化：HyDE（假设文档嵌入）、Query2Doc 精排策略：Cross-encoder重排、多路召回融合上下文处理：Recomp压缩、选择性上下文适用：企业知识库、产品手册等噪声多、需精排的场景 3. Modular RAG（模块化/Agent化）架构：检索与生成解耦…

#淘天#RAG架构分类#RAG 分类

面试题·RAG· 蚂蚁

时间窗口对话系统：约束与取舍

匹配正文：…23] 用户: ...）长上下文模型中，利用NTK-aware插值或YaRN适配时间跨度变化 RAG增强向量检索 + 时间衰减重排：score = semantic_score × exp(-λ·Δt) 避免硬过滤：保留高语义相关但较早的内容作为"背景知识" 用户体验设计渐进式遗忘：非突然截断，而是"我记得您之前问过X，但细节可能需要确认" 显式锚定：允许用户主动标记关键信息突破时间限制（"记住这个"）时效性提示：对可能过期的信息主动标注（"根据3天前的政策..."）…

#蚂蚁#时间窗口对话#时间窗口对话系统

面试题·RAG· 小红书

生成式推荐系统未来怎么发展？

匹配正文：…范式当前：ID-based序列建模（SASRec等）与生成式LLM割裂趋势：用生成式统一框架替代多阶段漏斗（召回→粗排→精排→重排）关键：设计适配推荐的Tokenizer（将item ID、属性、内容编码为统一token） 2. 训练方式：多任务+反馈学习引入RLHF/DPO：利用用户真实反馈（点击、收藏、时长）优化生成质量解决生成式推荐的"曝光偏差"和"奖励稀疏"问题小红书场景：笔记生成需对齐"收藏率"而非单纯点击率 3. 推理效率：动态解码策略核心矛盾：生成…

#小红书#生成式推荐趋势#生成式推荐系统

面试题·RAG· 小红书

生成式与判别式推荐选型

匹配正文：…织用户-物品对，依赖负采样纯序列，无需显式负样本扩展性新物品需重新计算特征零样本/少样本生成新ID 统一性召回、排序、重排分离单一模型覆盖全链路优势与挑战优势统一框架：召回+排序一体化，简化系统复杂度冷启动友好：利用生成能力推断未交互item 跨域迁移：序列生成能力可跨场景复用天然可解释：生成过程可追溯挑战 ID空间爆炸：商品库百万级，vocab过大训练效率：自回归生成训练慢于对比学习生成质量：可能出现幻觉ID或重复推荐学习建议建议系统学习该…

#小红书#生成式与判别式推荐#生成式与判别式推荐选型

面试题·RAG· 小红书

ROI 问题怎么影响推荐效果?

匹配正文：…索+多样性惩罚 Top-p/Nucleus采样：引入随机性，避免贪婪解码 MMR（最大边际相关）：相关性-多样性联合排序后处理/重排行列式点过程（DPP）：建模物品间相似度矩阵，优化子集多样性滑动窗口去重：过滤近期已曝光内容模型结构解耦表示学习：将兴趣表示分解为多个因子，独立控制各维度多样性小红书场景特点内容平台更关注Repetition（同一博主刷屏）和多样性（跨类目发现），通常采用"DPP重排 + 曝光过滤 + 探索流量扶持"的组合策略。学习建议建议系统…

#小红书#推荐多样性#ROI 问题

面试题·RAG· 美团

动态增量更新怎么防检索偏差?

匹配正文：…更新导致向量空间密度不均，近邻搜索出现"断层" 缓解策略策略核心思路适用场景版本隔离新旧文档分索引存储，检索时多路召回+重排序融合模型升级、大规模更新渐进式重嵌入设定阈值触发全量重计算（如30%文档更新），期间双索引并行高频小批量更新分布对齐约束增量文档用旧模型编码后，经线性变换对齐到新空间必须混存、资源受限时间戳加权检索分数引入时间衰减因子，降低旧文档优先级时效性敏感场景工程实践要点灰度验证：新文档先写入影子索引，对比线上检索TOP-K重合…

#美团#增量更新检索偏差#RAG 知识库更新

面试题·RAG· 百度

RAG 技术原理与核心组件详解

匹配正文：…据库 + 可选的倒排索引混合 2. 检索（Retrieval）稠密检索：向量相似度（余弦/IP）稀疏检索：BM25关键词匹配重排序：Cross-Encoder精排，过滤低质结果查询改写：HyDE、Query Expansion提升召回 3. 生成（Generation）上下文拼接：检索结果 + 用户Query → Prompt 大模型生成：GPT-4、文心等生成最终回答引用溯源：输出参考文档编号，增强可信度标准工作流程用户Query → Query理解/改写 …

#百度#RAG核心组件#RAG 技术原理