匹配正文：…层面列举3-5个核心指标（如Recall@K、BLEU、Faithfulness等）说明端到端评估与组件级评估的区别提及实际挑战如标注成本高、主观性、延迟与质量的权衡能结合业务场景举例说明一、评估维度分层 1. 检索层（RAG特有） Recall@K / MRR：衡量检索系统能否召回相关文档 NDCG：考虑排序质量的综合指标 Hit Rate：Top-K是否命中答案所在文档 2. 生成层 Faithfulness / 忠实度：生成内容是否忠实于检索文档（可用NLI模…

#安克科技#评估与监控#Agent

面试题·多模态· 阿里

Multi-modal RAG 原理与挑战

匹配正文：…引后用 RRF、分数校准或重排器晚融合。共享空间便于跨模态检索但可能损失模态细节；分索引保留专用能力却增加路由和校准复杂度。关键挑战包括：细粒度区域或时间片对齐；OCR/ASR 错误和域偏移；有限上下文内的证据去重与排序；版权、隐私、提示注入和访问控制。评估要拆分各模态 Recall@K、跨模态重排、答案忠实度、引用定位、尾延迟和成本。财报图表问答、设备图片诊断、视频定位和商品图文客服都是适用场景，但模型与索引选择必须由目标数据基准决定。图解 Multi-modal RA…

#阿里#多模态#多模态 RAG

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配正文：答案要点区分RAG和Agent的不同评估维度（检索质量vs工具调用/规划能力）覆盖客观指标（准确率、召回率）和主观指标（有用性、无害性）提及自动化评估与人工评估的结合指出实际落地中的挑战（评测数据构建、动态环境、成本权衡）一、RAG系统评估体系检索模块指标 Recall@K：正确答案在Top-K检索结果中的比例 MRR（平均倒数排名）：正确答案排名的倒数均值 Context Precision：检索片段中相关信息的比例生成模块指标 Faithfulness：生成…

第 1 / 4 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#安克科技#Agent#Agent 评估体系

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：答案要点 RAG核心流程（索引-检索-生成）的完整理解向量数据库选型与优化要点检索策略（稠密/稀疏/混合）的权衡实际落地中的关键挑战（幻觉、时效性、多跳推理） RAG与微调的结合思路一、技术原理 RAG的核心思想：用外部知识弥补大模型的知识截止和幻觉问题，把LLM从"闭卷考试"变成"开卷考试"。标准流程三步走：索引（Indexing）：文档切分→Embedding编码→向量库存储检索（Retrieval）：Query向量化→相似度搜索→Top-K召回生成（Ge…

#字节#RAG 最佳实践#RAG 技术原理

面试题·知识图谱· 淘天

GraphRAG 最大技术挑战?

匹配正文：…点知识图谱构建的质量与成本权衡多跳推理的准确性与效率平衡图结构与向量检索的融合机制动态更新与版本管理评测体系的缺失核心挑战与解决思路 1. 知识图谱构建：质量与成本的死结难点：实体抽取、关系识别、消歧的准确率低，人工标注成本极高；电商领域商品属性繁杂，schema设计困难解法：采用弱监督+主动学习循环：先用LLM生成候选三元组，人工审核高置信度样本，再迭代优化；schema采用自底向上演化，而非一次性完美设计 2. 多跳推理：准确性与效率的权衡难点：2跳以上…

#淘天#知识图谱#评估与监控

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配正文：多模态RAG定义传统RAG只检索和生成文本，多模态RAG将检索范围扩展到图像、视频、音频、表格等异构数据，让大模型能基于多源证据进行推理和生成。关键差异对比阶段传统文本RAG 多模态RAG 检索文本Embedding（BERT/Sentence-BERT）→ 相似度匹配跨模态统一嵌入（如CLIP视觉-语言对齐）→ 任意模态query检索任意模态doc 生成纯文本上下文输入LLM 多模态编码器（如ViT+LLM连接器）将图像/视频转为token序列，与文本拼接输入…

#快手#多模态#多模态 RAG

面试题·多模态· 阿里

Multi-modal RAG 是什么?

匹配正文：答案要点明确多模态RAG的定义（支持文本、图像、视频、音频等多模态输入和检索）技术挑战（跨模态语义对齐、多模态索引构建、模态融合策略）核心组件（多模态编码器、跨模态检索器、多模态生成器）典型应用场景（电商图文搜索、医疗影像诊断、工业质检、多模态客服）什么是多模态RAG 传统RAG只检索文本知识，多模态RAG将检索范围扩展到图像、视频、音频、表格等多模态数据，实现"以文搜图、以图搜文、跨模态联合推理"的增强生成。核心挑战 vs 文本RAG 维度传统文本RAG 多模…

#阿里#多模态#Multi-modal RAG

面试题·多模态· 小鹏

RAG 中表格图片怎么处理?

匹配正文：…分析）多模态Embedding策略（文本+图像联合编码或分离编码）检索层面的多模态对齐与融合生成阶段的跨模态上下文整合实际挑战（解析精度、计算成本、模态对齐）核心思路多模态RAG的关键是统一表示 + 按需检索 + 跨模态生成。把表格、图片都转成模型能理解的格式，同时保留结构化信息供精准召回。技术方案 1. 文档解析层类型处理方法表格用专用工具（如Camelot、Table Transformer）提取为HTML/Markdown/JSON，保留行列关系；…

#小鹏#多模态#RAG 表格处理

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：…化。二、信息融合机制传统方法检索Top-K文档直接拼接到输入上下文问题：上下文长度爆炸、文档边界干扰、无法区分信息重要性 RAG融合方式早期融合：检索向量作为额外key/value参与注意力计算（如FiD、REPLUG）中间融合：解码每步动态检索（如kNN-LM、RETRO的chunk级检索）生成式检索：直接生成文档标识符（如DSI、SEAL）关键优势：梯度驱动的自适应权重分配，模型自动学习"何时信检索、何时信参数"。三、效果优劣与核心挑战优势具体表现 …

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·RAG· 字节

豆包等产品多轮一致性挑战与方案?

匹配正文：核心挑战 1. 指代与省略理解 "这个"、"刚才说的"等指代需要跨轮解析用户常省略主语，依赖对话历史补全语义 2. 话题漂移与意图切换用户突然切换话题或返回之前的话题需要区分临时插话 vs 真正的话题转移 3. 长程依赖与状态遗忘早期设定的约束（如"用简洁风格"）被模型遗忘关键实体属性在多轮后丢失 4. 一致性冲突模型前后回答矛盾（先否定后肯定）人设/风格不一致关键技术手段层级技术方案作用上下文管理滑动窗口 + 摘要压缩解决超长对话，保留关键信息 …

#字节#多轮对话一致性#大模型多轮对话

面试题·RAG· 美团

RAG 知识库怎么增量更新?

匹配题目：在构建RAG系统的知识库时，当新增文档需要加入索引，如何实现高效、低开销的动态增量更新？请说明常用策略及其实现挑战。

#美团#知识库增量索引#RAG 增量更新

面试题·RAG· 百度

RAG 技术原理与核心组件详解

匹配正文：答案要点清晰阐述RAG"检索-增强-生成"的三阶段核心思想准确描述索引、检索、生成三大组件及其技术选型说明RAG相比纯参数化知识的优势（时效性、可解释性、成本）至少提及2-3个真实挑战（检索精度、上下文窗口、多跳推理等）核心思想 RAG（Retrieval-Augmented Generation）将外部非参数化知识与大模型参数化知识结合，解决纯LLM的幻觉、知识时效性和领域适配问题。三大核心组件 1. 索引（Indexing）文档切分：按语义/固定长度分块，控…

#百度#RAG核心组件#RAG 技术原理

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：答案要点延迟挑战：检索耗时、多轮调用、大模型生成慢正确率挑战：检索不准、上下文噪声、多跳推理失败根因分析：向量检索局限、长上下文稀释、工具链复杂优化思路：预检索策略、重排序、缓存机制、混合检索延迟挑战与根因瓶颈环节具体表现根因检索阶段向量库查询+重排序耗时高大规模向量ANN搜索精度-速度trade-off，跨模态检索更慢工具调用 Agent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· 百度

RAG 工作流程与关键技术组件

匹配正文：…在线检索流程（查询改写、向量检索、重排序、上下文组装）关键技术组件（Embedding模型、向量数据库、Reranker）核心挑战（检索精度、上下文长度限制、知识更新、幻觉问题）一、RAG基本工作流程离线索引阶段文档解析：处理PDF/Word/网页等多格式，提取结构化文本文本分块（Chunking）：按语义或固定长度切分，通常512-1024 tokens，需保证语义完整性向量化（Embedding）：用BGE、M3E等模型将chunk编码为稠密向量索引存储：…

#百度#RAG技术架构#RAG 工作流程

面试题·检索· 小红书

RAG 局限性怎么破?

匹配正文：答案要点识别RAG在检索质量、生成整合、知识边界三方面的核心局限能分析检索噪声、语义鸿沟、上下文窗口等具体挑战提出至少3类改进方向（如混合检索、重排序、Agent化RAG）体现对RAG与Fine-tuning、Agent关系的辩证理解 RAG的核心局限可归纳为检索失效、生成割裂、能力边界三类：一、主要局限与挑战维度核心问题具体表现检索质量语义鸿沟 query与文档embedding不对齐，关键词匹配失败检索噪声 Top-K混入无关文档，稀释有效信息覆盖…

#小红书#RAG局限性#RAG 局限性

项目实战·RAG

第 1 章:为什么做 RAG?

匹配正文：📊 学习时长:30-40 分钟 🎯 完成后能力:能用一段零依赖代码演示 RAG 的核心机制,并讲清为什么解析、切分、检索与评估同样关键 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用 20 行不依赖任何库的代码,亲手演示一遍 RAG 的核心机制 ✓ 看懂 3 个核心概念:什么是幻觉、什么是 RAG、什么是"上下文" ✓ 建立 RAG 的"两条链路"心智模型(这张图决定了本书后面 9 章的顺序) ✓ 学会判断…

#RAG#检索#项目实战

面试题·多模态· 小红书

多模态大模型面临哪些挑战?

匹配正文：当前多模态模型的挑战要从具体能力说，而不是笼统说看不懂图。CLIP式图文对比学习擅长学习全局语义对应，但全局相似不等于能定位对象、区分属性、读取小字或判断两个对象的空间关系。模型能识别画面主题，也可能在计数、左右、遮挡和指代上失败。数据是主要限制之一。网页图文对常只有弱相关描述，caption会遗漏画面中的对象、关系与否定信息；OCR、区域短语、跨帧动作和专业图像需要更细的标注。合成描述可以扩量，也会继承教师模型幻觉。训练前要做许可、隐私、去重与细粒度抽检。评测必须按能力…

#模态对齐#数据构建#推理一致性

项目实战·RAG

附录:把这个 RAG 项目写进简历 & 面试应答

匹配正文：…· 验收串题｜ ~10% 学到这一步,做几道题验证一下,知道自己学到位没。关联面试题(5 道,覆盖 5 个角度) 【完整介绍 RAG 项目】请详细介绍一个你参与的 RAG 项目:背景、技术方案、你的具体贡献、遇到的挑战。中等 → 【RAG 技术细节】请说明你在项目里应用 RAG 的技术细节:检索器设计、知识库构建、与生成的结合。中等 → 【RAG 解决了什么问题】 RAG 在你的项目里解决了哪些具体问题?带来了什么影响? 中等 → 【项目深挖追问】二三面里,面试…

#RAG#检索#项目实战

面试题·Agent· 字节

Agent 技术演进与挑战?

匹配正文：…容生产素材检索、脚本生成、多模态创作剪映/即梦AI助手代码开发需求理解、代码生成、测试调试豆包MarsCode 三、关键挑战可靠性规划错误：任务拆解不合理导致执行失败工具选择失误：选错API或参数格式错误安全性权限边界：Agent越权访问敏感数据提示注入：恶意指令劫持Agent行为可控性执行过程黑盒，难以审计和回滚成本不可控：复杂任务触发大量LLM调用四、未来潜力短期（1-2年）：垂直场景的深度封装，如"一键生成周报"类确定性工作流中期（3-…

#字节#Agent#Agent 发展趋势

面试题·评估· 蚂蚁

RAG多轮对话怎么防知识遗忘?

匹配正文：…下文漂移（主题偏离）的本质差异提出显式对话状态管理机制设计动态检索策略而非单次检索说明查询重写/扩展的具体方法给出评估多轮RAG效果的指标问题本质多轮RAG的两个核心挑战：知识遗忘：早期轮次的关键信息未被当前检索利用上下文漂移：用户意图变化导致检索偏离当前需求技术方案 1. 显式对话状态管理对话状态 = {主题实体集合, 用户意图, 未解决问题, 已确认事实} 每轮用轻量模型抽取状态更新状态向量化后参与检索相似度计算 2. 分层检索策略层级内容权重…

#蚂蚁#RAG 多轮对话#知识遗忘

面试题·评估· 美团

RAG 指标权衡与阈值

匹配正文：RAG评估的核心维度一、检索质量指标指标意义实践考量 Recall@K 相关文档是否被召回知识库场景优先保召回，客服场景可适当降低 MRR/NDCG 排序质量，高相关文档是否靠前影响LLM输入质量，但计算成本高上下文相关性召回内容与query的语义匹配度需过滤噪声，避免无关信息干扰生成二、生成质量指标指标意义实践考量答案相关性回答是否切题，有无答非所问最基础指标，但无法检测幻觉事实一致性生成内容是否与检索文档一致最关键指标，需用NLI模型…

#美团#评估与监控#RAG 指标权衡与阈值

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配正文：一、文档处理层核心挑战：专业文档格式复杂（PDF扫描件、表格、手写批注）多模态解析：OCR+LayoutLM提取图文混排内容，保留章节层级结构智能分块：按语义边界切分（条款/病例段落），非固定长度；医疗场景保留"主诉-检查-诊断"完整上下文元数据标注：标注文档来源、时效性、效力等级（如法律条文效力层级）二、索引构建双轨索引策略：类型用途实现稠密向量索引语义匹配领域微调Embedding（如医疗用PubMedBERT）稀疏关键词索引精准匹配 BM25…

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 字节

医疗法律RAG：评估陷阱

匹配正文：整体架构：四层链路设计一、数据处理层（领域知识工程）核心挑战：专业文档结构复杂、术语密集、更新频繁多源接入：医学指南、药品说明书、判例库、法规条文、内部病历/卷宗（需脱敏）智能分块：按语义边界切分（章节、条款、病例段落），非固定长度医疗：保留"症状-诊断-治疗"完整上下文块法律：保持"事实-法条-判决"逻辑链知识增强：提取实体关系构建领域知识图谱，作为检索补充二、检索系统层（混合召回）单一向量检索不够，需多路融合检索方式适用场景实现稠密向量检索语…

#字节#专业领域 RAG#RAG 系统设计

面试题·评估· 安克科技

RAG 问答金标构建

匹配正文：…解释真实性验证的具体手段（溯源检查、一致性校验、专家抽检）说明保证多样性的维度设计（文档类型、问题复杂度、答案位置、否定/多跳等挑战类型）评估数据集的三层架构层级目的规模建议开发集迭代调优 500-1000条测试集公平对比 1000-3000条对抗集压力测试 200-500条高难度问题来源的四种策略 1. 人工专家设计领域专家基于文档直接编写优势：质量高、覆盖边缘场景劣势：成本高、主观性强 2. LLM辅助生成 Prompt模板要点： - 指定角…

#安克科技#评估与监控#RAG 问答金标构建