匹配口述回答：…推断的比例要平衡。关键比例我控制为可回答比不可回答8比2，单跳比多跳比挑战大概是6比3比1。其实这里有个延伸点：对抗集的难度怎么量化，我目前是用错误类型来分类，比如缺失证据、矛盾证据、无关证据，但不同错误对系统的影响权重不一样，怎么自动分配权重是个开放问题。所以整体上，我更倾向把评估数据集当成一个活的资产，而不是一次性造完就扔。上线我会特别关注真实用户日志的反馈，定期用新日志更新对抗集，因为业务规则会变，比如满减政策调整后，旧问题可能就失效了。评估体系分层：开发/测试/…

← 上一页第 12 / 13 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#安克科技

#评估与监控

#RAG 问答金标构建

面试题·评估· 安克科技

Agent/RAG 评估体系怎么搭?

匹配口述回答：…场景下，记忆和状态的一致性评估比单轮复杂得多，业界还没成熟方案。面试官可能会追问多轮评估的具体方法，比如如何构造多轮测试集、如何量化记忆保持率。

#安克科技#Agent#Agent 评估体系

面试题·模型微调· 百度

文本嵌入模型怎么选?

匹配追问：…设你在做一个电商客服的智能问答，用户问“这个订单什么时候发货”，你需要从商品库和订单库里检索相关信息。你会选哪个文本嵌入模型来做向量化？为什么？层层追问做RAG的时候你一般用什么模型把文本变成向量？……中文场景和英文场景有区别吗？……那如果文档特别长，比如法律文书，你还会用同一个模型吗？直球架构聊一下文本嵌入模型选型。从BGE、GTE、M3E、OpenAI这些里挑，怎么选？要考虑语言支持、上下文长度、向量维度、推理成本这些，你具体怎么权衡？

#百度#文本嵌入模型#Embedding 模型对比

面试题·模型微调· 百度

Embedding 模型选型考虑哪些因素?

匹配追问：…Q。你现在要选一个embedding模型，你会怎么考虑？比如BERT和Sentence-BERT你选哪个？层层追问你们做文本向量化的时候，embedding模型怎么选的？……那如果场景是中文、还要支持长文档呢，模型选型上有什么不同？……再比如业务对延迟要求很高，但精度也不能太差，你怎么权衡？直球架构请直接讲构建文本向量编码系统时，选embedding模型要考虑哪些维度？不同模型比如BGE、M3E、OpenAI embedding在效果和性能上具体怎么比？

#百度#向量检索#Embedding 模型选型

面试题·知识图谱· 淘天

伪多模态与原生多模态差在哪?

匹配口述回答：… 或者像 [[CLIP]] 这种视觉编码器，把图像转成一段文字描述，比如用 BLIP2 生成 caption，然后把这个文本[[向量化]]，丢进 [[Vector Database]] 里检索，最后喂给 LLM 生成答案。说白了，就是把多模态问题强行压成单模态问题，图像信息在转换过程中会有有损压缩，caption 写得好不好直接决定了检索质量。比如一张复杂的图表，如果 caption 只写了“柱状图显示增长”，那丢了横纵轴标签、数据趋势这些细节，召回肯定不准。真多模态就不一…

#淘天#知识图谱#伪多模态RAG

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配口述回答：…4分钟多模态RAG落地的前提是数据质量，否则模态对齐会崩。面试官可能会追问：数据质量具体怎么评估？或者有没有现成的工具或指标来量化模态对齐的程度？

#快手#多模态#多模态 RAG

面试题·多模态· 淘天

伪 vs 真多模态 RAG 优劣在哪？

匹配口述回答：…型可能到1024以上，这对[[HNSW]]索引的内存消耗压力很大。我最近在关注用[[Product Quantization]]做量化压缩，能在召回率损失1%以内把内存减半，这个方向挺有前景的。所以整体上，我更倾向于把伪多模态看作一个快速验证的起点，真正多模态是最终目标，但中间那个折中方案才是大多数业务落地的常态。一句话定位：这道题在问多模态检索的两种路线，本质是信息无损 vs 工程简便的取舍伪多模态：用OCR/描述转文本，检索退化单模态，信息损失大但系统简单真正多模…

#淘天#多模态#伪多模态RAG

面试题·Prompt· 字节

动态Prompt怎么保证策略对齐?

匹配口述回答：…钟当任务目标动态变化时，形式化验证的维护成本很高，需要平衡更新频率和验证开销。面试官可能会追问：具体怎么平衡？有没有实际案例或量化指标？

#字节#Prompt工程#Agent

面试题·Prompt· 阿里

Agent Prompt优化评估指标

匹配口述回答：这道题其实是在问，怎么量化一个Prompt改动对[[Agent]]推理链路的真实影响，而不只是拍脑袋觉得好。我一般会从定量和定性两个维度去评估，而且真正上线的时候，两者要结合起来看。先说定量指标。核心是任务层的成功率，比如在客服退款场景里，用户说‘我买的东西降价了，退差价’，Agent能不能正确走完查订单、算差价、发起退款这个流程。这是端到端的硬指标。但只看成功率不够，我会同时看步骤效率，平均用了多少次工具调用，如果新Prompt让Agent多绕了一圈才成功，那可能只是碰巧…

#阿里云#Prompt工程#评估与监控

面试题·Prompt· 字节

Agent 系统架构与 Prompt 设计原则

匹配口述回答：…卡死。记忆机制上，短期记忆就是对话历史，但我会用[[滑动窗口]]控制长度。长期记忆我用[[RAG]]，把历史案例和知识文档[[向量化]]，需要时检索。这里有个前提：知识库要定期更新，并且做质量校验，不然检索到过期信息反而害了Agent。容错方面，我特别关注两点。一是自我反思，每次执行后追加一步检查结果，如果发现错误就回退重来。二是中断恢复，保存执行状态快照，万一超时或崩溃，可以从断点继续，不用从头开始。其实还有一个更难的问题我还在想，就是当多个Agent协作时，怎么协调…

#字节#Agent#Agent 系统设计

面试题·Prompt· 蚂蚁

AI Agent 项目实战经验

匹配口述回答：…处理，解决效率低、标准不一技术实现：ReAct + 多工具编排，状态机管理，人工兜底个人贡献：方案设计、Prompt优化、效果量化踩坑与风险：幻觉校验、长链路超时、前提条件可延伸点：Multi-Agent vs 单Agent的适用场景约90秒 Multi-Agent的通信开销是规模化落地的关键瓶颈面试官可能会追问Multi-Agent的通信协议设计、消息丢失处理、Agent间协调策略等

#蚂蚁#Agent#AI Agent 项目

面试题·Prompt· 阿里

Prompt 性能上限评估指标

匹配口述回答：…集上的表现，如果留出集指标不升反降，那就要警惕。这个留出集怎么构造，其实也有讲究。所以整体上，我更倾向把定量和定性结合起来，先跑量化指标，再用人工和对抗测试兜底，最后用A/B验证。这样既不会过早放弃，也不会无谓消耗精力。本质问题：Prompt优化边际递减，判断何时停止定量指标：准确率、生成质量、效率成本、稳定性定性指标：Bad Case聚类、人工盲评、对抗测试工程实践：A/B测试、影子流量、分层实验边界划分：当前模型上限 vs Prompt表达上限约4分钟 Pr…

#阿里#Prompt工程#评估与监控

面试题·RAG· 美团

分布漂移下外接数据库怎么增强模型?

匹配口述回答：…靠的更新和回滚机制。常见失败场景是只关注更新速度而忽略了一致性，导致模型效果反而变差。所以我会特别关注效果闭环，确保每次更新都有可量化的收益。本质问的是：分布漂移下如何低成本保持模型效果三层架构：感知层、更新层、检索决策层更新机制按频次和风险分三种模式落地挑战：延迟、一致性、效果闭环美团场景的特殊考量与总结约4分钟当知识库规模很大时，分层存储和增量更新的平衡问题面试官可能会追问：增量更新对向量索引质量的具体影响，以及如何确定热向量的阈值

#美团#分布漂移#外接数据库增强

面试题·RAG· 美团

RAG 知识库怎么增量更新?

匹配口述回答：…。所以整体上，我更倾向双缓冲加定期重建的组合，核心是保证一致性，用版本号和快照读避免脏读。如果面试官您对增量索引的图结构退化怎么量化检测感兴趣，我可以展开说。一句话定位：本质是平衡实时性、检索质量和一致性边界划分：实时增量 vs 批量重建 vs 双缓冲，场景决定策略具体业务例子：客服退款政策更新，用双缓冲+增量补录落地风险：一致性窗口、存储膨胀、回滚能力判断收尾：倾向双缓冲+定期重建，重一致性约4分钟当数据量上亿时，HNSW增量插入性能下降，可用Product…

#美团#知识库增量索引#RAG 增量更新

面试题·RAG· OPPO

查询文档相关性怎么算?

匹配口述回答：…，不过索引存储量大。面试官可能会追问 ColBERT 的原理细节、与双塔和 Cross-Encoder 的具体差异、存储和延迟的量化对比、或者实际落地的场景选择。

#OPPO#查询文档相关性#语义匹配

面试题·RAG· 百度

RAG 项目指标化复盘

匹配追问：…个你主导的RAG项目，从数据层、检索层到生成层，你的具体贡献是什么？遇到过哪些技术挑战，比如表格解析或结果冲突，怎么解决的？最好有量化指标。

#百度#RAG项目复盘#RAG 项目指标化复盘

面试题·检索· 哔哩哔哩

直接精排所有候选，为何不可行？

匹配口述回答：…架构的代价与演进方向约4分钟分层架构的级联误差累积问题，以及端到端联合优化或知识蒸馏的演进方向。面试官可能会追问级联误差怎么量化、如何缓解，或者端到端优化的具体做法和挑战。

#哔哩哔哩#召回粗排精排#推荐系统架构

面试题·检索· 字节

RAG 中 Re-ranking 怎么用?

匹配口述回答：…重精度，真正落地是两阶段级联业务场景：电商客服退款政策检索，先向量召回再重排精排，提升首问解决率落地风险与前提：重排模型必须轻量化，否则延迟超标；输入截断策略影响大工程师姿态判断：我更倾向用ColBERT做第一级重排，Cross-Encoder做最终精排，平衡效果与成本约4分钟重排模型可以通过用户点击数据做蒸馏持续迭代，但数据偏置是个风险面试官可能会追问如何做蒸馏、如何处理点击偏置、或者如何评估重排效果

#字节#重排与优化#RAG Re-ranking

面试题·检索· 美团

RAG 检索器与知识库怎么搭?

匹配口述回答：…知识库方案】，我负责【本人职责】。文档从解析、分块、元数据和权限进入版本化索引，删除、更新和租户隔离也要能追踪，不能只说“把文档向量化”。查询侧使用【召回方案】，再通过【融合与重排】处理候选。我会说明为什么选这个组合，Top-K、RRF 常数或权重、重排候选数都来自固定评测集上的参数扫描。正确证据没进候选时先修召回；候选有答案但排名低才看重排。上下文去重、冲突和预算处理后，由【生成约束】控制引用、拒答与输出校验。效果只报告【真实指标】，并带上数据集、硬件、并发和统计窗口。…

#美团#知识库构建#RAG 检索器设计

面试题·检索· 商汤科技

RAG 两阶段架构：模块与数据流

匹配追问：…走的，关键模块有哪些？层层追问 RAG系统你知道吧？通常分两阶段……那离线阶段具体要做哪些事情？……文档解析完怎么处理？分块和向量化……那在线阶段用户提问后，数据怎么流转才能找到最相关的文档然后生成答案？直球架构请你详细描述RAG系统的两阶段架构，包括离线索引和在线检索生成各自的核心模块，以及数据从原始文档到最终答案的完整流转过程。重点说清楚每个模块的功能和输入输出。

#商汤科技#两阶段文档处理#RAG 系统架构

面试题·检索· 美团

RAG 架构怎么搭?

匹配口述回答：…不够，我需要再查一下」。这个方向其实把RAG从被动喂料变成了主动思考，挺有意思的。 RAG本质是给LLM配外脑索引阶段：切块、向量化、存进去的坑检索阶段：Query改写、混合检索、重排序生成阶段：Prompt组装与置信度控制落地取舍与给出可延伸点约4分钟让模型主动判断检索质量，比如Self-RAG或Corrective RAG 面试官可能会追问Self-RAG的具体实现，或者Corrective RAG和普通RAG的区别

#美团#检索器生成器协同#RAG 架构

面试题·检索· 高德

语义检索向量数据库构建流程

匹配口述回答：…，我默认选[[HNSW]]，因为它查询快、精度高，对大多数场景够用。但如果数据量到十亿级，内存扛不住，我会用[[IVF-PQ]]做量化压缩。这里有个常见失败场景：很多人直接拿HNSW做高频增量更新，结果索引碎片化严重，召回率暴跌。我的做法是增量插入走独立小索引，查询时合并，定期全量重建。存储方案上，向量和标量一定要分开存。向量丢到[[Faiss]]或Milvus里，标量字段比如订单号、用户ID放在PostgreSQL或ES里，通过ID关联。分片策略按业务线或者地理区域切，查…

#高德#评估与监控#向量数据库构建