匹配追问：………比如规划层、工具层、上下文管理，哪个最头疼？……那如果规划层出现循环调用，你监控什么指标？定位的时候怎么快速知道是模型问题还是prompt问题？直球架构请你设计一个AI Agent的监控体系，重点覆盖规划决策、工具执行、上下文管理这三个高危模块。你需要明确：监控哪些指标、用什么方式采集、告警阈值怎么定，以及出问题时定位诊断的关键步骤。

#蚂蚁#Agent#AI Agent 稳定性

面试题·评估· 百度

匹配正文：…答案的黄金证据及可回答性。没有黄金证据时，无法区分“知识库里没有答案”和“检索器没找到答案”。 2. 黄金证据替换实验固定模型、prompt、解码参数和问题，把线上检索结果替换为人工确认的黄金证据：使用黄金证据后稳定答对，说明检索、排序或上下文组装是主要瓶颈。黄金证据足够且清晰但仍答错，说明生成阶段的理解、指令遵循、证据忠实度或输出解析需要排查。结果时好时坏，应重复运行并控制随机性，不能用一次生成下结论。 3. 检索与生成消融检索侧：检查黄金证据 Recall@K、…

#百度#评估与监控#RAG 错误定位

面试题·评估· 字节

专业领域 RAG 链路怎么搭?

匹配口述回答：…和覆盖度之间找平衡，不能像通用聊天机器人那样瞎编。医疗、法律这种场景，错了就是人命关天或者法律纠纷，所以整个链路都得围绕「可信」来设计。先说文档处理。专业文档不是排版漂亮的网页，很多是扫描件、表格、手写批注。我会先用 [[OCR]] 加 [[Multimodal]] 模型，比如 LayoutLM，把图文混排的内容抽成结构化文本，同时保留章节层级，比如病历里的主诉、检查、诊断这些段落。切分的时候不能按固定字数切，那样会把关键上下文切断。我会按语义边界来切，比如法律条文按条款切…

← 上一页第 10 / 15 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#RAG 全链路#RAG 技术链路

面试题·评估· 快手

LangChain 关键组件与流程?

匹配口述回答：…复杂业务问题的工程化方案。LangChain本质上就是个组合式框架，它把模型能力拆成标准化的模块，然后像搭积木一样拼起来。它的核心设计思路是三个：抽象统一，用统一接口封装不同的模型、[[向量库]]、工具；链式组合，通过LCEL声明式编排流程；状态管理，用Memory组件维护多轮对话上下文。具体说一下关键组件。Chain是预定义的固定执行流程，比如翻译、摘要这种单步任务，你定义好输入输出，链式调用就行。[[Agent]]是动态决策的，它自己选择工具和步骤，典型的就是[[ReA…

#快手#评估与监控#Agent

面试题·评估· 京东

RAG 缓解哪类幻觉?

匹配正文：…-k不相关）会直接引入噪声，甚至加剧幻觉。生成可控性LLM需具备"忠实于检索内容"的能力，而非过度依赖参数知识或自由发挥。这涉及prompt设计、上下文窗口利用和指令遵循能力。 RAG的边界：不解决忠实性幻觉能解决：编造不存在的事实、过时信息、专业领域知识盲区不能解决：逻辑矛盾、推理错误、对检索内容的曲解或过度推断典型反例：检索内容正确，但模型错误拼接信息得出荒谬结论——这是忠实性问题，需靠训练或推理优化解决。学习建议建议系统学习该知识点

#京东#知识型幻觉#RAG 幻觉

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配正文：一、数据构建偏好数据收集显式标注：人工对同一prompt的多个response进行排序（A>B>C），用Bradley-Terry模型建模隐式反馈：点击率、停留时长、是否复制/分享，需设计position bias消除机制多维度标注：有用性、安全性、事实性、风格一致性，避免单一分数的信息损失数据质量控制标注者一致性检验（Kappa系数>0.6）困难样本挖掘：模型置信度接近0.5的pair优先标注领域覆盖：电商场景需覆盖售前咨询、售后、比价等细分场景二、模型架…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估· 蚂蚁

大模型客服评估：伪代码与指标

匹配正文：答案要点明确质检维度设计（服务态度、专业能力、问题解决、合规风险）大模型评估与规则引擎的混合架构幻觉风险控制机制可解释性输出设计实时性与成本平衡策略核心设计思路 1. 质检维度分层基础层（规则可检）：敏感词、响应时效、挂机规范语义层（模型评估）：情绪识别、共情表达、主动追问业务层（模型评估）：方案准确性、一次性解决率、升单合规性 2. 混合架构：规则引擎 + 大模型Agent ┌─────────────────────────────────────┐ │…

#蚂蚁#客服质量评估#大模型评估系统

面试题·评估

RAG 效果差怎么排查？

匹配正文：… 掌握生成侧的核心评估指标（Faithfulness、Answer Relevance、Context Precision）能够设计消融实验或黄金文档实验验证假设提出端到端追踪与人工分析的具体方法核心诊断思路：模块解耦 + 端到端追踪第一步：判断是否为检索问题黄金文档实验（Golden Document Test）将标准答案依赖的文档直接注入context，若生成质量显著提升 → 检索是瓶颈若仍有问题 → 生成模块或prompt设计有问题检索侧关键指标指标 …

#检索诊断#生成诊断#RAG 效果诊断

面试题·评估

RAG效果差：检索vs生成怎么诊断？

匹配正文：答案要点区分检索失败与生成失败的诊断方法关键指标设计（召回率、相关性、忠实度、答案相关性）消融实验与人工分析的结合典型错误模式的识别（检索不准、生成幻觉、协同失效）核心诊断思路：分层定位，逐层验证 RAG故障排查的关键是隔离变量，把端到端问题拆解到具体模块。第一层：判断检索模块是否合格关键指标 Recall@K：正确答案是否在Top-K检索结果中（K通常取5或10） MRR/NDCG：排序质量，相关文档是否排在前面诊断方法人工抽检：随机采样bad case，…

#检索诊断#生成协同#RAG 效果诊断

面试题·评估

检索准但生成差，怎么调优？

匹配正文：…、检索准确但生成差的优化策略 1. 上下文利用优化上下文压缩/重排序：用LLM或轻量模型对检索文档去冗余、排优先级多文档融合：设计结构化Prompt（如"文档[1]说...文档[2]说..."），明确标注来源动态上下文窗口：根据问题复杂度调整送入LLM的文档数量 2. 生成模型/推理优化微调策略：用领域数据SFT，强化"基于给定上下文回答"的指令遵循能力 Prompt工程：添加显式约束，如"若上下文无法回答，请明确说明" 解码策略调整：降低temperature减少发…

#上下文压缩#生成调优#RAG 效果诊断

面试题·评估· 安克科技

RAG 问答金标构建

匹配正文：…-1000条测试集公平对比 1000-3000条对抗集压力测试 200-500条高难度问题来源的四种策略 1. 人工专家设计领域专家基于文档直接编写优势：质量高、覆盖边缘场景劣势：成本高、主观性强 2. LLM辅助生成 Prompt模板要点： - 指定角色（"你是领域专家"） - 约束条件（基于给定文档、禁止脑补） - 多样性控制（事实型/推理型/比较型/总结型） 3. 真实用户日志挖掘从生产环境脱敏后的query中采样需配合人工清洗过滤噪声 4. 混合策…

#安克科技#评估与监控#RAG 问答金标构建

面试题·模型微调· 京东

300-500意图怎么召回?

匹配正文：答案要点层次化意图体系设计（意图聚类+二级路由）多路召回策略（粗排+精排+重排）上下文压缩与动态示例选择 Embedding模型微调与领域适配实时性能与准确率的平衡方案核心思路：三层架构解决"长上下文+多意图"困境一、层次化意图体系（解决300+意图爆炸）一级路由（10-20个意图簇）→ 二级分类器（每簇20-30个意图）聚类策略：基于业务语义+历史query共现，用K-Means/Spectral聚类构建意图树动态路由：先用轻量模型（TinyBERT级）做…

#京东#大规模意图识别#上下文长度限制

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：一、模型架构设计长上下文建模稀疏注意力：采用Longformer/Sliding Window Attention，将复杂度从O(n²)降到O(n×w)，保留局部精细交互+全局稀疏聚合 Ring Attention / Striped Attention：序列分块循环计算，支持百万级token，适合超长对话历史分层编码：短窗口做token-level注意力，长历史用sentence/turn-level压缩表示显式记忆机制短期记忆（Context Window）：最…

#字节#模型微调#多轮对话一致性

面试题·模型微调· 字节

RAG 技术原理与架构怎么搭?

匹配正文：…沟→用Query改写或HyDE缓解上下文窗口：多文档拼接超限→Rerank精筛+递归摘要知识冲突：检索内容与模型参数知识矛盾→设计冲突消解Prompt 时效性：知识更新后向量未同步→增量索引+版本管理多跳推理：单轮检索无法回答→ReAct循环检索或构建知识图谱五、进阶方向 Agentic RAG：检索作为Tool，由Agent决策何时检索、检索什么 GraphRAG：用知识图谱显式建模实体关系，解决多跳问题 RAG+微调：用检索数据构造SFT数据，提升模型对检索内容的…

#字节#RAG 最佳实践#RAG 技术原理

面试题·模型微调· 字节

领域 RAG 知识库构建

匹配正文：答案要点数据清洗与分块策略设计 Embedding模型选型与微调考量多路召回与重排序的检索架构大模型Prompt工程与上下文压缩端到端评估指标与迭代优化闭环一、数据准备：质量决定天花板数据清洗去重、去噪、格式标准化（PDF/Word/网页解析）领域术语词典构建，确保专业概念不被错误分词分块策略（关键！）按语义切分优于固定长度：用BERT-based句子嵌入判断边界领域特性：医学/法律需保留完整条款上下文，代码按函数/类切分块大小与重叠窗口都作为候选变量…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 字节

领域RAG应用链路怎么搭?

匹配正文：…（非结构化文档解析、表格/图表处理、领域术语标准化） Embedding模型选型与微调（通用vs领域模型、对比学习微调）检索架构设计（多路召回、重排序、查询改写）生成环节优化（Prompt工程、上下文压缩、引用溯源）端到端评估体系（检索准确率、生成忠实度、领域专家评估）一、数据准备：领域知识工程化文档解析与结构化非结构化：PDF/Word用Unstructured/MinerU解析，保留标题层级、表格结构多模态：医疗影像报告需OCR+结构化提取，金融财报表格转M…

#字节#领域 RAG#RAG应用搭建

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：…RNIE 垂直领域领域数据微调后的模型多语言 E5-mistral、BGE-M3 优化技巧对Query和Document分别设计Prompt前缀（如"为这个句子生成表示："）领域微调：用对比学习（In-batch Negatives+Hard Negatives）提升相关性四、索引构建向量索引 HNSW：高召回、内存占用大，适合百万级 IVF-PQ：磁盘友好，适合亿级规模 Milvus/Pinecone：托管方案，自动分片增强索引稀疏向量：BM25倒排索引，与…

#百度#大模型知识库构建#知识库向量化

面试题·模型微调· 快手

Agent 系统怎么调优优化?

匹配正文：答案要点 Agent调优的三种主要范式（SFT、RL、Prompt工程）及其适用场景工具调用能力的专项优化方法当前主流Agent应用的技术架构特点多Agent系统的协作机制设计 Agent系统调优的三大路径 1. 监督微调（SFT）工具调用数据构造：收集高质量的工具调用轨迹（trajectory），包括思考过程（thought）→工具选择→参数填充→结果观察的完整链条 ReAct格式微调：用"Thought: ... Action: ... Observation: …

#快手#Agent#Agent 调优

面试题·模型微调

LLM 标签约束解码

匹配题目：假设你有一个大语言模型（LLM），需要将其输出限制在一个预定义的封闭标签集合内（例如分类任务），请设计一种可行的技术方案，包括提示工程、解码约束、后处理或微调策略。

#约束解码#标签集合#LLM 标签约束解码

面试题·模型微调

RAG检索相关但生成差原因

匹配口述回答：…有系统思维，不能单点修复。一句话点题：检索相关但生成差，本质是检索与生成需求没对齐诊断：信息过载、碎片化、格式混乱、歧义冲突提示工程：重排序、压缩、结构化提示，最快见效上下文建模：动态窗口、多文档融合、噪声过滤模型微调：检索感知SFT、负样本挖掘，深度优化收尾：先做可控实验，判断瓶颈在哪约4分钟先做可控实验判断瓶颈在模型能力还是上下文质量，再决定优化方向面试官可能会追问：具体怎么设计这个可控实验？怎么判断是模型能力问题还是上下文问题？

#上下文压缩#生成调优#RAG 生成优化

面试题·模型微调

LLM 封闭标签如何强约束?

匹配追问：…M输出固定标签，你一般怎么做？……如果模型偶尔输出不在集合里的词怎么办？……有没有办法从解码层面强制它只生成合法标签？直球架构设计一个系统，要求LLM输出严格限定在预定义的封闭标签集合内，你会从提示工程、解码约束、微调、后处理这几个层面分别怎么设计？优先级怎么排？

#Agent#LLM 输出限定#封闭标签集

面试题·Prompt

Few-shot 和 Zero-shot 是什么意思?

匹配口述回答：…其实是在考察我们对大模型**[[上下文学习]]**机制的理解。说白了，zero-shot和few-shot都不更新模型参数，而是靠prompt里的信息让模型临时学会一个任务。先简单说下定义。[[Zero-shot]]就是不给例子，直接用文字描述任务，比如我写一句“判断这个评论的情感是正面还是负面”，模型直接答。[[Few-shot]]是在prompt里放几个输入输出对，像“苹果很好吃 → 正面；这个手机太卡了 → 负面；新买的耳机音质不错 → 正面”，然后再给一个新输入，模…

#入门#基础概念#Few-shot

面试题·多模态· 淘天

截图组件功能怎么用 RAG 解释?

匹配正文：…组件类型 + 位置框 + 文本内容 2. 多模态知识库构建收集UI设计规范、组件库文档、产品手册作为文本知识关键：将组件截图/设计稿与功能描述配对，构建图像-文本对用多模态Embedding模型（CLIP、SigLIP或专用UI模型如UIBert）编码入库 3. 跨模态检索用户截图经相同视觉编码器得到query embedding 两级检索：先全局匹配找相似界面类型，再组件级局部匹配检索结果：相似组件的功能说明、使用场景、交互规范 4. 增强生成 Prompt整合：…

#淘天#多模态#多模态 RAG

面试题·Prompt· 高德

ReAct vs 纯提示：为何更优？

匹配追问：场景切入假设你在做一个智能客服，用户问“帮我查一下上周的订单”，模型直接答可能编造信息。如果让你设计一个方案，让模型能自己决定去查数据库再回答，你怎么做？层层追问你平时用提示词让模型回答复杂问题，效果怎么样？……如果问题需要查实时数据或做多步计算，纯提示词容易出错吧？……那你怎么让模型能一边推理一边调用工具，还能根据结果调整思路？直球架构请解释ReAct框架的核心思想，它如何将推理和行动交织在一起？对比纯提示工程，它在信息获取、错误修正和可解释性上有什么本质优势？

#高德#Agent#ReAct 框架

Agent 系统哪些模块最易出问题?

RAG 错误根源怎么定位?

专业领域 RAG 链路怎么搭?

LangChain 关键组件与流程?

RAG 缓解哪类幻觉?

偏好感知系统架构怎么选?

大模型客服评估：伪代码与指标

RAG 效果差怎么排查？

RAG效果差：检索vs生成怎么诊断？

检索准但生成差，怎么调优？

RAG 问答金标构建

300-500意图怎么召回?

架构与训练怎么提升多轮一致性?

RAG 技术原理与架构怎么搭?

领域 RAG 知识库构建

领域RAG应用链路怎么搭?

大模型知识库怎么构建?

Agent 系统怎么调优优化?

LLM 标签约束解码

RAG检索相关但生成差原因

LLM 封闭标签如何强约束?

Few-shot 和 Zero-shot 是什么意思?

截图组件功能怎么用 RAG 解释?

ReAct vs 纯提示：为何更优？