匹配正文：答案要点数据清洗与分块策略设计 Embedding模型选型与微调考量多路召回与重排序的检索架构大模型Prompt工程与上下文压缩端到端评估指标与迭代优化闭环一、数据准备：质量决定天花板数据清洗去重、去噪、格式标准化（PDF/Word/网页解析）领域术语词典构建，确保专业概念不被错误分词分块策略（关键！）按语义切分优于固定长度：用BERT-based句子嵌入判断边界领域特性：医学/法律需保留完整条款上下文，代码按函数/类切分块大小与重叠窗口都作为候选变量…

#字节#领域 RAG 知识库构建#领域 RAG 知识库怎么建？数据处理、索引与检索

面试题·模型微调· 百度

大模型知识库怎么构建?

匹配正文：答案要点数据收集策略与来源选择数据清洗与质量评估方法 Embedding模型选型与微调向量索引结构选择（HNSW/IVF）检索策略优化（重排序、混合检索）知识库更新与维护机制一、数据收集阶段来源分类结构化数据：数据库、API、Excel表格非结构化数据：PDF、Word、网页、聊天记录半结构化数据：Markdown、JSON、XML 关键原则优先收集高频查询场景的数据建立数据版本管理和溯源机制二、数据清洗与预处理核心步骤格式统一：PDF转文本（处…

#百度#大模型知识库构建#知识库向量化

面试题·Prompt· 百度

Agent 核心组件怎么协作?

匹配口述回答：…交替进行，想一步做一步，做完看结果再想下一步。而 [[Tree-of-Thoughts]] 就更强了，它同时探索多条路径，像下棋时评估不同走法，适合需要全局搜索的复杂问题。但落地的时候，我一般不会只用一种。比如做一个客服退款 Agent，简单场景用 CoT 就够了，但一旦遇到商品状态异常、需要查物流和库存价格，我就会上 ReAct，让模型动态决定先查哪个系统。ToT 成本太高，通常只在策略类场景才用。再一个是工具调用模块。这个说白了就是模型通过 [[Function Cal…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#Agent#Agent 核心组件

面试题·RAG

RAG 检索准但回答差怎么调?

匹配口述回答：…致回答差原因拆解：上下文组织、提示设计、模型能力调优路径：检索后处理、提示优化、模型调整、架构升级落地前提与风险：先人工检查prompt，再逐步叠加约4分钟文档本身的质量（过时、矛盾、粒度不对）是容易被忽略的根基问题。面试官可能会追问：如何评估和清洗RAG知识库中的文档质量？或者如何设计文档更新策略？

#上下文组织#生成质量调优#RAG 生成质量差

面试题·检索· 字节

医疗法律 RAG 架构关键环节

匹配正文：…A微调 SFT数据构建：Query-Context-Answer三元组，强调引用溯源（"根据《XX法》第X条..."）生成约束 Prompt模板强制要求：① 不确定性声明 ② 引用来源标注 ③ 拒绝回答机制（超范围问题）解码参数：降低temperature（0.3-0.5），使用重复惩罚避免循环生成四、关键保障机制机制实现幻觉检测检索内容与生成答案的NLI一致性校验；实体链接回标可解释性输出附带引用片段高亮、置信度分数人机协同低置信度案例自动转人工审核，…

#字节#领域RAG架构#专业领域 RAG

面试题·检索· 字节

专业领域RAG链路优化陷阱

匹配正文：…成时标注来源片段ID，法律场景需输出"依据《XX法》第X条" 后处理校验：领域规则引擎过滤（如药物禁忌冲突检测）五、端到端优化评估体系：检索用Recall@K，生成用答案相关性和事实准确性（医疗用人工医生标注）迭代闭环：错误案例回流，持续微调Embedding和Reranker 学习建议建议先掌握RAG基础流程，再结合垂直领域特点学习文档分块、向量检索、重排序模型和提示工程，多参考医疗/法律类RAG实战案例。

#字节#重排与优化#RAG 链路优化

面试题·检索· 高德

向量数据库怎么支撑 Agent 记忆?

匹配正文：…ng或隔离索引架构示意：用户输入 → Query理解 → 并行检索[语义向量+关键词+知识图谱] ↓ 融合排序 → 上下文注入Prompt → LLM生成核心权衡：记忆容量↑ → 噪声↑ → 需更精密的过滤与排序机制。学习建议建议先掌握向量数据库和Embedding基础原理，结合RAG与Agent实战案例理解记忆机制设计，多动手实践检索优化与相似度评估。

#高德#重排与优化#文档处理

面试题·检索· 阿里

RAG流程：检索到生成各阶段陷阱

匹配正文：…口，非固定长度上下文压缩：LLMLingua选择性压缩、摘要式压缩引用标记：为生成内容附加来源，便于溯源 5. 生成与后处理提示工程：明确指令（"仅基于以下文档回答"）、Few-shot示例约束格式生成控制：温度参数、重复惩罚、结构化输出（JSON模式）质量影响：幻觉抑制依赖上下文相关性与指令遵循能力的平衡各环节协同关系检索质量是天花板，生成能力是地板——检索不准则生成必错，检索准确但生成指令不清则答案冗余。实际系统中需建立检索-生成联合评估闭环，持续优化Emb…

#阿里云#重排与优化#向量检索

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…相关性加权融合、构建结构化上下文（表格/树状）长上下文利用：Lost in Middle问题缓解，关键信息放首尾生成环节优化 Prompt工程：明确引用格式要求、 few-shot示例引导结构化输出生成增强：Self-RAG（生成时自检索验证）、RAG-Fusion（多查询结果融合生成）后处理验证：答案与检索片段的事实一致性校验、置信度打分过滤系统级迭代离线评估：构建领域评测集，端到端答案准确率 vs 检索命中率联动分析在线监控：检索空结果率、生成幻觉率、用户反…

#字节#RAG迭代优化#RAG 优化

面试题·检索· AIlab

RAG流程优化：三大层面策略

匹配正文：答案要点检索层面：索引优化、查询改写、混合检索、重排序生成层面：上下文压缩、提示工程、引用溯源流程层面：多轮检索、自适应RAG、评估反馈闭环能结合实际场景说明取舍一、检索层优化索引构建分块策略：按语义/结构分块（标题-内容、固定长度+重叠），非均匀分块优于固定长度多向量表示：同一文档用摘要、关键词、问题等多角度embedding 元数据过滤：时间、来源、类别等字段预过滤缩小检索范围查询侧优化查询改写：HyDE（生成假设文档再检索）、Query2Doc、子查…

#AIlab#RAG流程优化#RAG 优化

面试题·检索· 百度

RAG Query 改写方法

匹配口述回答：…，但计算开销会翻倍，得看业务能不能接受。本质是弥合用户意图和文档索引的语义鸿沟查询改写：HyDE、多查询、子问题，按场景混搭提示词构建：角色、引用、冲突处理，工程细节落地风险：改写过度、截断丢失、幻觉，我的取舍约4分钟当检索文档质量不高时，用Self-RAG让模型先反思再回答，但计算开销翻倍，需业务权衡。面试官可能会追问Self-RAG的具体实现或与RAG的对比，以及如何评估反思质量。

#百度#小鹏#美团

面试题·检索· 字节

专业领域RAG数据与检索优化？

匹配正文：…问题复杂度选择top-k，复杂问题用递归检索扩展上下文引用溯源：生成时强制标注来源chunk_id，支持答案验证生成策略领域Prompt模板：定义输出格式（如法律场景的法条引用格式）不确定性处理：检索置信度低时触发"需补充信息"话术，而非幻觉生成四、评估与迭代离线：Recall@K、答案相关性（LLM-as-judge）在线：用户满意度、答案采纳率、人工标注badcase回流持续更新：增量索引+版本管理，支持数据回溯

#字节#领域RAG架构#RAG 系统架构

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配正文：…要点检索阶段：分块策略、embedding选型、多路召回、重排序优化上下文处理：窗口长度控制、冗余去重、相关性过滤生成阶段：prompt工程、引用溯源、幻觉抑制系统层面：延迟优化、缓存策略、离线评估体系一、检索质量分块策略按语义分块优于固定长度，可用LLM辅助判断边界块大小一般256-512 tokens，需保留上下文重叠（overlap）表格/代码等特殊内容需单独处理，不能粗暴切分 Embedding与召回领域数据务必微调embedding，通用模型域外…

#美团#RAG常见陷阱#RAG 系统陷阱

面试题·检索· 快手

LLM怎么融入推荐系统？特征提取与召回

匹配正文：…切入）重排序阶段：用LLM做精排后的多样性重排（MMR+语义去重）推荐理由生成：非排序本身，但提升CTR和用户体验直接打分：Prompt预测点击概率——仅适合冷启动或长尾，全量不经济关键挑战计算成本 vs 实时性解法：LLM特征离线预计算 + 在线轻量模型；蒸馏小模型替代在线LLM ID空间与语义空间错位传统推荐强依赖ID共现，LLM擅长语义；需设计ID-语义对齐的联合训练评估困境 LLM引入后，离线AUC可能涨但线上GMV跌（语义相关≠转化相关），需强化因果…

#快手#LLM推荐系统#LLM 推荐系统

面经·项目面试

子 Agent 有独立上下文，为什么还要认真写交接？

匹配正文：…便条新循环只收到一条显式输入在这份本地 cc-python 实现里，父模型通过 AgentTool 派生子任务。工具接收任务 prompt，还可以指定模型和运行方式。它随后组装子工具集，进入一个新的 query_loop。前台执行路径创建的初始消息很短：一个 UserMessage，内容就是传入的 prompt。这里没有把父循环的 messages 复制过去，也没有根据任务描述自动挑出父会话里的相关片段。子任务使用的系统提示词也来自预设的 DEFAULT_AGENT_…

#Agent#子Agent#上下文交接

面经·项目面试

装了很多 Skill，要把每份说明都塞进上下文吗？

匹配正文：….md，解析开头的元数据，再保存名称、描述、路径和完整内容。到这一步，进程确实已经拿到了两个 Skill 的全文。接下来构建系统提示词时，代码没有把保存的 content 直接拼进去。它只逐个加入技能名称、描述和说明文件路径，并告诉模型：当任务匹配某个 Skill 的描述时，先通过读取工具查看对应文件。所以，进程里可以同时存着汇总报告和活动海报两份长说明，第一次模型请求里却只有它们的短入口。管理器持有什么，与这次请求发送什么，是两个独立的实现选择。这样做的直接作用，是让…

#Agent#Skills#渐进披露

面试题·RLHF与对齐· 京东

PPO vs DPO vs GRPO 怎么选?

匹配口述回答：…，也不能保证“复杂但非常稳定”。它会对奖励尺度、价值估计、KL 和 rollout 分布敏感。 DPO 使用固定的偏好对：同一个 prompt 下有 chosen 和 rejected。它不训练独立奖励模型，不需要 value model，也不做在线 rollout，而是利用策略与冻结参考策略的对数概率比，直接优化 chosen 相对 rejected 的偏好。工程链路更接近 SFT，适合已有高质量离线偏好数据的场景。但它仍受 beta、标签噪声、长度偏差、参考模型和分布覆盖…

#RLHF#PPO#DPO

面试题·RAG

资料里没有答案时，RAG 怎么避免强行生成？

匹配正文：…入降级流程。无答案控制的四道门范围过滤、相关性筛选、充分性判断和生成后核验，分别拦截不同来源的错误。这四道门不能互相替代。 Prompt 里写一句“资料不足就说不知道”，不能修复错误的搜索范围。相似度很高，也不能证明一组片段覆盖了答案所需的全部条件。生成后增加引用编号，同样不能让一条没有依据的结论自动变真。阈值应该怎么定？阈值不是从网上抄一个小数，也不是看几个演示问题拍出来的。先准备两组问题。第一组是可回答问题。每个问题都要标出参考答案，以及能直接支持答案的原文…

#RAG#生成与对话#RAG 无答案检测

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…PU 混合支持远不止 Llama，但具体算子、模态与量化需查模型列表框架不能脱离模型和硬件排名。应固定 checkpoint、prompt/output 长度、dtype/量化、并发和质量门槛，分别测冷启动、TTFT、TPOT、吞吐、P95/P99、峰值内存与能耗。任何“固定 50ms”都缺少模型、batch、上下文与硬件前提。

#vLLM#TensorRT-LLM#推理引擎

面试题·模型训练· 美团

合成数据怎么系统构建?

匹配口述回答：…型生成新的指令，并根据指令是否需要输入继续生成输入与输出，再通过相似度和启发式规则过滤，形成迭代数据。实现时要保留来源、生成模型、prompt和过滤版本，防止同一模板无限扩张。质量控制应按可验证性分层。代码运行测试，数学重算结果，检索型答案检查权威资料和引用，结构化任务用schema与业务规则，主观写作用盲标gold和成对人评。多个模型给出相同答案只能作为弱信号，因为它们可能共享训练数据、知识盲点和表达捷径。困惑度可以反映文本在某个语言模型下的可预测程度，却不是通用质量分…

#数据合成#Self-Instruct#指令微调

面试题·项目与经历· 百度

大模型 vs 规则引擎怎么选?

匹配正文：…语义层。它可以从邮件、合同、客服对话或自然语言政策中抽取字段，识别意图，生成候选解释，并处理规则难以枚举的表达变化。但它的输出会受prompt和上下文影响，可能遗漏条件或生成不存在的依据，不适合直接承担不可逆的最终决策。因此我会按职责拆层：大模型负责把非结构化输入转换成带证据的结构化候选，确定性校验检查格式、权限和硬约束，规则或工作流执行可审计决策，高风险边界交给人工。模型建议与最终动作之间要有明确接口，而不是让一段自然语言推理直接调用核心系统。模型自报置信不能直接当概率…

#技术选型#规则引擎#大模型决策

面试题·推理优化· 字节

KV-Cache 空间复杂度怎么算?

匹配口述回答：…系列都写成GQA。优化可以分几类。第一类是模型架构层的MQA或GQA，直接减少KV头数。第二类是KV量化，用更少bit存储，但要评估反量化开销和长上下文质量。第三类是PagedAttention，它按块管理动态请求，主要解决预留和碎片问题，提高调度弹性；它不会凭空减少一条请求逻辑上需要保存的全部KV。第四类是滑动窗口或稀疏注意力，只保留允许访问的一部分历史，从而给缓存设上限，但代价是模型不再看到被丢弃的远程token。第五类是前缀共享和offload：共享系统提示等公共前…

#KV-Cache#显存优化#自回归生成

面试题·模型训练· 美团

GLoRA 比传统 LoRA 强在哪?

匹配追问：…类可重参数化分支，并为各层搜索合适结构？层层追问标准 LoRA 的更新形式是什么？……GLoRA 的 generalized prompt module 包含哪些适配候选？……layer-wise structure search 解决什么问题？……训练后哪些分支可以合并，搜索成本又如何评估？直球技术解释 Generalized LoRA 相对标准 LoRA 的改进：统一适配形式、逐层结构搜索、结构重参数化、优势与适用边界。

#PEFT#LoRA#低秩适配

面试题·Agent· 小红书

LLM 输出格式不规范怎么修?

匹配口述回答：这道题其实问的是，怎么让大模型输出稳定的结构化数据，比如JSON。核心思路我把它分成三层：提示工程、模型能力、后处理容错。这三层不是互斥的，真正落地往往是组合拳。先说提示工程这层，就是软约束。我会在Prompt里放几个[[Few-shot]]示例，让模型模仿格式，再给一个JSON模板，要求它先分析再输出，用代码块包起来。甚至加个负面例子，说不要输出多余文字。这个方法好处是零成本，但前提是模型指令遵循能力要强，像GPT-4效果就很好，换成小模型就经常飘，输出格式不对。所以它适…

#小红书#Agent#LLM 输出格式规范