匹配正文：…怎么做只说"存进向量库",说不清切块策略和更新机制检索/召回方案根据文档与查询比较关键词、向量、混合及可选重排,说明候选数与融合依据只上单路向量检索,答不上召回不全怎么办模型与 Prompt 选什么模型、上下文怎么拼、引用怎么带、幻觉怎么约束、要不要 function calling 把 Prompt 当细节略过,不提引用和防幻觉评估怎么做定义检索与答案指标、错误分类和标注规则;区分离线集、经许可的线上抽样与校准后的 LLM Judge 完全不提评估,或只说"人…

#求职#职业转型

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…断“哪些语义相关”。如果先从全体用户记忆做向量近邻，再在结果末端补权限过滤，不仅可能浪费候选名额，也会增加数据越界风险。第五步：融合时处理冲突检索到记忆后不能直接全部拼入 Prompt。系统需要检查时间、状态、主题和来源。当前用户明确修改了偏好，新值应使旧值失效；长期记忆与当前会话冲突时，应优先使用用户刚刚确认的信息；个人记忆与权威知识库事实冲突时，回答事实应以最新权威来源为准，并在必要时请用户澄清。模型输入中最好区分“当前问题”“知识库证据”“会话状态”“长期记忆”，…

#RAG#生成与对话#RAG 记忆模块

面试题·RAG

RAG 评测集怎么构建？问题、答案和证据必须怎么标？

匹配正文：… 举个诊断思路。 Recall@K 下降时，可以检查解析、Chunk、Query、过滤和召回。Recall 正常而 MRR 下降，融合与重排更值得优先检查。正确证据已经排在前面，Faithfulness 却下降时，再看 Prompt、上下文组织和模型生成。一个总分无法给出这种定位能力。开发集、回归集和保留集为什么要分开？开发集用于日常调试。调整 Chunk 大小、检索权重、阈值和 Prompt 时，可以反复运行开发集，快速观察变化。回归集保存已经发生过的 bad c…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#RAG#评测与上线#RAG 评测集

面试题·RAG

Recall@K、MRR、Faithfulness，分别在评估 RAG 哪一层？

匹配正文：…器给出一组候选 Chunk。这里要回答的是“应该找到的证据找到了多少”“返回内容里噪声有多少”“最有用的证据排在哪里”。候选经过融合、重排和截断，真正进入 Prompt 的上下文往往只是其中一部分。这里要回答的是“生成模型实际看到的证据是否充分”。检索 TopK 命中了正确 Chunk，不等于这个 Chunk 最终一定进入上下文。它可能在 Rerank 后被挤掉，也可能因为上下文长度限制被截掉。生成模型根据上下文写出答案。这里至少有三个不同问题：答案是否覆盖参考答案的要点…

#RAG#评测与上线#RAG 评估指标

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…。但一条 RAG 请求在模型生成第一个字之前，已经经过 Query 处理、Query Embedding、关键词与向量检索、候选融合、Rerank 和上下文构建。真正的等待可能发生在其中任何一段。从调用依赖关系看，模型要等检索证据准备好，才能开始基于证据生成。因此，如果向量检索阶段很慢，流式输出只能改变第一个 Token 之后的展示，不能缩短前面的检索等待。这是链路顺序决定的。同样，如果 Trace 显示模型服务正在排队，继续调 HNSW 参数也无法触及这个阶段。由此可…

#RAG#评测与上线#RAG 首字响应

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…新应用证据门槛。向量检索可能失败。不能把空候选直接交给模型，让模型凭自身知识回答内部资料问题。 Rerank 可能超时。可以使用融合后的初排结果，但要记录本次未经过精排，并检查候选是否仍满足最低质量。模型服务可能限流或中断。系统可以返回已检索到的原文，或者明确提示稍后重试，不能伪造完整答案。引用核验失败时，高风险事实应该删除、降级或拒答。这些降级动作要在响应和日志中可见。否则团队只看到“接口成功”，不知道用户拿到的是完整链路结果还是某种备选结果。重试也必须有边界。 …

#RAG#评测与上线#RAG 系统设计

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配正文：…尺度，并非保留原始幅度。工程差异 RMSNorm 少计算均值、减法和通常的 beta，理论操作更少；但端到端速度和显存收益取决于融合 kernel、shape、硬件以及它在全模型中的占比，不能承诺固定百分比。两者通常都逐 token、沿 hidden dimension 归一化，不依赖 batch 统计。训练与选型 RMSNorm 不要求输入预先近似零均值，也不能笼统称为对异常值更鲁棒或数值必然更稳定。LLaMA 等模型采用 pre-normalization 的 RMS…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 海尔

Transformer归一化方法有哪些?

匹配正文：…归一化还有无偏方差、epsilon位置、参数dtype、是否有bias等实现差异。RMSNorm不是简单“少一个减法”，归约和内核融合决定真实速度。Pre-Norm的恒等残差有利于梯度传播，却可能让深层表示更新幅度变小；Post-Norm在一些充分调优的设置下仍有竞争力。不能给某种结构写固定容量上限，也不能用未经来源支持的金融模型数字证明优劣。gamma如何初始化同样依赖具体架构，常见值不能提升为普遍定律。面试里画计算图比背标签更可靠。沿主残差流看，若输入先进入Norm再交…

#LayerNorm#RMSNorm#Pre-Norm

面试题·推理优化· 阿里

PyTorch 计算图怎么支持自动微分?

匹配正文：…、调试直接，每次前向构造本次实际执行的图；代价可能是Python调度、算子碎片和较少的全局优化机会。编译图：捕获可编译区域后可做融合、内存规划和代码生成，但动态shape、数据依赖控制流或Python副作用可能触发guard、重编译或graph break，具体能力随版本和代码变化。 TensorFlow：TF2默认支持eager，也可用 tf.function 构图；“TensorFlow就是静态图”只适合TF1或特定graph mode。JAX也通过变换和XLA编译，不…

#自动微分#计算图#动态图

项目实战·RAG

附录:把这个 RAG 项目写进简历 & 面试应答

匹配正文：…,比如: "你切分怎么做的?为什么不用固定长度?" → 第 3 章(核辐射事故 + 三代演进); "为什么要混合检索?两套分数怎么融合?" → 第 5 章(BM25 短板 + RRF); "都召回了为什么还要精排?" → 第 6 章(粗排排错 + Lost in the Middle); "多轮里的指代怎么处理?历史太长怎么办?" → 第 8 章(指代消解 + 裁剪); "怎么降低无依据回答并验证引用?" → 第 9 章(拒答 + 引用归因); "你怎么知道优化真的有效?" …

#RAG#检索#项目实战

面试题·多模态· 快手

多模态 vs 纯文本大模型怎么选?

匹配正文：…ry 与 gated cross-attention LLaVA：视觉指令微调与 projector 路线 Chameleon：早融合 token 模型的一种公开实现

#多模态大模型#纯文本大模型#技术选型

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配正文：…零均值。去掉均值和中心化减法，让RMSNorm的数学路径更简洁，原论文也报告了多种模型上的效率与效果。但端到端速度由kernel融合、hidden size、dtype、batch和硬件决定，不能把少一次统计直接等同于固定加速。现代实现可能把多个操作融合，归一化也未必是整层主要瓶颈。训练稳定性同样要限定。LayerNorm显式去均值，RMSNorm不去，但不能因为某些大模型采用RMSNorm，就推出激活天然零均值、RMSNorm在FP8或INT8下一定更稳定，或者它与Sw…

#Layer Normalization#RMS Normalization#Batch Normalization

面试题·推理优化· 字节

ZeRO 与 FlashAttention 各优化什么?

匹配正文：…优化需按目标分层：精确 kernel：FlashAttention/SDPA 用 tiling、online softmax 和融合减少 HBM I/O 与辅助存储，仍计算 exact dense attention。减少 KV heads：MQA/GQA 降低解码 KV Cache 和带宽，可能改变质量/并行权衡。限制连接：滑动窗口、块稀疏或全局+局部模式减少实际计算，但改变可见性，需要任务验证。近似/线性 attention：改变 attention 计算形式，以…

#注意力优化#ZeRO#Flash Attention

面试题·模型架构· 美团

多头注意力原理与QKV拆分陷阱

匹配正文：…始讲。设输入形状是批次、序列长度和模型维度，Q、K、V分别由线性投影得到。工程上既可以调用三个矩阵乘，也可以把权重在输出维拼成一次融合投影，再把结果切回QKV。哪种更快取决于框架、硬件、量化方式和后续融合，不能说实际实现必然只做一次矩阵乘。得到QKV后，把最后一维reshape成头数和每头维度，再把头维移到便于批量矩阵乘的位置。每个头计算Q乘K转置、除以每头维度平方根、应用mask和softmax，再与V相乘。各头输出拼回模型维度并经过输出投影。数学上各头可并行，但底层可能…

#多头注意力#Transformer#并行计算

面试题·推理优化· 百度

视频生成加速有哪些方法?

匹配正文：…果或滑窗attention。模型与算子：蒸馏、量化、低秩或稀疏专家需要分别验证质量和硬件收益；FlashAttention、算子融合、sequence parallel属于kernel与并行层。服务系统：批处理、offload、分块解码和多卡流水要用端到端延迟、吞吐、峰值显存与通信占比评估。 KV cache只在架构存在可安全复用的K/V时成立，不是视频时序建模的通用替代。任何“某模型用了MoE/滑窗/因果attention”的说法都要绑定准确版本和论文；若公开材料不支持…

#视频生成#扩散模型加速#时序建模优化

面试题·模型架构· 字节

RMSNorm推理效率更高吗?

匹配正文：…m。选择原因可从规模稳定性、实现简洁和已有训练配方理解，但不能把相关性写成唯一因果。推理端 norm 往往只占总成本一部分，收益受融合 kernel、hidden size、batch、内存带宽和量化实现影响，应测 step time、吞吐和端到端延迟。

#LayerNorm#RMSNorm#归一化技术

面试题·Agent· 美团

多智能体系统核心技术难点

匹配正文：…业化分工：每个智能体专注窄领域，降低单模型复杂度（类似 Mixture of Experts 的系统级实现）信息增益：多视角观测融合减少不确定性，如骑手位置+商家出餐时间+路况的联合推断容错冗余：单点故障不影响全局，系统 graceful degradation 关键指标：不仅是任务成功率，更要看协作效率比——即多智能体方案相比单智能体+更多计算资源的边际收益。

#美团#Agent#多智能体系统

面试题·Agent· 得物

大模型记忆机制怎么改进?

匹配正文：…+ 重要性评分）一致性维护：定期触发**记忆反思（reflection）**整合碎片化信息三、检索增强：RAG与Agent记忆融合 RAG-based Memory 将历史交互切分chunk，构建可检索记忆库与实时RAG区分：记忆检索强调时序性和因果关联，需保留对话状态链增强方案记忆树（Memory Tree）：层次化组织，支持从细节到抽象的跨粒度检索工作记忆 + 长期记忆：仿人脑双系统，工作记忆保持当前任务焦点，长期记忆提供背景知识落地权衡维度取舍延迟 …

#得物#Agent#大模型记忆机制

面试题·Agent· 阿里

主流 LLM 应用产品怎么选?

匹配正文：…星火（B端场景）一、技术架构对比维度通义千问讯飞星火核心架构 RAG为主，轻量Agent能力 Agent为主，深度RAG融合技术侧重搜索增强生成（实时信息）任务规划+工具调用（办公自动化）典型能力联网搜索、文档解析、代码生成插件生态、API编排、多轮任务执行关键差异：通义的RAG强调"知识广度"（覆盖全网+上传文档），星火的Agent强调"行动深度"（理解意图→拆解步骤→调用工具→完成闭环）。二、场景与体验分析通义千问场景：通用问答、学习辅助、内…

#阿里#科大讯飞#Agent

面试题·Agent· 字节

Agent 长期记忆存储结构

匹配正文：…ding → Top-K相似记忆关键词召回：BM25覆盖精确匹配场景图遍历召回：基于实体关系扩展相关记忆相关性排序优化特征融合打分 score = α·语义相似度 + β·时间衰减 + γ·重要性分数 + δ·交互频率时间衰减：e^(-λ·Δt)，近期记忆权重更高重要性建模：LLM打标关键事件，或基于用户显式反馈个性化：学习用户偏好向量，动态调整权重记忆压缩机制对话摘要：定期用LLM压缩历史为高层语义分层摘要：原始对话→段落摘要→主题摘要，检索时自顶向下 …

#字节#蚂蚁#向量检索

面试题·Agent· 字节

多 Agent 冲突怎么检测与协调?

匹配正文：…理置信度阈值动态调整：Agent输出附带不确定性分数，低置信度决策强制进入仲裁对抗样本检测：对感知输入做一致性校验（如多传感器融合交叉验证）人类在环（HITL）：高风险场景保留人工熔断接口四、字节场景下的工程权衡维度推荐方案原因延迟敏感（推荐系统）中心化仲裁 + 缓存预计算 10ms级响应要求规模扩展（内容审核）去中心化共识（Raft变种）千级Agent水平扩展安全关键（自动驾驶）硬件级TEE + 双冗余仲裁功能安全ASIL-D 核心原则：没有万…

#字节#Agent#多 Agent 冲突检测

面试题·Agent· 阿里

Agent 中 RAG 瓶颈怎么破?

匹配正文：…）、重排序（Cross-encoder延迟高）、多路召回合并精度损失：Embedding语义漂移、稀疏检索（BM25）与稠密检索融合权重难调 2. 上下文层瓶颈长度限制：长文档截断导致关键信息丢失，Agent多轮后历史膨胀噪声引入：检索top-k中的低相关文档污染生成，"中间丢失"现象 3. Agent特有瓶颈决策链累积错误：ReAct循环中检索→推理→工具调用，任一环节出错级联放大状态管理复杂：多Agent协作时知识同步延迟，工具返回结果格式不统一二、典型场景的…

#阿里云#Agent#Agent RAG 瓶颈

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配正文：…为带噪候选，须考虑用户是否看见、位置与反馈延迟；与随机负样本、人工偏好及去偏方案做对照。 3. 系统集成：RAG与Agent的深度融合用户Query → Agent规划（意图识别→工具调用）→ RAG检索实时热点/库存 → 生成式模型融合多源信息 → 交互式澄清（多轮）→ 最终推荐 RAG增强：接入实时笔记池、趋势话题，解决生成内容"过时"问题 Agent协同：支持多轮对话式推荐，主动询问偏好（如"喜欢户外还是室内活动？"），突破单次请求的信息局限 4. 应用场景：从"推荐…

#小红书#Agent#生成式推荐系统

面试题·Agent· 高德

旅行Agent怎么拆解任务?

匹配正文：…息、历史文化、经典路线模板（定期全量更新）动态库：实时票价、天气、交通状况、近期用户评价（小时级增量索引） RAG与Agent的融合点：融合位置具体做法需求解析阶段检索相似用户画像的历史行程，辅助理解偏好规划决策阶段每步选址时RAG检索：景点实时开放状态、周边餐饮评分、当前拥堵指数验证阶段检索最新政策（如预约要求）、用户UGC避坑提示关键实现：将RAG检索结果以结构化工具输出形式注入Agent的ReAct推理链，而非简单拼接Prompt，确保Agent能主…

#高德#Agent#旅行Agent