匹配正文：…教学假设假设电商政策问答既包含自然语言问题，也包含订单号和时间条件。可以从 Naive 基线开始，再分别加入实体抽取、BM25、向量召回、RRF、重排和权限过滤。每次只增加一个主要模块，不能直接宣称准确率会达到某个数字。评测与选型分别测知识覆盖、Recall@K、MRR/NDCG、答案正确性、引用支持率、拒答、P95/P99 和成本。简单文档问答若基线已满足要求，不必升级；只有明确 bad case 和消融证据支持时才增加 Advanced 或 Agentic 组件。

#淘天#重排与优化#Naive RAG

面试题·检索· AIlab

RAG 流程：检索、融合、生成

匹配正文：答案要点离线知识库构建流程（文档解析、分块、向量化、索引存储）在线检索流程（Query改写、向量检索、重排序）生成阶段（上下文拼接、Prompt工程、答案生成）各环节的关键技术选型与权衡（分块策略、Embedding模型、检索算法） RAG完整流程分为离线构建和在线推理两大阶段：一、离线知识库构建文档解析：处理PDF/Word/网页等多格式，提取干净文本（注意表格、图片OCR）文本分块（Chunking）：按固定长度、语义段落或递归方式切分；块大小通常256-5…

#AIlab#RAG工作流#RAG 技术流程

面试题·检索· 高德

RAG增强与生成如何衔接？

匹配正文：…标注信息来源块拒答机制：检索置信度低时触发"信息不足"回复多轮优化：检索失败时自动扩展Query重写关键工程细节环节典型选型注意点 Embedding BGE-large-zh 领域适配需微调向量DB Milvus 考虑增量更新与版本管理重排序 BGE-Reranker-v2 计算成本高，控制候选规模幻觉控制引用+置信度阈值不能100%消除，需人工兜底高德场景下，地图POI、实时路况等结构化数据需特殊处理：先SQL过滤再向量检索，混合查询提升精度。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#高德#RAG#RAG 工作流程

面试题·检索· 百度

RAG 技术实现流程怎么走?

匹配正文：答案要点文档预处理与分块策略的选择依据 Embedding模型选型与向量索引构建检索召回与精排的两阶段设计上下文窗口优化与生成环节的关键技术 RAG的核心流程可分为离线构建和在线服务两个阶段：一、离线文档处理文档解析：处理PDF/Word/网页等多格式，提取结构化文本（表格、标题层级保留）分块（Chunking）：关键设计点固定长度（如512 token）简单但易截断语义按段落或语义分块；滑动窗口只作为待测候选，由同一评测集决定是否启用及长度特殊处理：代码按…

#百度#文档切分与检索#RAG 实现流程

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配正文：…训练到的私有/实时数据，通过检索方式动态注入上下文，解决知识截止和幻觉问题。三阶段流程：索引(Indexing)：文档→切片→Embedding→入库检索(Retrieval)：Query向量化→相似度搜索→Top-K召回生成(Generation)：检索结果+原始Query拼接→LLM生成答案关键组件组件核心作用选型要点文档处理 PDF/Word解析、语义切片按语义边界切（如段落），非固定长度 Embedding模型文本→稠密向量领域适配（M3E/B…

#字节#RAG实现原理#RAG 实现原理

面试题·检索· 字节

RAG 架构组件与失败场景

匹配正文：答案要点能清晰划分RAG的三大核心模块（索引、检索、生成）并说明各自职责理解Embedding模型的选型考量和向量数据库的选型差异掌握检索策略的演进（从基础到高级RAG）能说明完整的端到端数据流提及RAG的典型优化手段（查询重写、重排序、混合检索等） RAG核心架构：三大模块 1. 索引模块（Indexing）文档处理：加载PDF/网页/数据库 → 文本清洗 → 语义分块（按段落/滑动窗口/语义边界）向量化：Embedding模型（BGE/M3E/OpenAI-…

#字节#RAG组件协同#RAG 系统架构

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配正文：答案要点检索阶段：分块策略、embedding选型、多路召回、重排序优化上下文处理：窗口长度控制、冗余去重、相关性过滤生成阶段：prompt工程、引用溯源、幻觉抑制系统层面：延迟优化、缓存策略、离线评估体系一、检索质量分块策略按语义分块优于固定长度，可用LLM辅助判断边界块大小一般256-512 tokens，需保留上下文重叠（overlap）表格/代码等特殊内容需单独处理，不能粗暴切分 Embedding与召回领域数据务必微调embedding，通用模型…

#美团#RAG常见陷阱#RAG 系统陷阱

面试题·检索· 高德

RAG 系统实现流程怎么搭?

匹配口述回答：…长窗口作为候选，用同一评测集验证边界信息、召回与成本。元数据一定要保留，比如文档来源、时间戳，后面过滤和溯源都用得上。然后是[[向量化]]。Embedding 模型选型要看领域，比如电商客服场景，用 BGE 或 M3E 就比通用英文模型好。[[向量数据库]]的话，我会关注索引算法，[[HNSW]] 在中等规模下表现稳定，但数据到千万级就得考虑 [[IVF]] 分区了。这里有个前提：向量检索只能做语义相似，没法做精确关键词匹配，所以单纯靠向量容易漏掉那些带特定订单号或错误码的…

#高德#RAG结果融合#RAG 实现流程

面试题·检索· 美团

混合检索为什么优于单一检索?

匹配正文：…= A·B/(‖A‖‖B‖) 归一化后只关注方向，适合语义匹配点积 A·B 保留模长信息，训练时更稳定欧氏距离 ‖A-B‖ 对向量尺度敏感，较少直接用特点：语义泛化能力强，支持同义词、跨语言需要大量数据训练，冷启动和分布外query效果差依赖ANN索引（HNSW、IVF）加速，内存占用高适用：开放域问答、对话系统、语义搜索等需要理解意图的场景。美团场景的实际选型以外卖搜索为例：稀疏检索：召回商家名、菜品名的精确匹配（"肯德基"必须匹配到KFC）稠密检索：…

#美团#稀疏稠密检索#混合检索策略

面试题·模型架构· 字节

LLaMA为何选RMSNorm?

匹配口述回答：…一个token的隐藏维计算均值和方差，先减均值，再除以标准差，最后乘可学习的gamma并加beta。RMSNorm不减均值，而是用向量均方根做缩放，再乘逐维gamma。最重要的边界是，RMSNorm没有把输入均值隐式变成零，它只是放弃了中心化这一步。从不变性看，LayerNorm既能消除所有维度共同平移带来的影响，也能处理整体尺度变化；RMSNorm主要保留重新缩放不变性。这个取舍减少了统计量，但不能推导出输入必须近似零均值，也不能说RMSNorm天然更抗异常值。均方根同样…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型训练· 高德

参数量增长如何影响模型能力?

匹配正文：…通常提升函数容量和样本效率，但效果取决于数据、算力和训练配比。Kaplan等人在特定Transformer实验中拟合到测试损失随非embedding参数规模按幂律下降，参数指数约为0.076，也就是损失项近似N的负0.076次方，而不是负0.74。这个数是经验拟合，不是跨架构常数。大模型训练仍是非凸优化，没有“近似凸”或SGD保证找到全局极小值的结论。机制与边界规模带来的正面作用包括更丰富的表示、更好的少样本迁移和在一定范围内可预测的损失下降。负面是训练计算、通信、显存、…

#缩放定律#过参数化#双下降现象

面试题·模型架构· 字节

RMSNorm vs LayerNorm：数值稳定性怎么比?

匹配口述回答：…给 hidden vector 每个维度都加同一个常数，LayerNorm 的中心化会消掉这部分平移，RMSNorm 不会；把整条向量乘一个正比例，两者都会通过分母抵消大部分尺度变化。这个例子比只背公式更容易解释 re-centering 与 re-scaling 的边界。实现检查则要覆盖常量输入、极小幅值、低精度和不同 hidden size，并与框架算子比较前向和梯度。若端到端训练出现不稳，我会同时看残差尺度、初始化、学习率和精度，而不是立刻归因于归一化名称。最终选型要…

#Layer Normalization#RMS Normalization#归一化技术

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配口述回答：…coder通常读取完整有效输入，因此self-attention可以同时利用当前位置左右两边的信息。它输出的不是一个固定长度上下文向量，而是随源序列长度变化的一组token表示，形状可以写成B、L_src、D。分类任务可能再取CLS或池化成固定向量，但那是下游读出方式，不是encoder本身只输出一个向量。 Encoder也不是无mask。它通常不使用阻止未来信息的causal mask，但变长batch里仍要用padding mask挡住补齐位置，还可能有任务特定mask。…

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·多模态· 百度

MoE 专家网络怎么动态路由?

匹配口述回答：…家塌缩。所以要监控每个专家的激活比例、路由熵和分噪声桶损失，并在确实需要时加负载均衡约束。多模态条件也可以参与路由，例如文本条件向量或跨模态融合后的共享特征。不过我要强调，不能直接把CLIP向量范数叫作语义复杂度，也不能据此断言复杂语义一定要调用更多低噪专家。这类内容特征只能作为候选设计，必须通过消融来回答：加入之后，在相同计算预算下，质量有没有提高，专家利用是不是更合理。专家结构上，我会从共享大部分backbone、只拆部分block开始，避免参数量直接翻倍。所谓高噪阶…

#扩散模型#MoE#噪声调度

面试题·模型架构· 字节

LayerNorm vs RMSNorm 原理差异?

匹配口述回答：…ayerNorm对单个样本或token的指定特征维计算，不依赖batch统计；RMSNorm也沿特征维工作，但只使用平方均值。对向量x，LayerNorm先求均值和方差，用x减均值后除以var加epsilon的平方根，也就是(x-mu)/sqrt(var+epsilon)，再乘逐维gamma并加beta。RMSNorm不减均值，直接用x除以mean(x平方)加epsilon的平方根，再乘gamma。RMSNorm舍弃的是re-centering，保留与整体缩放相关的归一化；…

#Layer Normalization#RMS Normalization#Batch Normalization

面试题·Agent· 字节

Agent 长短期记忆如何分层?

匹配正文：…数据库。写入与读取交互或工具结果先经过候选提取、结构校验、去重、来源、权限与敏感信息检查，再带时间和版本写入结构化库、文本库或向量索引。新请求按身份与任务作用域做关键词、向量和结构化混合检索，再按相关性、时效性、重要性和权限重排，在上下文预算内注入。事实、原文和向量用稳定 ID 关联。向量用于候选检索，精确属性和状态由结构化存储承载；用户纠正应生成新版本或显式覆盖规则。摘要是有损表示，必须保留原始证据引用。系统按租户和主体分区，使用事件日志、幂等写入、删除和过期策略。…

#字节#Agent#Agent 记忆架构

面试题·Agent· 高德

Tool Calling 参数格式怎么保?

匹配正文：…________↓ 失败则触发重试/修复重试策略：指数退避 + 温度参数调整（首次0.3，重试时0.7增加多样性）。方法对比与选型方法可靠性延迟实现成本推荐场景纯约束解码 ⭐⭐⭐ 中低核心链路、高可靠要求 Schema-guided ⭐⭐⭐ 中中字段复杂的API调用后处理校验 ⭐⭐ 低低快速原型、非关键路径组合策略 ⭐⭐⭐ 可控中生产环境推荐工程实践建议分层防御：约束解码兜底格式，后处理捕获边缘case 监控埋点：记录格式错误率、修复成…

#高德#Tool Calling 参数格式#约束解码

面试题·Agent· 小红书

长历史行为怎么处理?

匹配口述回答：…丢。这里有个落地风险得特别注意。检索增强的前提是用户行为里有可检索的关键事件，如果用户全是碎片化闲聊，没有明确的偏好或决策点，那向量化入库就是白费功夫，检索出来的也是噪音。常见失败场景就是，摘要模型质量不够，把关键信息漏了，或者检索召回率低，模型看不到重要历史，反而产生[[幻觉]]。上线前我会特别关注，用离线评估集测一下，在关键事件上的 Recall 和摘要的 [[Faithfulness]]，不达标就回滚。所以我的倾向是，把长历史处理看成记忆架构设计，而不是单纯的技术选…

#小红书#Agent#长历史行为处理

面试题·Agent· 美团

工具 Agent 训练环境设计

匹配正文：…ation；POMDP下Agent看不到全部状态，可用历史/信念状态等缓解信息缺口，不能把全可观测设为环境必要条件结构化表示：用向量、图或文本描述环境状态，便于策略网络处理历史信息处理：通过状态堆叠或RNN隐状态引入时序依赖动作反馈机制即时奖励：单步动作的直接收益（如外卖场景的配送时效）延迟奖励：多步决策后的最终收益（如用户满意度） Gymnasium step返回下一观测、reward、terminated、truncated和info；终止与外部截断会影响boo…

#美团#Agent#工具 Agent 训练环境设计

面试题·文档处理· 百度

Chunking 策略怎么选?

匹配口述回答：…段落边界，再把不同窗口长度和 overlap 作为候选，用同一评测集选出方案，同时给每个子块带上父标题和章节 metadata。选型上我会看三件事：文档结构、用户 query 类型、Embedding 模型能力。结构化文档优先语义切分，代码可以按函数或 AST，FAQ 可以按问答对；精确问答适合更小粒度，摘要分析需要更大上下文；如果 embedding 模型对长文本表示能力弱，chunk 就不能太长。最后一定要评估。用一批真实 query 比较不同 chunk 大小和 o…

#百度#文档处理#Chunking 策略

面试题·文档处理· 字节

RAG 长文档怎么切块?

匹配正文：…过元数据关联，兼顾召回与理解动态切块结合LLM判断语义完整性（成本较高）或用聚类算法（如BERTopic）发现自然主题边界选型建议延迟敏感：把固定长度与低冗余候选纳入评测精度敏感：比较语义切块、结构切块与多粒度方案结构化文档：优先保留标题层级，块内自包含最终需通过检索召回率和端到端答案质量联合评估，无绝对最优。学习建议建议系统学习该知识点

#字节#文档处理#RAG 文本切块

面试题·评估· 淘天

偏好感知系统架构怎么选?

匹配口述回答：…数据上优化。DPO的好处是简单稳定，但前提是偏好数据质量够高，如果数据噪声大，DPO容易过拟合。个性化扩展的话，可以把用户画像[[embedding]]拼到prompt里，或者用[[LoRA]]给不同用户群体维护独立的适配器，这样不用全量微调。评估体系分三个层面。先说偏好对齐度，最直接的指标是胜率，让GPT-4或人工盲评两个回答哪个更好。再看对话质量本身，比如流畅度、多样性，用perplexity和distinct-n来监控。还要看业务指标，电商场景就看转化率和满意度，这个…

#淘天#偏好感知对话系统#对话系统训练数据

面试题·评估· 美团

Multi-Agent 训练流程关键阶段

匹配正文：…设计：团队共享奖励、个体奖励或混合（shaped reward） 2. 通信机制设计类型特点代表工作显式通信可学习的通信向量，如CommNet、TarMAC 需要带宽约束隐式通信通过参数共享或注意力隐式协调，如MADDPG 更易扩展 emergent 通信端到端学习通信协议可解释性差 3. 关键训练范式 CTDE（集中训练分布式执行）训练时：critic网络访问全局状态，actor仅用局部观测执行时：各agent完全分布式决策典型算法：QMIX、MAP…

#美团#Agent#Multi-Agent 训练流程

面试题·模型微调· AIlab

RAG 检索精度提升的三大陷阱

匹配正文：…、稀疏/稠密/混合召回。只有正确文档已经进入候选集时，Cross-Encoder 等重排器才可能改善高位排序；否则应先修召回。 Embedding 微调、难负样本和索引参数必须分别做消融，避免同时改动后无法归因。生成层对候选证据做去重、冲突检测、上下文预算和位置安排。 Prompt 明确证据边界、引用格式和证据不足时的行为。分开测答案正确性、引用支持率、faithfulness、覆盖率与拒答，不能只看语言流畅度。高风险输出可增加规则、NLI/验证器或人工确认。系统…

#AIlab#检索器优化#RAG 优化