匹配正文：…索加速：向量量化(IVF-PQ)、图索引(HNSW)、检索结果缓存流式生成：首token返回后chunk输出，降低用户感知延迟并行化：检索与LLM调用解耦，工具调用异步化正确率优化混合检索：向量+关键词+知识图谱多路召回，RRF融合查询改写：HyDE生成伪答案再检索，解决query-doc语义gap 重排序精排：Cross-encoder细粒度打分，过滤低质结果 Self-RAG：生成时主动判断是否需要补充检索，避免过度检索 Agent层优化规划阶段用轻量模型，执…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· AIlab

RAG流程优化：三大层面策略

匹配正文：…ank）：Cross-encoder精排，如bge-reranker，Top-K从100→20 多路召回：向量库+图谱+传统数据库并行检索二、生成层优化上下文处理上下文压缩：LLM摘要过滤冗余，或训练专用压缩模型引用溯源：要求模型标注答案来源，便于事实核查动态截断：按相关性分数加权拼接，非简单Top-K截断提示工程角色设定：明确"基于提供的参考资料回答，不知道则说不知道" Few-shot示例：展示引用格式和拒答样例思维链：先让模型分析哪些文档相关，再生成答案…

#AIlab#RAG流程优化#RAG 优化

面试题·检索· 快手

RAG 延迟准确率根因

匹配正文：…用链核心矛盾：Agent的自主性要求检索模块既快又准，但两者往往此消彼长。实践中需在延迟约束下做精度妥协，或通过检索-生成流水线并行、缓存热点Query结果、自适应检索深度等工程手段平衡。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#快手#RAG延迟与准确率#RAG 延迟准确率根因

面试题·检索· 百度

RAG Query 改写方法

匹配正文：…、术语专业让模型先生成假设答案，用答案 embedding 检索多查询扩展问题表述模糊、同义词多生成3-5个语义等价变体，并行检索后去重聚合子问题分解复杂多跳问题拆解为原子问题链，逐层检索（如"2024年X公司营收→其CEO是谁→CEO背景"）历史会话改写多轮对话场景结合上文指代消解，生成独立完整的 standalone query 关键取舍：改写次数 vs 延迟——通常线上用1-2层改写，复杂场景走异步多路召回。检索后提示词构建结构模板（按优先级排序…

#百度#小鹏#美团

面试题·检索· 百度

RAG 文档处理与检索策略怎么搭？

匹配正文：…s-Encoder重排序）→ 最终Top-N片段关键优化点： Query改写：扩展同义词、澄清指代多路召回：向量+关键词+图谱并行重排序：轻量Cross-Encoder比双塔更准，但 latency 高三、生成集成层上下文组装：检索片段按相关性排序，拼接为上下文控制总长度（通常占模型上下文30%-50%） Prompt设计要点：基于以下参考资料回答问题，若资料不足请明确说明： [参考资料] {检索内容} 用户问题：{query} 生成优化：引用溯源：要求模型…

#百度#RAG检索策略#RAG 系统架构

面试题·检索· 字节

RAG检索方法选型原因？

匹配正文：…词明确的查询、长尾实体检索 3. 混合检索（Hybrid Retrieval）实际生产中的主流方案：Dense + Sparse并行召回融合策略：线性加权（α·Dense_score + (1-α)·Sparse_score）或RRF倒数排序融合选型原因（字节场景）内容平台场景：用户query口语化严重，需要语义理解 → Dense为主电商/搜索场景：商品ID、品牌名需精准匹配 → 必须保留Sparse 成本权衡：全Dense需GPU资源，Sparse在CPU即可低…

#字节#评估与监控#RAG 检索方法

面试题·检索· 虾皮

RAG 流程优化：检索与重排陷阱

匹配正文：…调优（ef_construction/ef_search），IVF-PQ量化降维多路召回：向量检索 + 关键词检索 + 知识图谱并行召回查询扩展：用LLM生成同义查询，提升覆盖度 4. 重排序（Rerank）核心问题：粗排结果精化优化策略：交叉编码器：用ColBERT等模型计算查询-文档细粒度交互多任务学习：联合优化相关性、时效性、权威性反馈学习：根据用户点击行为在线优化排序模型 5. 生成与后处理核心问题：幻觉控制和答案质量优化策略：上下文压缩：用LLM…

#虾皮#RAG全链路优化#RAG 流程优化

面试题·检索· 美团

RAG 检索器与生成器如何协同？

匹配正文：…与Query交互）关键优化策略查询改写：用LLM扩展同义问法，解决语义Gap 多路召回：向量检索 + 关键词检索 + 图谱检索并行引用溯源：要求模型输出引用标记，便于事实核查 Naive vs Advanced RAG Naive：直接检索→拼接→生成，容易噪声干扰 Advanced：加入重排序、查询分解、迭代检索（如Self-RAG），显著提升准确率

#美团#RAG架构#RAG 系统架构

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配正文：…ntext utilization 多文档冲突时无仲裁策略，应提示模型说明分歧四、系统层面延迟优化：向量检索<50ms，重排序并行化，流式生成首token 离线评估：构建黄金测试集，分离评估检索（Recall@K）和生成（F1/人工评分）缓存：高频query embedding缓存，热门文档预加载

#美团#RAG常见陷阱#RAG 系统陷阱

面试题·检索· 小红书

BM25 vs 向量检索 vs 混合检索怎么选?

匹配正文：…到同一语义空间通过余弦相似度或点积计算语义相关性能捕捉同义词、上下位词等语义关系，如"苹果手机"≈"iPhone" 混合检索并行执行BM25和向量检索，结果融合（常用RRF倒数排序融合或加权求和） RRF公式：score = Σ 1/(k + rank_i)，k通常取60，对排名敏感而非绝对分数关键维度对比维度 BM25 向量检索混合检索准确性关键词匹配准，语义漂移大语义理解强，可能引入噪声兼顾两者，上限最高召回率低（同义词漏召）高（语义扩展）最高…

#小红书#检索方法对比#BM25 向量检索混合检索

面试题·检索· 哔哩哔哩

召回 vs 粗排怎么分工?

匹配正文：…，并应覆盖精排所依赖的主要目标。若粗排标签、特征或目标与精排不一致，会产生选择偏差，把后续本可识别的优质项提前删除。视频推荐可以并行召回关注作者、历史兴趣、相似内容与探索候选；粗排再估计点击、观看或满意度。小候选池或轻量精排可能直接省略粗排。验收应画出候选深度、召回率和延迟成本曲线，并监控覆盖、重复率、保真度及长尾表现。图解召回 vs 粗排怎么分工?图解

#哔哩哔哩#召回与粗排#召回与粗排区别

面试题·检索· soul

召回阶段怎么选方法?

匹配正文：…户画像匹配（兴趣、年龄、地域）社交图谱扩展（朋友的朋友）实时行为反馈（谁看过我、谁喜欢我）工业实践：通常采用多路召回（各方法并行）+ 粗排过滤 + 精排排序的级联架构，通过召回多样性保证后续排序的上限。学习建议建议先理解推荐系统整体流程，再分模块学习召回技术，结合实际案例对比不同方法，强化对优缺点的理解。

#soul#多路召回#召回方法对比

面试题·检索· 美团

稀疏稠密与混合检索

匹配正文：…名 ✅ 精准 ❌ 可能失配语义改写/口语化查询 ❌ 字面不匹配 ✅ 语义捕获长尾低频词 ✅ 稳定 ❌ 学习不充分实际做法：并行召回：BM25 + 向量检索各取Top-K 融合排序：线性加权 score = α·BM25_score + β·dense_score，或训练 LTR 模型两阶段：混合召回 → Cross-Encoder 精排美团这类业务场景（POI搜索、外卖Query）尤其需要混合策略——用户既搜"麦当劳"（精确品牌）也搜"好吃的汉堡"（语义意图），单…

#美团#稀疏稠密检索#稀疏稠密与混合检索

面试题·检索· 小红书

多路召回 vs 排序模型怎么分工?

匹配正文：多路召回多路召回用不同信号并行生成候选，例如协同过滤、双塔向量、内容或图召回，以及热门、地域、关注与运营规则。各路分别面临行为稀疏、冷启动、训练偏差、图更新成本或个性化不足等问题。各路结果要经过版本与权限过滤、去重、配额或分数校准。多路并不自动带来多样性；高度相关的召回器可能重复返回同一批热门项。排序模型排序器对候选统一估计点击、转化、观看时长、满意度等目标。模型可从线性模型、GBDT 到 Wide&Deep、DIN 或多任务网络，复杂度取决于数据和服务预算。排序质量…

#小红书#多路召回与排序#多路召回

面试题·检索· 阿里

Hard Search vs Soft Search 怎么选?

匹配正文：…/Milvus等ANN库，单次检索毫秒级；但训练时需维护大规模索引，索引更新有延迟 Soft Search：训练时矩阵运算可GPU并行，但候选集规模受限于显存（通常截断到数千）；推理时若保留全量候选，计算量爆炸 2. 召回质量 Hard Search：存在检索误差——ANN的近似性可能漏掉真正相关的item，且Top-K截断导致梯度只更新局部 Soft Search：理论上全局最优，但长尾候选梯度极小，实际等效于被忽略；容易过度拟合高频item 3. 训练稳定性 Hard S…

#阿里#Hard Search与Soft Search#SIM 模型

面试题·检索· 字节

RAG检索质量差：Embedding与Rerank调优

匹配正文：…. 检索侧增强混合检索：向量+关键词 BM25 融合，互补长尾和精确匹配多路召回：不同 embedding 模型、不同切分粒度并行召回粗排→精排：先用轻量模型快速筛选，再用 Cross-Encoder 精排 3. 文档侧处理动态上下文压缩：用 LLM 提取关键片段，去除冗余元信息过滤：按时间、来源等标签预过滤索引优化：调整 chunk 大小和重叠策略，关键信息不截断 4. 重排序与过滤 Cross-Encoder 精排：比双塔模型准，但计算重置信度过滤：设置相似…

#字节#检索故障诊断#检索质量优化

面经·项目面试

配置里有参数，不等于模型已经收到

匹配正文：…ls；没有这份工具列表时，配置里原有的工具字段则被保留下来。两种分支都已在本地捕获，不能把其中一种当成所有调用的规则。工具选择和并行工具开关使用的是补缺省逻辑。配置已有显式值时会保留；缺少时，非空工具分支才补上自动选择与关闭并行的默认值。顺序影响最终请求，光检查最初字典还不够。字段名称也没有自动获得跨后端语义。人工配置里的 max_new_tokens 在这条 API 路径中仍以原名进入 JSON，没有被包装层改为 max_tokens。服务端支持哪一个名称，本次没有连接…

#Agent#模型推理#参数适配

面经·项目面试

写工具排队以后，Read 的顺序由谁保证？

匹配正文：…入第二批写入；第二批结束，第三批后读才开始。因此，用同样的内存工具运行，后读得到1。若写入前还有几个安全读取，它们可以在同一批里并行。批次调度保留的是跨越写入的边界，没有把前后所有安全工具一股脑合并。后读即便也叫Read，仍属于写入之后的新批次。这两条路径的差异，不能靠“都有安全标记”“都有并发上限”来判断。还要看标记怎样参与分组，以及什么时候等待前面的任务。流式路径在调用到达时尝试立即启动，批次路径已经看见完整序列，可以先把边界划出来。因此，不能因为一种路径处理这个例…

#Agent#工具调度#并发编排

面经·项目面试

写了 asyncio.gather，8 个研究 Agent 为什么还在排队？

匹配正文：…现核对。这次睡眠没有共享复杂客户端，不能替你完成这项检查。线程适合这个阻塞等待场景，也不证明CPU密集推理会自动获得相同收益，计算并行仍要结合运行时和计算库判断。开发者在共享入口核对三个通行牌，正常批次其余研究任务等待名额协程取消后，线程为什么还没收工还有一种更隐蔽的情况：用户取消研究，等待to_thread结果的协程已经结束，里面的同步函数是否也停了？如果把两个状态当成同一件事，并发计数可能又会变得不可信。为此，我另做了一个受控检查。只给一个信号量名额，先让一个线程…

#DeepResearch#asyncio#多Agent

面经·项目面试

流式工具调用，究竟等到哪一刻才能开始执行？

匹配正文：…只读这个名字也不能代替实现检查。工具是否被标为并发安全、运行入口是否接了权限检查，都要回到本次实际组装的执行器。不能在文章里画一条并行线，就认为项目中的每个调用都走这条线。当前代码在配置了前置 hook 时会先运行它，并在提供权限检查器时等待它的判断。即使内部启动事件已经发出，后续仍可能返回拒绝。观察工具是否真的启动，应该看执行入口的记录。结果收集也有自己的时点。主循环会在模型流结束后调用 get_results，等待或收集工具结果，再把它们放回消息。因此，工具可能早已完…

#Agent#流式工具调用#工具执行

面试题·模型架构· 美团

Transformer 为何用 Layer Norm?

匹配口述回答：…的global batch；批大小和样本组成变化会改变统计。LayerNorm与batch无关，在不同micro-batch、数据并行切分和推理batch下行为更一致，这是它更自然的原因之一。变长序列和padding也会增加BN设计复杂度，但不能说padding一定污染BN。是否污染取决于张量布局、归一化轴以及有没有正确mask无效位置。如果把token位置纳入统计又不排除padding，当然会偏；如果专门设计masked统计，则可以缓解。LayerNorm对每个有效tok…

#Layer Normalization#Batch Normalization#归一化机制

面试题·模型架构· 海尔

位置编码为什么重要?

匹配口述回答：…赖和真实长文生成，同时检查原长度任务是否回退。实现层还要确认 causal mask、position id、KV Cache 与并行 kernel 都使用相同位置规则。LLaMA 不同代际和长上下文变体有各自训练长度与缩放方案，不能把某个变体的结果概括成从 2K 原生无损推到 32K，更不存在所有模型固定外推若干倍的保证。【验证补充】长上下文训练数据的长度分布同样重要。只修改 RoPE 参数却仍只喂短样本，模型可能学不到跨远距离取证；只喂人工拼接长样本，又可能和真实文档结…

#位置编码#Transformer#自注意力机制

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配口述回答：…需统计量更少，kernel有机会更简单。但这里不能把它说成固定节省百分之多少，更不能说token内归一化要同步所有GPU。正常张量并行实现中是否通信，要看隐藏维如何切分和具体kernel；端到端收益还受attention、MLP和内存带宽占比影响。数值稳定性也要谨慎。两种方法都要处理平方和、极小方差和混合精度累积，通常会用epsilon，并可能在更高精度里计算统计量。RMSNorm少了一次减均值，并不等于对异常值天然更鲁棒或训练一定更稳。它同样会受到大幅值分量影响。并且有逐…

#LayerNorm#RMSNorm#归一化方法

面试题·模型架构· 高德

参数规模怎么影响大模型?

匹配口述回答：…，新增参数可能没有被充分训练，扩大数据或提高质量反而更值。训练动态上，模型越大，显存、通信、吞吐和数值稳定的挑战越明显，需要分片并行、混合精度和更谨慎的初始化与学习率。不过我不会说大模型的损失面必然更平、梯度噪声必然更大，也不会声称 Transformer 天生会找到平坦极小值，这些都不是通用定理。泛化要看多组证据：训练和验证损失、留出任务、校准、分布外表现、近重复记忆以及评测污染。监督学习里的 double descent 是一些设定下观察到的经验现象，不能直接当成所有…

#缩放定律(Scaling Laws)#过参数化#双下降现象