匹配正文：… 这时适合处理问题的是 Rerank，也就是重排。可另一个问题马上来了：既然 Rerank 能更细地比较问题与候选，为什么不跳过向量检索，直接让它给整个知识库打分？ Bi-Encoder 和 Cross-Encoder 差在哪里？ Embedding 模型通常采用双塔，也叫 Bi-Encoder。 Query 进入一侧编码器，文档进入另一侧编码器，最后比较两个向量的距离。文档向量可以在离线阶段提前算好，用户提问时只需要计算 Query 向量，再到索引中寻找近邻。这种方式适…

#RAG#检索与重排#RAG Rerank

面试题·模型架构· 字节

RMSNorm vs LayerNorm：训练效率怎么比?

匹配正文：…对整体平移具有再中心化不变性，RMSNorm则会保留均值分量。逐维 gamma 还会改变各维尺度，因此不能说RMSNorm严格保持向量方向或与RoPE“天然正交”。主流模型选择 LLaMA使用Pre-Norm位置的RMSNorm。合理解释是：在保持模型质量的前提下减少归一化统计量并简化实现，而不是“RMSNorm在任何任务都更稳定”。工程选型应比较训练loss、梯度范数、溢出率、吞吐与最终质量。图解 RMSNorm vs LayerNorm：训练效率怎么比?图解

#LayerNorm#RMSNorm#归一化方法

面试题·RAG

RAG 检索效果差怎么排查？从 Query 到 Rerank 逐层定位

匹配正文：…排查起点。因为最终答案只是链路最后一层。错误可能早在文档解析时就发生，也可能是 Query 被改写带偏、过滤条件挡掉了正确文档、向量召回没找到、融合时被压下去，或者 Rerank 把正确证据排到了后面。如果连正确证据在哪一层消失都不知道，改参数更像碰运气。排查前，为什么先要有“正确证据”？如果只知道“答案错了”，排查没有参照物。系统返回的每条候选都可能看起来相关，但只有能够直接支持参考答案的原文，才是这次问题应该追踪的对象。因此，一条可调试样本至少要准备三样东西：…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#RAG#生成与对话#RAG 检索优化

面试题·模型训练· 高德

参数量增长如何影响模型能力?

匹配正文：…通常提升函数容量和样本效率，但效果取决于数据、算力和训练配比。Kaplan等人在特定Transformer实验中拟合到测试损失随非embedding参数规模按幂律下降，参数指数约为0.076，也就是损失项近似N的负0.076次方，而不是负0.74。这个数是经验拟合，不是跨架构常数。大模型训练仍是非凸优化，没有“近似凸”或SGD保证找到全局极小值的结论。机制与边界规模带来的正面作用包括更丰富的表示、更好的少样本迁移和在一定范围内可预测的损失下降。负面是训练计算、通信、显存、…

#缩放定律#过参数化#双下降现象

面试题·模型训练· 得物

LoRA 微调效果差怎么排查?

匹配正文：…投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。最终会同时比较prompt基线…

#LoRA#参数高效微调#故障排查

面试题·模型架构· 美团

多头注意力原理与QKV拆分陷阱

匹配正文：…维度并经过输出投影。数学上各头可并行，但底层可能用融合kernel完成，不等于真的启动互不相关的任务。位置处理要看架构。绝对位置向量通常在投影前加到token表示；RoPE则对每个头的Q和K成对旋转，使点积带上相对位置信息，V通常不旋转。RoPE原论文给出相对位置性质，但原生配置在训练长度之外并不自动保证稳定效果，实际长上下文常结合频率缩放、插值或继续训练，并在目标长度上验证。内存布局会直接影响性能。reshape和transpose如果产生非连续视图，后续kernel可…

#多头注意力#Transformer#并行计算

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

匹配正文：…被挤出上下文工具调用链参数错误、重复调用已失效API 工具文档/历史结果遗忘个性化服务用户偏好"失忆" 长期画像信息稀释优化方向架构层面稀疏Attention：Longformer（全局+局部）、BigBird（随机+窗口+全局），降复杂度至O(n) 线性注意力/状态空间模型：RWKV、Mamba，以RNN式隐状态替代KV Cache，支持无限长上下文记忆增强分层记忆：工作记忆（当前上下文）+ 短期记忆（会话摘要）+ 长期记忆（向量数据库检索）显式记忆写入…

#字节#淘天#Agent

面试题·Agent· 高德

Agent记忆分层与RAG检索

匹配正文：…[当前用户输入] 平衡策略：设置token预算上限，RAG结果按相关性截断，确保总上下文<模型上限的80% 工程实现要点存储层：向量库（Milvus/Pinecone）+ 图数据库（Neo4j存关系）+ 时序库（TTL自动过期）实时性：记忆写入异步化，检索路径优先读缓存可观测：记录"检索→使用→反馈"链路，持续优化索引学习建议建议从人类记忆类比入手，理解记忆分层原理；掌握向量检索、摘要抽取、RAG流程，并动手实现简易记忆系统以加深理解。

#高德#Agent#向量检索

面试题·Agent· 阿里

RAG+Agent 延迟与准确率成因

匹配正文：…RAG与Agent结合时，延迟和正确率问题呈乘法放大效应——Agent的多步决策特性使RAG缺陷被反复累积。一、响应延迟的成因与优化延迟来源具体成因优化方案检索层向量库冷启动、跨地域查询、Embedding计算预加载热数据到内存；本地缓存高频Query的Embedding；采用HNSW+量化索引 Agent决策层 ReAct多轮迭代、工具调用链过长、LLM推理本身设置最大迭代阈值；并行化独立工具调用；用小模型做意图路由，大模型仅做最终生成编排开销服务间RP…

#阿里云#Agent#RAG Agent 延迟优化

面试题·Agent· 字节

大量工具怎么选?

匹配正文：答案要点工具分层/分类架构设计基于语义的工具检索机制工具描述优化与向量化延迟优化策略（预加载、缓存、并行）工具学习/自动化工具发现核心挑战分析工具选择困难：LLM上下文窗口有限，无法一次性加载所有工具描述；相似工具难以区分调度复杂：工具间存在依赖、互斥、资源竞争；执行顺序影响结果响应延迟：工具检索+LLM决策+实际调用链路长解决方案 1. 层次化工具架构工具分类层：按领域/功能预分类（如"数据库类""搜索类"），先选类别再选具体工具元工具（Meta-t…

#字节#百度#Agent

面试题·文档处理· 字节

RAG 数据处理与索引流程?

匹配正文：… 重叠策略：把零重叠、短窗口和较长窗口作为候选，用同一评测集验证是否真的改善跨边界证据召回性能影响：块过小→检索碎片化；块过大→Embedding稀释、召回噪声 4. Embedding生成模型选择：通用场景用BGE/M3E，垂直领域需微调（如法律/医疗）批处理优化：GPU并行、动态长度填充质量验证：抽样人工评估语义相似度，监控离群点 5. 向量存储与索引构建索引结构： HNSW：高召回、内存型，适合百万级 IVF+PQ：亿级规模、磁盘友好元数据设计：必须包含do…

#字节#文档处理#向量检索

面试题·文档处理· 美团

RAG 知识库搭建流程?

匹配正文：…文，块太大可能引入噪声。应把多组 chunk size 与 overlap 组合放进同一评测集，比较召回、答案质量和成本。 3. 向量化与存储 Embedding选型：中文用BGE、M3E，多语言用E5、OpenAI text-embedding-3 向量数据库：Milvus（大规模）、Qdrant（易用）、Elasticsearch（混合检索方便）索引构建：HNSW（图索引，召回率高）、IVF-PQ（内存友好），根据数据规模和延迟要求选择 4. 检索优化混合检索：向量相…

#美团#RAG 知识库搭建#文档预处理

面试题·文档处理· 美团

RAG知识库构建流程详解

匹配正文：… 大规模生产环境 Pinecone 托管服务、免运维快速上线、中小规模 Weaviate 混合搜索、GraphQL 需要关键词+向量混合检索 pgvector PostgreSQL扩展已有PG基础设施，数据量<100M Faiss 纯索引库、轻量实验环境、嵌入式部署 5. 索引构建与优化索引算法：HNSW（高召回、快查询，内存占用大）vs IVF（省内存、适合十亿级）参数调优：HNSW的M（连接数，通常16-64）、efConstruction（构建精度）增强策略…

#美团#RAG 知识库构建#文档预处理

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配追问：…一个电商客服Agent，双十一高峰期每秒几千个查询，用户问“我的订单到哪了”召回物流信息，然后生成回复。现在召回和生成都慢，你怎么优化这两个阶段的延迟？层层追问高并发查询下Agent系统的延迟怎么优化？……先说说召回阶段，如果向量库扛不住怎么办？……那生成阶段呢，模型推理慢怎么解决？……架构上还有没有其他手段？直球架构设计一个高并发Agent系统，要求召回P99小于50ms，首Token延迟小于200ms。请从召回和生成两个阶段，分别给出架构设计、算法优化和工程实现的…

#高德#Agent#Agent 系统延迟优化

面试题·评估· 美团

多路召回评估指标与RAG场景

匹配正文：…确性（Answer-level metrics），这是RAG的北极星指标决策原则优先保证高Recall（设阈值如>95%），再优化Precision和排序不同Query类型（事实性/推理性/多跳）配置不同评估权重 A/B测试验证：离线指标提升≠端到端效果提升，需线上验证典型组合稀疏召回（BM25）+ 稠密召回（向量）+ 重排序模型评估：各路Recall → 融合后NDCG → 端到端Answer Accuracy 学习建议建议先掌握信息检索基础指标（如Preci…

#美团#评估与监控#多路召回评估

面试题·评估· 美团

RAG 缓解幻觉的机制

匹配正文：…0-500ms延迟上下文冲突：多文档信息矛盾时模型难以仲裁更新滞后：非结构化知识库维护成本高场景化设计考量场景设计重点优化方向医疗问答精确性优先多路召回（关键词+向量+知识图谱）、严格重排序阈值、答案置信度校准客服系统延迟敏感本地缓存高频Query、预计算热门问题向量、流式生成研报生成长上下文处理文档分块策略（按语义/按标题层级）、递归摘要、多跳检索关键优化方向：检索-生成联合训练（如REPLUG）、自适应检索（判断是否需要检索）、多模态RAG…

#美团#事实锚定#RAG 缓解幻觉的机制

面试题·评估· 字节

RAG 评估指标与迭代陷阱

匹配正文：…三层指标要联动看。检索高召回+生成幻觉 = 检索内容未被有效利用；检索低召回+生成正确 = 模型靠参数记忆"作弊"。二、常见迭代优化方法瓶颈现象优化方法适用场景检索召回不足查询扩展（HyDE、多查询生成）、混合检索（BM25+向量）、重排序（Cross-encoder）用户问题表述模糊、专业术语对齐差检索精确率低稠密检索模型微调（领域适配）、元数据过滤、上下文压缩领域知识密集、噪声文档多生成幻觉/利用不足引用强制（要求标注来源）、检索内容前置、Self…

#字节#评估与监控#RAG 评估

面试题·评估· 字节

RAG 三大瓶颈与迭代策略

匹配正文：一、检索精度瓶颈与优化核心问题：向量语义匹配不准、Query与文档分布不一致混合检索：向量+关键词（BM25）双路召回，用RRF融合排序，解决语义漂移和专有名词匹配问题查询改写：用LLM扩展Query（HyDE生成虚拟答案再检索）、澄清多义词、补全省略的主语重排序（Rerank）：Cross-Encoder精排，把候选从100缩到Top-5，精度提升明显但增加延迟索引优化：按业务领域分库、语义分层（摘要→正文→细节），减少候选噪声二、生成质量瓶颈与优化核心问题：…

#字节#评估与监控#RAG 性能瓶颈

面试题·评估· 高德

多工具评分排序机制

匹配正文：核心决策框架工具选择本质是多目标优化问题，需同时考虑：功能匹配度：工具描述与任务需求的语义相似度执行成本：延迟、调用费用、资源消耗历史表现：成功率、输出质量、用户满意度评分模块实现 1. 分层评分体系最终得分 = α·语义匹配分 + β·历史绩效分 + γ·成本惩罚项维度计算方式语义匹配用embedding模型计算工具描述与任务query的余弦相似度历史绩效滑动窗口统计近N次调用的成功率，引入时间衰减成本项归一化后的延迟/费用，作为负向惩罚 2. …

#高德#Agent#智能体工具选择

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配正文：…术架构层级功能大模型作用查询理解层意图识别、查询改写、多轮澄清纠错、扩展、消歧（如"苹果"→水果/公司）检索召回层向量检索 + 稀疏检索（BM25）+ 知识图谱生成稠密向量（bi-encoder）精排/重排层结果重排序、去重、过滤 Cross-encoder 打分、多任务融合生成输出层答案摘要、直接回答、多源整合生成式摘要、引用溯源关键优化点混合检索：向量（语义）+ 倒排（精确匹配）+ 图谱（实体关系），召回率提升30%+ 查询路由：简单que…

#虾皮#大模型搜索检索#搜索检索技术方案

面试题·评估· 美团

RAG 解决了哪些问题?

匹配口述回答：…以上线前我会特别关注两件事：一是用一批真实query回放，看召回率和准确率；二是做bad case分析，看看是不是切分粒度或者[[embedding]]模型选得不对。另外，我最近在关注[[Self-RAG]]，就是让模型自己判断什么时候需要检索，什么时候直接用内部知识。这个方向能进一步减少不必要的检索，提升效率，也降低延迟。所以总的来说，我会把RAG看成是大模型落地的标配能力，但它不是银弹。更倾向的做法是：先用RAG解决知识更新的问题，再用微调优化行为，同时做好检索质量的…

#美团#混合检索#RAG 技术

面试题·评估

RG 系统效果差怎么排查?

匹配正文：…量诊断方法人工标注100个查询的"黄金文档"，计算检索命中率分析未命中的case：是query理解偏差（需改写/扩展）、还是向量空间不对齐（需调整embedding或分块策略）快速实验：用人工精选的上下文替换检索结果，若生成质量显著提升 → 问题在检索侧二、定位生成模块问题关键指标忠实度（Faithfulness）：生成内容是否被上下文支持答案相关性：是否回答了用户问题诊断方法固定输入"完美上下文"（人工构造含答案的片段），观察模型是否仍能正确生成若仍出…

#检索归因#生成归因#RG 系统故障排查

面试题·模型微调· 字节

架构与训练怎么提升多轮一致性?

匹配正文：…示显式记忆机制短期记忆（Context Window）：最近K轮完整对话长期记忆（External Memory）：关键信息向量库（摘要、实体、用户画像）记忆写入：每轮用轻量encoder提取关键信息，更新至FAISS/HNSW索引记忆读取：当前query检索Top-N相关记忆，拼接至输入二、训练策略优化多阶段训练阶段目标数据特点预训练长文档建模书籍、长文章，4K→32K→128K渐进扩展 SFT 对话能力高质量多轮数据，平均10-20轮，含角色一…

#字节#模型微调#多轮对话一致性

面试题·模型微调· 美团

Reranker 训练数据怎么构造?

匹配正文：…确认的支持证据、可靠点击或业务结果，但点击日志必须校正位置偏置和曝光偏置。易负样本用于学习基本主题边界；难负样本应从 BM25、向量召回或旧 Reranker 的高分误召回中挖掘。难负样本必须复核假阴性，避免把实际相关文档当负样本。批内负样本也要防止不同 query 共享答案导致误标。 3. 数据切分与去泄漏按 query、文档来源、时间或用户场景切分训练集和评测集，避免同一问题改写、近重复文档或同一事件跨集合泄漏。线上日志应保留采样策略、召回器版本和曝光位置，便于重放…

#美团#重排与优化#Reranker 训练数据