匹配正文：…匀采样，近期密集、远期稀疏模型推理输入构造时需显式注入时间戳元信息（如[2024-01-15 09:23] 用户: ...）长上下文模型中，利用NTK-aware插值或YaRN适配时间跨度变化 RAG增强向量检索 + 时间衰减重排：score = semantic_score × exp(-λ·Δt) 避免硬过滤：保留高语义相关但较早的内容作为"背景知识" 用户体验设计渐进式遗忘：非突然截断，而是"我记得您之前问过X，但细节可能需要确认" 显式锚定：允许用户主动标记…

#蚂蚁#时间窗口对话#时间窗口对话系统

面试题·RAG

Deep Research vs RAG 怎么选?

匹配正文：…omposition）基于中间结果决定下一步检索方向多源信息整合与交叉验证典型实现：ReAct/CoT + 浏览器工具 + 长上下文整合应用场景对比 RAG适合 Deep Research适合企业内部知识库问答行业调研、竞品分析客服机器人、文档助手学术研究、投资尽调医疗/法律条文查询需要多源交叉验证的复杂决策优缺点 RAG ✅ 成本低、延迟可控、结果稳定 ❌ 无法处理需要多跳推理的开放问题 Deep Research ✅ 信息覆盖全、推理深度强、可溯源 …

#Deep Research#RAG#Deep Research vs RAG

面试题·检索· 百度

RAG 瓶颈在哪一步

匹配正文：… 命中率提升20%+，但改写增加1次LLM调用成本瓶颈3：上下文噪声干扰生成质量根因： Chunk切分破坏语义、无关文档混入、长上下文稀释注意力优化方案：精排策略：交叉编码器（Cross-Encoder）重排；LLM-as-Reranker（小模型打分）上下文压缩：检索结果摘要压缩；动态截断（按相关性加权）生成增强：引用标注训练（让模型明确依据）；拒绝回答机制（低置信度时触发）影响：答案准确率提升，但重排增加50-100ms延迟瓶颈4：系统级权衡优化…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#百度#重排与优化#RAG 系统瓶颈

面试题·检索· 字节

RAG 系统迭代优化方向有哪些?

匹配正文：…压缩：LLMLingua选择性压缩、重排序后截断关键片段多文档处理：去重合并、按相关性加权融合、构建结构化上下文（表格/树状）长上下文利用：Lost in Middle问题缓解，关键信息放首尾生成环节优化 Prompt工程：明确引用格式要求、 few-shot示例引导结构化输出生成增强：Self-RAG（生成时自检索验证）、RAG-Fusion（多查询结果融合生成）后处理验证：答案与检索片段的事实一致性校验、置信度打分过滤系统级迭代离线评估：构建领域评测集，端到…

#字节#RAG迭代优化#RAG 优化

面试题·检索· 字节

RAG 为何还要重排?

匹配正文：…但实际无关的文档，减少幻觉提升相关性：确保送入LLM的上下文高度契合用户意图优化Token效率：重排后取Top-3即可，避免冗长上下文稀释注意力典型方案轻量：Cross-Encoder（如BGE-Reranker）高效：ColBERT（延迟交互，平衡速度与精度）重火力：LLM-as-Reranker（直接用大模型打分，成本高但效果最佳）实际部署中，重排是性价比极高的优化点——少量延迟换取显著生成质量提升。学习建议建议系统学习该知识点

#字节#重排与优化#RAG 重排

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：答案要点延迟挑战：检索耗时、多轮调用、大模型生成慢正确率挑战：检索不准、上下文噪声、多跳推理失败根因分析：向量检索局限、长上下文稀释、工具链复杂优化思路：预检索策略、重排序、缓存机制、混合检索延迟挑战与根因瓶颈环节具体表现根因检索阶段向量库查询+重排序耗时高大规模向量ANN搜索精度-速度trade-off，跨模态检索更慢工具调用 Agent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· 快手

RAG 延迟准确率根因

匹配正文：…各环节串行叠加重排序瓶颈：Cross-encoder精度高但延迟大（百毫秒级），成为关键路径上下文膨胀：检索Top-K文档后，长上下文导致Prefill阶段计算量激增准确率挑战表现召回不足：用户问题与文档语义不匹配，漏掉关键信息噪声干扰：检索到相关但非答案的片段，导致生成 hallucination 多跳失败：需要跨文档推理时，单轮检索无法覆盖根本原因语义鸿沟：Query与Document的embedding空间不对齐（如用户口语化 vs 文档正式化）切分策…

#快手#RAG延迟与准确率#RAG 延迟准确率根因

面试题·检索· 百度

RAG 工作原理与核心组件

匹配正文：…不知道" 关键优化点环节优化手段检索质量查询改写（HyDE）、多路召回、重排序（Cross-Encoder）上下文利用长上下文压缩、信息去重、相关性过滤端到端 Self-RAG（模型自主判断是否需要检索）、RAG-Fusion 一句话总结 RAG的本质是用检索代替记忆，让大模型基于外部实时知识生成，解决知识时效性和幻觉问题。

#百度#RAG核心组件#RAG 工作原理

面试题·检索· 字节

RAG 核心实现原理是什么?

匹配正文：…延迟重排序(Rerank) 精排优化检索结果 Cross-Encoder模型，提升Top-K相关性大模型最终答案生成需具备长上下文理解和指令遵循能力典型架构演进 Naive RAG（基础版） Query → 向量检索 → 直接拼接Prompt → LLM生成问题：检索质量差、上下文冗长、生成不可控 Advanced RAG（生产常用） Query → 路由判断 → 多路检索(向量+关键词+图谱) → Rerank精排 → 上下文压缩/摘要 → LLM生成增强点：…

#字节#RAG实现原理#RAG 实现原理

面试题·检索· 字节

两阶段 vs 端到端怎么选?

匹配正文：…索缩小范围对事实准确性要求高（医疗、法律、金融），需要可追溯来源需要可解释性，能展示"参考了哪些资料" 预算有限，无法承担全量长上下文推理成本选端到端生成的场景：知识库规模小，可直接塞进上下文（<100k tokens）对延迟极度敏感（实时对话场景）任务偏向创意生成而非事实问答有强基座模型（GPT-4级）且幻觉可控关键权衡两阶段的隐性成本：召回-精排之间的信息损失（多轮过滤丢信息）系统复杂度指数上升（索引维护、版本对齐）端到端的隐性风险：参数知识污染…

#字节#两阶段检索与端到端生成#两阶段检索

面经·项目面试

SFT 样本有答案，训练目标却可能被截掉

匹配正文：…长度、保留的答案位置数量，以及答案是否完整。对于零监督行，先定位原因，再决定修复还是排除。直接删掉所有长样本虽然省事，却可能把需要长上下文的任务一起从训练分布中拿走。逐行诊断最好能回到原始记录。只报一个最小值，下一次换了数据顺序就不容易重现；把样本标识与裁切前后的目标区间一起保存，才能确认同一条记录在调整前后发生了什么。训练集和验证集都应按各自的处理结果检查，一边存在目标，不能替另一边担保。这里也不能只盯最小值。即便每条数量都大于0，前面那个只剩一个答案位置的样本仍然可能…

#SFT#数据处理#截断

面试题·推理优化

Flash Attention 原理怎么理解?

匹配追问：Flash Attention v2相比v1做了哪些关键优化 Flash Attention在超长上下文（如1M tokens）时还有什么局限与Sparse Attention、Linear Attention的取舍场景是什么场景切入假设现在要为一个超长上下文 Transformer 优化注意力，显存主要耗在注意力中间矩阵。你会怎样用分块和 online softmax 减少 HBM 读写？哪些硬件与张量条件会影响收益？层层追问标准 Attention 的内存瓶颈在…

#Flash Attention#内存优化#注意力机制

面试题·推理优化· 百度

模型优化方法有哪些？

匹配口述回答：…权重形状和训练过程。把任意 MHA checkpoint 的 K/V 权重简单平均，可能损失质量；可行的转换方案也需要继续训练并在长上下文、困惑度和任务集上回归。因此服务框架支持 GQA，不等于任何模型都能临时开启。部署还包括模型加载、编译缓存、健康检查、队列、限流、自动扩缩和回滚。应固定 checkpoint、dtype、量化方式、batch、上下文与生成长度，记录冷启动、P50/P95 TTFT、TPOT、tokens/s、最大并发、峰值显存和目标任务质量。若吞吐提高却…

#模型量化#KV Cache优化#分布式训练

面试题·模型架构· OPPO

CNN/RNN/Transformer 怎么选?

匹配口述回答：…并借助位置编码表达顺序。它便于训练阶段按序列位置并行，已经广泛用于语言、视觉和多模态。标准全注意力随序列变长开销近似二次增长，所以长上下文还要考虑滑窗、稀疏注意力、缓存或其他变体。工程选型不能写成 CNN、RNN、Transformer 的固定排行榜。我会在同一数据和硬件上比较质量、吞吐、尾延迟、显存和开发复杂度；需要时也会组合局部卷积、递归状态与注意力。例如做端侧声学识别时，我会把流式首包延迟、峰值内存和弱网功耗加入基准，而不只看离线准确率；若换成注意力模型，还要验证上下…

#CNN#RNN#Transformer

面试题·评估· 百度

自动 vs 人工评价怎么选?

匹配口述回答：…PII、越狱和内容安全分类器可以批量扫描，效果取决于训练域与阈值。groundedness 分类器可比较答案和来源文本，但也可能被长上下文、否定和领域术语误导。【完整展开】 execution-based 评测在可验证任务上很有价值。代码生成可运行隔离的单元测试，SQL 可在固定数据库执行，数学或工具任务可检查最终结构化结果。它能直接测功能正确性，但隐藏测试不充分时会漏掉边界错误，沙箱、超时和副作用也必须控制。model-as-judge 能按 rubric 比较开放回答，…

#BLEU#ROUGE#BERTScore

面试题·推理优化· 海尔

显存优化技术原理与对比

匹配追问：…存的，它的代价是什么？……那如果模型太大单卡放不下呢，你会考虑模型并行还是ZeRO？两者怎么选？……推理阶段显存瓶颈又不一样，比如长上下文时KV Cache会暴涨，你有什么优化手段？直球架构列举并解释大模型训练和推理中常见的显存优化技术，包括梯度检查点、模型并行、量化、ZeRO等。说清楚每种技术的原理、节省显存的效果以及各自的适用场景和trade-off。

#显存优化#梯度检查点#模型并行

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配追问：…构解释一下MLA的原理，它和标准MHA在KV缓存上有什么区别？再结合KV Cache说一下MLA为什么能节省显存，以及它在大模型长上下文推理中的优化意义。

#MLA#KV Cache#注意力机制

面试题·推理优化· 字节

ZeRO 与 FlashAttention 各优化什么?

匹配追问：…存还是不够，除了ZeRO还有哪些手段（Offload、Activation Checkpointing等）场景切入假设训练一个长上下文模型时同时遇到模型状态显存不足和 attention 中间张量过大。你会怎样分别使用 ZeRO 与 FlashAttention，并用哪些指标确认两者各自解决了什么瓶颈？层层追问标准注意力的主要计算和存储瓶颈是什么？……FlashAttention 如何通过 tiling 与 online softmax 降低 HBM I/O？……Ze…

#注意力优化#ZeRO#Flash Attention

面试题·Agent· 字节

多轮对话上下文遗忘怎么解?

匹配口述回答：…缩策略。这个方向我觉得挺有潜力的，但复杂度也上来了。所以整体上，我更倾向于把多轮对话的问题看成记忆和状态的管理问题，而不是单纯堆长上下文。架构上记忆模块和分层注意力打底，再根据场景需求叠对话状态追踪或角色嵌入，这样既稳又能灵活扩展。问题本质：长序列下的记忆与状态管理上下文遗忘的成因与记忆模块方案指代不清与对话状态追踪一致性缺失与角色嵌入落地组合与风险控制约4分钟记忆模块与Agent结合，让模型自主决定存储时机这个延伸点会引向面试官追问：如何让模型自主决定记忆…

#字节#Agent#多轮对话上下文遗忘

面试题·文档处理· 京东

RAG 分块策略选型

匹配口述回答：…给每个块打上“退款政策”“退货条件”等标签，检索时直接过滤到对应标签，精度高很多。但这里有个坑：如果embedding模型不支持长上下文，语义分块可能不准。我的前提是先确认Embedding模型的实际输入限制，再比较结构分块、固定长度和不同重叠窗口。上线后应把Recall@K与项目基线、证据完整率和成本一起看，不能套用统一阈值。所以我的取舍是：先按文档结构和查询类型提出固定长度、结构分块、语义分块与不同重叠窗口候选，再用评测结果决定。但不管哪种，都得匹配embedding…

#京东#RAG 分块策略选型#RAG 文本分块策略怎么选？完整性与检索精度权衡

面试题·文档处理· 安克科技

RAG向量化：分块与Embedding

匹配口述回答：…，最后按相关性阈值过滤。这个流程在电商场景里做满减政策检索，效果很稳。这里有个延伸点：分块策略和嵌入模型其实是耦合的。比如你用了长上下文模型，分块可以更大，但检索精度可能会因为噪声增加而下降。怎么调这个平衡，我觉得要看具体业务对召回率和准确率的要求。落地风险方面，我特别关注三点：一是分块不合理导致检索结果碎片化；二是嵌入模型和业务语言不匹配，比如金融术语通用模型没学好；三是阈值设置太严或太松，影响用户体验。上线前我会用一批真实query回放，对比Recall@K和延迟，通…

#安克科技#RAG 向量化#Embedding 模型

面试题·文档处理· 安克科技

RAG 文档怎么存储和向量化?

匹配口述回答：…收尾可延伸点约4分钟分块长度与嵌入模型上下文长度的匹配对召回效果的影响面试官可能会追问如何做A/B测试来定最优参数，或者讨论长上下文模型是否意味着可以不用分块

#安克科技#评估与监控#RAG 文档向量化

面试题·评估· 美团

Coding vs GUI vs Search 谁先落地?

匹配口述回答：…arch有幻觉判断：Coding短期最靠谱，但实际落地常Coding+Search组合约4分钟编程能力大规模落地还依赖模型的长上下文能力来处理代码库依赖关系面试官可能会追问长上下文对模型架构和推理成本的具体影响，以及当前主流方案（如RoPE、Sliding Window）的优缺点

#美团#Agent#Agent 能力对比

面试题·Prompt· 百度

Prompt 工程最佳实践有哪些?

匹配口述回答：…态示例、A/B测试收尾+可延伸点：ReAct模式下的工具描述粒度约90秒 ReAct模式下工具描述粒度要分层，关键指令前置避免长上下文失效追问会涉及如何设计工具描述、如何处理长上下文、ReAct与Function Calling的区别

#百度#Prompt工程#Prompt 工程实践