匹配正文：适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。教学示例：先换成自己的真实项目描述，再逐题练习。下面按面试追问顺序练习，最后用自查项补齐回答。项目描述示例负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。需要准备：模型与硬件；职责边界；部署工件。通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。逐层练习 1. 说清你的…

#模拟面试#简历项目#连续追问

面试题·Agent

Deep Research 并行任务怎么拆，依赖、尾延迟和综合成本怎样控制？

匹配正文：…能把同名对象误认为一个。时间表达也不同：“当前版本”“去年发布”“最新文档”都需要落到具体访问时间和版本。性能字段更容易出错。延迟、吞吐、准确率和成本依赖硬件、数据规模、并发、缓存和计算方式，字段名相同不代表可以横向合并。来源也要标准化。带追踪参数的同一 URL、转载页面和引用同一公告的媒体应建立来源关系，不能重复计数。因此综合器先建立实体映射、时间版本、单位口径和来源图，再处理主张。跳过这一步直接让模型“综合以下答案”，最容易生成一份语言统一、事实关系混乱的报告。 …

#Deep Research#执行框架与长任务#Deep Research 并行任务拆分

面试题·RLHF与对齐· 美团

稀疏与延迟奖励的塑形与权衡

…itioned、可重新定义 achieved goal 的 off-policy RL，不是所有长序列或 RLHF 的通用解法。延迟奖励要区分信号来源。典型 RLHF 奖励模型对完整 prompt-response 给一个序列级标量，训练中再叠加逐 token KL，并由 value function、return 或 GAE 把终局信号用于各时间步更新；这不等于奖励模型把偏好自动蒸馏成每步即时正确奖励。若有可验证中间状态，可以设计过程奖励，但需单独标注或校验其因果有效性。…

第 1 / 25 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

匹配正文：

#奖励塑形#稀疏奖励#多目标优化

面试题·模型架构· 商汤科技

幻觉一致性延迟诊断

匹配正文：…验证。ROME是对模型权重进行定向低秩更新的知识编辑方法，不是编辑单个神经元；知识频繁变化时也不宜用持续权重编辑替代可追溯检索。延迟先profile prefill、decode、检索、工具和网络阶段，再考虑KV缓存、批处理、量化、蒸馏、speculative decoding或模型路由。每项都在相同质量与硬件下测首token、逐token、吞吐和显存。修复必须配合离线回归、线上灰度、版本追踪和回滚，避免一个指标改善掩盖另一类退化。

#幻觉问题#输出一致性#推理延迟

面试题·Agent· 淘天

Agent 工具链延迟如何定位与优化？

匹配正文：…数据库或 HTTP 工具未必使用 GPU，固定 batch=4–8 没有依据；micro-batching 增加的等待也可能伤害尾延迟。 4. 资源与恢复根据瓶颈扩展模型实例、CPU/I/O 工具、连接池或外部 API 配额。自动扩缩容同时看队列、并发、处理时间和冷启动，单看 QPS 容易滞后。慢工具可隔离 bulkhead，但阈值来自测量，不是固定 500 ms。对只读调用设置有预算的重试并使用抖动退避；对写调用先查询幂等状态。超时、用户取消或页面离开要向下游传播取消。…

#Agent#延迟优化#工具调用

面试题·Agent· 阿里

RAG+Agent 延迟与准确率成因

匹配正文：核心问题分析 RAG与Agent结合时，延迟和正确率问题呈乘法放大效应——Agent的多步决策特性使RAG缺陷被反复累积。一、响应延迟的成因与优化延迟来源具体成因优化方案检索层向量库冷启动、跨地域查询、Embedding计算预加载热数据到内存；本地缓存高频Query的Embedding；采用HNSW+量化索引 Agent决策层 ReAct多轮迭代、工具调用链过长、LLM推理本身设置最大迭代阈值；并行化独立工具调用；用小模型做意图路由，大模型仅做最终生成编排开…

#阿里云#Agent#RAG Agent 延迟优化

面试题·Agent· 蚂蚁

架构设计如何保障低延迟访问？

匹配题目：…下文状态（如用户意图、对话历史、槽位信息）？在高并发场景下，如何通过架构设计（如会话存储、缓存策略、分布式锁）保障状态的一致性与低延迟访问？

#蚂蚁#Agent#多轮对话上下文管理

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配正文：… BM25 做安全的候选过滤，再用稠密检索补充语义召回；过滤规则必须通过召回回归，避免提前丢失正确文档。 HNSW 通过搜索宽度在延迟与召回间取舍；IVF 通过桶数和探测数取舍；PQ 可减少向量存储与带宽，但会引入量化误差。热点 query、embedding 和结果可以按语料与模型版本缓存；更新后必须正确失效。检索服务独立扩缩容，并记录 Recall@K、P95/P99、缓存命中和资源使用。生成阶段 continuous batching 提高 GPU 利用率，但要按…

#高德#Agent#Agent 系统延迟优化

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：答案要点延迟挑战：检索耗时、多轮调用、大模型生成慢正确率挑战：检索不准、上下文噪声、多跳推理失败根因分析：向量检索局限、长上下文稀释、工具链复杂优化思路：预检索策略、重排序、缓存机制、混合检索延迟挑战与根因瓶颈环节具体表现根因检索阶段向量库查询+重排序耗时高大规模向量ANN搜索精度-速度trade-off，跨模态检索更慢工具调用 Agent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟…

#快手#RAG延迟优化#RAG 延迟与准确率优化

面试题·检索· 快手

RAG 延迟准确率根因

匹配正文：答案要点延迟挑战的具体表现（首Token延迟、流式体验中断）及根因（检索链路长、重排序开销、大上下文处理）准确率挑战的具体表现（召回不足、噪声干扰、多跳推理失败）及根因（语义鸿沟、文档切分策略、动态知识更新滞后） Agent场景的特殊性（多轮交互累积、工具调用与检索的耦合）延迟挑战表现首Token延迟高：用户发起请求后需等待检索完成才能开始生成流式输出卡顿：检索与生成串行执行，破坏实时体验长尾超时：复杂查询触发多轮检索或重排序时超时根本原因链路级联：向量检索…

#快手#RAG延迟与准确率#RAG 延迟准确率根因

求职指南·RAG

混合检索、RRF 与重排项目模拟面试

匹配正文：适合写过混合检索、RRF 或重排的人，重点练为什么这样选、效果提升来自哪里、延迟增加多少。教学示例：先换成自己的真实项目描述，再逐题练习。下面按面试追问顺序练习，最后用自查项补齐回答。项目描述示例负责【真实检索场景】的混合召回与重排，承担【真实模块和决策】。需要准备：查询与语料场景；职责边界；候选生成与排序工件。使用【BM25、向量、RRF 或重排的真实组合】改善【真实指标】，代价为【真实时延或成本变化】。需要准备：基线；融合参数；消融结果；工程代价。逐层练习 …

#模拟面试#简历项目#连续追问

面试题·模型架构· 得物

大模型面临哪些核心挑战?

匹配正文：五类核心瓶颈训练与服务成本：预训练受算力、数据供给和通信效率约束；推理还要分别看首token延迟、逐token延迟、吞吐、显存和能耗。量化、蒸馏、并行与批处理都是条件化取舍。可靠性：模型按条件概率生成，不自带事实数据库或因果验证器。幻觉治理需要检索、工具、引用、约束输出和独立评测共同完成。长上下文：最大窗口不等于有效利用。标准全局attention随序列长度二次增长，位置外推、长文信息定位和KV缓存容量是不同问题。Ring Attention通过设备间传递K/V块实现分…

#计算效率#幻觉问题#长上下文

项目实战·RAG

第 6 章:重排(Rerank)与检索优化

匹配正文：…习时长:40-50 分钟 🎯 完成后能力:能判断何时需要重排、Cross-Encoder 提供了什么额外能力,以及怎样验证质量与延迟取舍 🔗 关联面试题:5 道(覆盖 5 个不同角度,见 Part 3) 这一章你会学到什么 ✓ 零基础也能跟着做:用一段零依赖代码,亲眼看到只数字面重合会把不能回答问题的材料说明排到前面 ✓ 理解检索后为什么可能增加重排,以及怎样用评估决定是否值得 ✓ 看懂双塔(Bi-Encoder)和交叉编码(Cross-Encoder)的本质区别及各自岗…

#RAG#检索#项目实战

面试题·RLHF与对齐· 美团

Reward 函数设计关键因素?

匹配正文：…稠密奖励。关键设计维度可验证性：能用单元测试、规则或环境结果验证时，优先使用可验证奖励；主观质量再用人工偏好模型补充。稀疏与延迟：终局奖励可配合 PRM、价值估计、n-step/GAE 或搜索，但过程奖励必须防止代理目标被利用。多目标：正确性、安全、帮助性、格式和成本应分别监控，再用有业务含义的权重、约束或分层策略组合，不能只压成一个不可解释总分。偏好异质性：基础 Bradley-Terry 模型假设共享标量效用；不同人群偏好不一致时，要把 annotator、用户…

#RLHF#Reward Model#奖励设计

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…槛 ✓ 学会测试集怎么构建(标 ground-truth、覆盖难度、人工校验) ✓ 分清检索段和生成段各自怎么评 ✓ 理解上线后的延迟优化:三层缓存、ANN、异步并发、流式输出本章按三段式组织,不同基础的读者各取所需: 段落给谁看内容占比 🚀 Part 1 · 主线实战零基础,想先跑起来概念白话 + 评估脚本 demo ~45% 🎯 Part 2 · 面试深度想讲透、备战面试五维度 + 测试集 + 分段评估 + 上线优化 ~45% 🏆 Part 3 · …

#RAG#检索#项目实战

面试题·RAG

Rerank 为什么更准，却不能对整个知识库运行？

匹配正文：…N 曲线：精确标题题可能很早饱和，口语改写、否定和多证据问题可能需要更宽候选。再把每个 N 对应的候选 Token、成对推理次数和延迟分布放在一起，才能看出“新增一批候选究竟补回了什么”。没有新增证据的候选只是成本，不应因为上下文还放得下就保留。还要避免数据泄漏。若用同一批问题反复调 Top-N、阈值和路由，再用它们宣布方案有效，结果会过度适配。至少保留一组未参与调参的问题做最终回放，并按业务重要性固定评价规则。这里不需要给出一个通用 N，只需要证明选择过程能够复现。 To…

#RAG#检索与重排#RAG Rerank

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配题目：请列举并比较主流的大语言模型推理框架（如vLLM、TensorRT-LLM、HuggingFace TGI等），从吞吐量、延迟、内存优化和支持模型类型等方面进行分析。

#vLLM#TensorRT-LLM#推理引擎

面试题·RAG

RAG 首字响应为什么慢？Embedding、检索和生成怎么逐段优化？

匹配正文：…发逐步增加负载：并发不足时，部分资源可能没有被利用；继续提高并发，也可能只是在上游形成更长排队。通过队列长度、资源使用率、吞吐与尾延迟的同步变化，才能找到拐点。检索阶段慢，先看索引还是先扩容？检索优化里常见的 ANN 索引、分区、过滤、批量查询和并发连接，解决的问题并不相同。 ANN 索引用近似搜索换取速度。HNSW、IVF 等索引都有搜索宽度和构建参数，调得更激进通常会影响召回。因此索引优化必须和固定评测集绑定。每次改变参数，都要检查正确证据是否仍进入前 K 条。查询…

#RAG#评测与上线#RAG 首字响应

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配正文：…T4。质量侧按任务分桶看准确率、困惑度、格式合规、长文本和高风险样本；性能侧记录模型加载后显存、KV每token增长、首token延迟、逐token延迟、请求吞吐、能耗和尾延迟。再扫 batch 与序列长度，画出容量和吞吐曲线。只有在固定质量门槛下仍有收益，才接受该量化配置；裸权重估算不能替代端到端profile。部署还要区分预填充和逐token解码。预填充在长prompt下可能更偏计算瓶颈，解码在小batch时更偏权重带宽；同一个INT4模型在两阶段的加速比可能完全不同。…

#模型量化#INT8/INT4#显存优化

面试题·项目与经历· 商汤科技

大模型项目缺陷修复

匹配正文：…集、独立验证集和真实流量切片，排查数据重复、泄漏、标签噪声与域偏移，再选择更强切分、正则、数据增广、早停或更合适的微调范围。推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft 不是“打分模型”，收益取决于接受率、模型大小和硬件。输出不一致要先…

#过拟合#推理优化#输出稳定性

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：…通常包含排队、网络和 prefill；TPOT 或 ITL 表示首 token 之后相邻输出 token 的平均间隔，不是整个请求延迟；E2E latency 覆盖完整请求。还要看请求吞吐、输出 token 吞吐和 P50/P95/P99，并固定输入输出长度与并发。降低 temperature 会减少采样随机性，temperature=0 也不能跨硬件、软件版本、并行调度和浮点实现保证完全一致。成本以成功任务为单位计算 GPU 时间、token、检索、存储、网络、重试和人工…

#大模型工程化#系统架构设计#推理优化

面试题·Agent· 阿里

Agent 中 RAG 瓶颈怎么破?

匹配正文：一、核心瓶颈分析 1. 检索层瓶颈延迟来源：向量检索（HNSW索引构建耗时）、重排序（Cross-encoder延迟高）、多路召回合并精度损失：Embedding语义漂移、稀疏检索（BM25）与稠密检索融合权重难调 2. 上下文层瓶颈长度限制：长文档截断导致关键信息丢失，Agent多轮后历史膨胀噪声引入：检索top-k中的低相关文档污染生成，"中间丢失"现象 3. Agent特有瓶颈决策链累积错误：ReAct循环中检索→推理→工具调用，任一环节出错级联放大状态管理…

#阿里云#Agent#Agent RAG 瓶颈

面试题·Agent· 字节

最大重试次数怎么设?

匹配正文：…务端原子保存处理中与终态结果，并定义保留期。幂等不能只靠前端禁用按钮。超时、退避和预算单次超时由端到端截止时间、连接阶段、下游延迟分布和可接受的误超时率共同确定；“重试间隔大于 2×P99”没有通用依据。使用带随机抖动的退避，限制每个请求和全局重试预算。同步请求中一旦剩余时间不足以完成下一次尝试，就立即返回可恢复状态。只在一层负责主动重试。若客户端、网关、服务和SDK各重试三次，最坏请求量会发生重试倍增。其余层传播明确的错误和剩余截止时间。熔断或降级阈值根据时间窗口、最…

#抖音#Agent#Agent 重试机制

面试题·Agent· 淘天

传统 RAG 有哪些痛点?

匹配正文：…容量参数"仅出现一次。LLM注意力被分散，回答抓不住重点。关键影响：Token浪费、推理成本上升、关键信息遗漏。 3. 知识更新延迟（Knowledge Staleness）问题本质：向量库构建周期长，无法感知实时变化。电商案例：大促期间价格/库存秒级变动，但RAG仍返回昨日缓存的"满199减30"活动信息。用户下单时发现优惠失效，体验极差。关键影响：实时性业务场景下直接不可用。优化方向简述痛点典型解法检索噪声重排序（Rerank）、多路召回融合、查询改写 …

#淘天#Agent#RAG 痛点