匹配正文：… 缓存命中以后，权限和知识更新怎样保证？把 ANN 参数调快了，召回质量下降怎么办？首字响应和总耗时不是一回事首字响应常用 TTFT 表示，关注从用户发出请求到看到第一个 Token 的时间。总耗时关注从请求开始到完整答案生成结束。两者会受到不同因素影响。如果前置检索很慢、模型生成很快，TTFT 很差，总答案出来后却可能迅速结束。如果前置检索很快、答案很长，TTFT 不错，总耗时仍然很长。要看清首字响应，可以先把链路拆成 Query Embedding、向量检索…

#RAG#评测与上线#RAG 首字响应

求职指南·Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

匹配正文：…：vLLM vs TensorRT-LLM 怎么选?、LLM 推理框架综合选型。 5. metrics · metrics 吞吐、TTFT、TPOT、P95、显存和单百万 token 成本如何测？输入输出长度和并发分布是什么？考察重点：核验效果数字是否有定义、基线、样本和可归因证据。吞吐、TTFT、TPOT、尾延迟、显存与 token 成本口径固定模型、硬件、长度分布和并发条件下的旧基线压测脚本、请求分布、预热、采样窗口和版本记录需要追加追问时：metric_und…

#模拟面试#简历项目#连续追问

面试题·推理优化· 百度

模型优化方法有哪些？

匹配正文：…rnel 支持、冷启动、请求调度、自动扩缩、监控和回滚。优化必须固定模型、数据、硬件、精度、输入输出长度和并发，联合比较任务质量、TTFT、TPOT、吞吐、峰值显存与成本。

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#模型量化#KV Cache优化#分布式训练

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…么 ✓ 想清一个根本落差:训练好的模型 ≠ 能上线的服务,真实流量来了要面对并发、延迟、成本、稳定性 ✓ 搞懂推理服务的关键指标(TTFT / TPOT / 吞吐 / 单次成本),以及 LLM 推理为什么天生慢且贵 ✓ 掌握两个最核心的推理优化:KV Cache(省重复计算)和 continuous batching(提 GPU 利用率,配可跑小实验) ✓ 理解调研 Agent 上线特有的挑战:一次任务几十次 LLM 调用、跑几分钟、成本随轨迹长度涨 ✓ 建立降本的整体思路:…

#Agent#Deep Research#项目实战

项目实战·RAG

第 10 章:系统评估与上线优化

匹配正文：…批量:让 Embedding、检索、生成流水线重叠执行;高并发用任务队列摊薄开销。流式输出:边生成边返回结果,可能改善首字时间(TTFT)和等待感受,但不会缩短全部生成耗时,仍需实测。工程提示:盯延迟不能只看平均值,还要看 P95 / P99。缓存、ANN、并发和流式输出都可能改善不同阶段,但不存在对所有数据规模和硬件都成立的固定收益或固定顺序。先用链路追踪找到瓶颈,再一次只改一个变量并复测。 🏆 Part 3 · 验收串题｜ ~10% 学到这一步,做几道题验证一下,…

#RAG#检索#项目实战

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…离模型和硬件排名。应固定 checkpoint、prompt/output 长度、dtype/量化、并发和质量门槛，分别测冷启动、TTFT、TPOT、吞吐、P95/P99、峰值内存与能耗。任何“固定 50ms”都缺少模型、batch、上下文与硬件前提。

#vLLM#TensorRT-LLM#推理引擎

面试题·RAG

一个可上线的 RAG 系统怎么拆？离线入库、在线问答和监控如何闭环？

匹配正文：…缓存键。性能组件不能脱离数据生命周期。监控怎样覆盖系统和答案？系统层要观察任务积压、解析失败、批量写入错误、各阶段延迟、模型 TTFT、超时、错误率、连接池、队列和资源使用。质量层要观察正确证据召回、第一条正确证据排名、无答案错误、引用是否支持陈述，以及用户反馈。 Trace 连接两层。每次请求使用一个 Trace ID，从网关一路串到 Query 处理、过滤、检索、重排、Prompt、模型和引用。线上出现错误答案时，可以先确认允许范围，再看正确证据是否进入候选，之后…

#RAG#评测与上线#RAG 系统设计

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：…t、KV cache、batch 和运行后端；“Q4 小于 2GB”没有模型规模就无意义。最终用相同模型、请求分布和 SLO 测 TTFT、TPOT、吞吐、P95/P99、峰值显存、稳定性与运维成本。图解 LLM 推理框架综合选型图解

#vLLM#TensorRT-LLM#llama.cpp

面试题·项目与经历· 百度

实习项目被追问哪些技术细节?

匹配正文：…dtype、batch、学习率、随机种子、硬件、checkpoint、评测脚本和数值稳定性。系统与部署：预处理一致性、服务拓扑、TTFT/TPOT 或 P95、吞吐、峰值内存、量化和并行、监控、回滚与故障处理。若采用依赖校准的 PTQ，需要说明代表性校准集；动态量化、QAT、显式 Q-DQ 或预量化权重等路径则要说明 scale 来源及是否需要数据。任何量化结论都应报告具体方法、权重与激活位宽、目标硬件、实际 kernel、质量回归和真实延迟。结果与反思：离线和线上口径、…

#实习项目深挖#技术细节追问#系统设计

面试题·推理优化· 京东

推理框架硬件支持对比

匹配正文：…sinks 等 token 来维持性能，不是具备鉴权、队列、伸缩和监控的完整服务框架。选型用同一权重、精度、上下文、并发和硬件测 TTFT、TPOT、E2E、吞吐、显存、错误率与运维复杂度，并注明版本日期。

#vLLM#TensorRT-LLM#llama.cpp

面试题·项目与经历· 商汤科技

大模型项目缺陷修复

匹配正文：…、权限隔离和人工升级。事实任务应回到可信证据，不能因为多次采样得到相同答案就判真。所有改进都要绑定 SLO 与质量门槛，统一测 TTFT、TPOT、吞吐、任务成功率、faithfulness 和失败切片。

#过拟合#推理优化#输出稳定性

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：…、容量规划和多租户隔离。模型输出的格式可由 schema 约束，但语义正确、工具权限和业务状态仍需权威系统校验。性能指标要分开。TTFT 是请求到首个 token，通常包含排队、网络和 prefill；TPOT 或 ITL 表示首 token 之后相邻输出 token 的平均间隔，不是整个请求延迟；E2E latency 覆盖完整请求。还要看请求吞吐、输出 token 吞吐和 P50/P95/P99，并固定输入输出长度与并发。降低 temperature 会减少采样随机性，…

#大模型工程化#系统架构设计#推理优化

面试题·推理优化· 海尔

显存优化技术原理与对比

匹配正文：…升，需配合 paged KV、最大并发、batch token 或 memory budget 控制内存。无论采用哪种方案，质量、TTFT、TPOT 与吞吐都必须一起测。不要给 checkpoint 固定节省百分比、INT4 固定精度损失或固定提速，也不要按“8 卡以下 ZeRO-2、更多 ZeRO-3”选型。先用 profiler 与公式估算，再在目标硬件上测峰值、OOM margin 和性能。图解显存优化技术原理与对比图解

#显存优化#梯度检查点#模型并行

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配正文：… 比较方案时应在同一模型质量、dtype、batch、上下文长度和硬件下报告 KV bytes/token/layer、最大并发、TTFT、TPOT 与吞吐。论文或某个模型上的压缩比不能写成所有 MLA 的固定 1/4 或 1/8。MLA 是端到端训练的架构选择，不能类比成事后有损压缩，也不能无证据断言会“压模糊关键轮次”。图解 MLA 与 KV Cache 怎么用?图解

#MLA#KV Cache#注意力机制

面试题·Agent· 高德

Tool Calling 参数格式怎么保?

匹配正文：…低延迟场景 Grammar-based（如GLLM）原生支持，无需外部库部署环境受限时优缺点：从根本上杜绝格式错误，但会增加TTFT（首token时间）和推理延迟，约5-15%开销。 2. Schema-guided生成机制：将JSON Schema编译为解码约束，字段类型、枚举值、必填项实时校验。 # 典型流程：Schema → 中间表示 → 掩码矩阵 schema = { "type": "object", "properties": { "location": …

#高德#Tool Calling 参数格式#约束解码

面试题·评估· 蚂蚁

Agent 系统哪些模块最易出问题?

匹配正文：…度取决于业务和架构，不能预设某一层永远“最高频”或“最致命”。二、分层监控层级建议指标基础设施请求率、错误率、排队时间、TTFT、总延迟、资源利用率模型调用模型版本、输入输出 token、重试、限流、结构化输出失败率、成本 Agent 运行时迭代数、状态迁移、工具成功率、超时、停止原因、人工确认率业务效果任务完成率、错误副作用、用户纠错率、满意度和单位任务成本告警阈值必须来自历史基线、SLO 和错误预算；“10 轮”或“5%”只能是经过验证后的具体配置，…

#蚂蚁#Agent#AI Agent 稳定性

面试题·评估· 字节

大模型 Agent 优缺点怎么分析?

匹配正文：…划错误会级联放大，传统RAG难以解决推理链幻觉上下文瓶颈：复杂任务超出窗口，关键信息丢失系统层面延迟与成本：多轮工具调用导致TTFT和总耗时不可控安全边界：工具权限管控、沙箱隔离、提示词注入攻击体验层面不可解释性：用户难以理解Agent"为什么这么做" 过度依赖：简单任务也走复杂规划，性价比低未来趋势与挑战方向判断 Multi-Agent协作：从单Agent到多角色分工（如MetaGPT、AutoGen），解决复杂任务分解具身智能（Embodied AI）：…

#字节#Agent#大模型 Agent 优缺点

面试题·RAG· 淘天

RAG vs 传统检索生成怎么选?

匹配正文：…幻觉显著降低，可溯源检索噪声污染（错误文档误导生成）医疗/法律问答知识实时性知识库更新即时生效，无需重训模型检索延迟影响TTFT（首token时间）电商促销信息系统灵活性同一模型适配多领域，仅换知识库领域迁移时检索-生成对齐困难多租户SaaS 可解释性生成内容可关联溯源文档知识冲突时缺乏显式消解机制金融合规四、演进意义：从"记忆"到"查阅" RAG的核心范式跃迁在于知识存储位置的转移：传统LLM：知识固化于参数（parametric memory…

#淘天#RAG信息融合#RAG与传统检索生成对比

面试题·检索· 字节

RAG架构：检索器与重排序策略

匹配正文：…检索结果显式引用、置信度阈值过滤冷启动/新文档增量索引、实时向量更新管道落地权衡延迟：按业务SLO分别测编码、检索、重排、TTFT与生成TPOT；完整回答时长受输出长度影响，不套统一500/100/400ms预算。成本：Embedding调用费用 vs 精排模型部署成本效果边界：候选漏召回限制基于该证据集的作答，但高Recall不保证忠实生成；解析、权限、重排、上下文选择与生成均会影响端到端质量，不能把生成模型当质量下限保证。参考资料 Faiss官方索引、增量与…

#字节#向量库与重排序#RAG 架构设计

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配追问：…球技术请估算 13B 模型的 FP16、INT8、INT4 裸权重大小，并分析量化元数据、运行时显存、kernel 支持、质量、TTFT、TPOT 与吞吐的条件化影响。

#模型量化#INT8/INT4#显存优化

面试题·模型架构· 海尔

Decoder-only 架构为何是主流?

匹配口述回答：…阵计算，decode 常受 KV 读取和内存带宽影响；同一个优化对两阶段的收益可能相反。因此只报端到端平均延迟不够，还应分开记录 TTFT、TPOT、batch 和上下文长度。从统一的 causal LM 目标解释主流性区分训练并行和推理串行说明 prefill、decode 与 KV Cache 纠正 FlashAttention 和复杂度误区给出 encoder-only/encoder-decoder 边界约4分钟 KV Cache 避免重复投影，但标准解码每…

#Decoder-only架构#自回归生成#因果注意力