匹配正文：从训练、推理和部署三层建立性能账本训练侧先 profile 参数、梯度、优化器状态、激活与通信。FSDP 会在数据并行进程间分片参数、梯度和优化器状态，用通信换每卡显存，并非只适合显存充足时使用。activation checkpointing 用反向重算换激活内存；BF16 具有与 FP32 相同数量级的指数范围，通常不需要 FP16 式 loss scaling，但仍要监控溢出和算子精度。推理侧可使用权重量化、KV Cache、PagedAttention、Flash…

#模型量化#KV Cache优化#分布式训练

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…:60-75 分钟 🎯 完成后能力:讲清一个训练好的调研 Agent 要上线扛真实流量,工程上要解决哪些问题:推理为什么慢且贵、KV Cache 和 continuous batching 怎么提吞吐、调研 Agent 特有的上线挑战,以及怎么把成本压下来 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章讲什么:推理优化、并发、降本这些是大模型应用工程师的硬通货。本章把通用原理和调研 Agent 上线特有的挑战讲清楚,面试和实战都够用。这一章你…

#Agent#Deep Research#项目实战

面试题·推理优化· 字节

KV-Cache 空间复杂度怎么算?

匹配正文：…FP16权重，后者约14 GB十进制量级。Llama-2论文中7B/13B使用MHA，70B使用GQA，不能说全系列都是GQA。优化边界 MQA/GQA：减少KV头数；质量、带宽和并行效果要按模型验证。 KV量化：降低每元素字节数，但需评估长上下文误差和反量化开销。 PagedAttention：按块管理缓存，主要减少动态请求的内存碎片并提高可调度性，不改变单条请求所需逻辑KV数量。滑动窗口/稀疏注意力：给缓存设上限，但会改变可见上下文。前缀共享与offload：分别减…

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#KV-Cache#显存优化#自回归生成

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配题目：请解释MLA（Multi-Head Latent Attention）的基本原理及其在大模型架构中的应用；同时说明KV Cache（Key-Value Cache）的作用机制及其在推理过程中的优化意义。

#MLA#KV Cache#注意力机制

面试题·推理优化· 字节

ZeRO 与 FlashAttention 各优化什么?

匹配正文：注意力瓶颈与优化路线标准稠密 self-attention 的分数计算和矩阵规模随序列长度二次增长。优化需按目标分层：精确 kernel：FlashAttention/SDPA 用 tiling、online softmax 和融合减少 HBM I/O 与辅助存储，仍计算 exact dense attention。减少 KV heads：MQA/GQA 降低解码 KV Cache 和带宽，可能改变质量/并行权衡。限制连接：滑动窗口、块稀疏或全局+局部模式减少实际计算…

#注意力优化#ZeRO#Flash Attention

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…都要「回看」前面所有 token 不加缓存时,前面每个 token 的 Key/Value 会被一遍遍重算,计算量随长度急剧膨胀 KV Cache 把已算过的 K、V 存进显存,新 token 只算自己的再与缓存拼接,典型的空间换时间代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存它是因果Transformer自回归推理中的常用优化，也是PagedAttention等缓存管理的基础；具体缓存策略依架构和框架配置。核心概念 KV Cache…

#入门#基础概念#KV Cache

面试题·推理优化· 海尔

显存优化技术原理与对比

匹配正文：…optimizer states、activations、临时 workspace/通信 buffer；推理拆成 weights、KV Cache、activations/workspace 与调度开销。谁占主导取决于参数量、优化器、序列长度、batch、精度和并行方式，不能笼统说激活永远最大。训练侧 BF16/FP16 降低权重与计算精度；FP16 常配 loss scaling，BF16 因指数范围较大通常不需要同类缩放； activation checkpointin…

#显存优化#梯度检查点#模型并行

面试题·Agent· 淘天

Agent 推理链路延迟优化策略

匹配正文：…频工具设30s-5min LLM输出缓存相似query的完整推理链语义相似度匹配，embedding检索前缀缓存多轮对话的KV Cache vLLM自动管理 3. 请求调度优化优先级队列：区分实时/异步任务，VIP用户走独立队列批量合并：相同工具的请求攒批（batch=4-8），提升GPU利用率背压机制：队列长度超阈值时快速拒绝或降级 4. 资源分配工具分级：慢工具（>500ms）单独部署，避免阻塞主链路动态扩缩容：工具服务按QPS自动伸缩，冷启动用预置实例…

#淘天#Agent#Agent 性能优化

面试题·Agent· 百度

Agent 系统性能优化陷阱

匹配正文：…on Calling的parallel模式），串行改并行流式输出（Streaming）降低首token延迟，提升用户感知执行层优化引入执行引擎（如LangGraph、LlamaIndex Workflows）管理状态机长任务拆分子Agent，分布式执行减少单点阻塞推理机制优化模型层面意图识别用小模型（Distill/SLM），复杂推理才调大模型投机解码（Speculative Decoding）、KV Cache复用加速生成常见查询走RAG缓存，避免重复推理…

#百度#Agent#Agent 性能优化

面试题·检索· 快手

RAG 延迟与准确率优化

匹配正文：…ent多轮Planning-Action循环每次LLM调用串行，工具响应不可控生成阶段长上下文导致首token延迟高长序列KV Cache计算量大，Attention复杂度O(n²) 正确率挑战与根因检索不准：向量相似度≠语义相关，用户query与文档表述gap大上下文噪声：Top-K检索结果混入无关文档，稀释有效信号多跳失败：复杂问题需跨文档推理，单轮检索覆盖不全优化思路延迟优化预检索策略：热点query缓存、用户画像预加载常用知识检索加速：向量量化(…

#快手#RAG延迟优化#RAG 延迟与准确率优化

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配正文：应用开发岗不要求推导所有公式，但必须懂模型结构到能做工程取舍：为什么 Decoder-only 成主流、KV Cache 为什么省时、GQA 为什么省显存、推理延迟怎么优化。配套教程大模型应用开发要懂哪些概念、懂到什么程度转大模型应用开发，数学和深度学习理论要补多少知识模块 Transformer、Attention 与模型结构 Transformer、Attention 与模型结构 KV Cache、批处理与推理优化 KV Cache、批处理与推理优化常见问题应…

#专题学习#Transformer 与模型架构面试题大全

面试题·推理优化

Flash Attention 原理怎么理解?

匹配口述回答：…多 token，通常最容易从融合 kernel 和少写 HBM 中获益。decode 每步只有新 token，但会读取越来越长的 KV Cache，收益还取决于 batch、GQA/MQA、量化和具体 kernel。不存在“超过 4K 一定更快”这样的通用门槛。上线时我会在目标 GPU 上固定 dtype、head dimension、mask、序列长度和 batch，对比吞吐、首 token 延迟、逐 token 延迟、峰值显存和输出误差。某些 shape 或硬件不支持时…

#Flash Attention#内存优化#注意力机制

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：推理框架要按工作负载、硬件和维护状态选型 vLLM 面向服务化高吞吐，提供连续批处理、分页 KV cache、OpenAI 兼容接口与多种并行方式，当前官方文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并通过插件扩展其他加速器。优势是生态和开发效率，限制要查具体模型、量化、硬件与版本兼容矩阵。 TensorRT-LLM 针对 NVIDIA GPU 做图、kernel、量化与 in-flight batching 优化，适合愿意承担模型转换、引…

#vLLM#TensorRT-LLM#llama.cpp

面试题·项目与经历· 商汤科技

大模型项目缺陷修复

匹配正文：…择更强切分、正则、数据增广、早停或更合适的微调范围。推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft 不是“打分模型”，收益取决于接受率、模型大小和硬件。输出不一致要先确认随机采样参数、提示模板、检索结果与工具响应是否变化。降低温度、结构化…

#过拟合#推理优化#输出稳定性

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：…点实现保证完全一致。成本以成功任务为单位计算 GPU 时间、token、检索、存储、网络、重试和人工复核，通过连续批处理、前缀/KV cache、路由、量化与 autoscaling 优化，同时做质量回归。Toolformer 是训练语言模型决定何时、如何调用 API 并利用结果的方法，不是运行时热插拔插件架构。生产工具系统仍需 schema 版本、权限、超时、幂等、沙箱、审计和回滚。

#大模型工程化#系统架构设计#推理优化

面试题·模型架构· 美团

多头注意力原理与QKV拆分陷阱

匹配正文：…spose如果产生非连续视图，后续kernel可能需要额外拷贝；训练和prefill还要关注完整注意力矩阵的中间存储，解码则更常受KV Cache带宽影响。融合QKV、FlashAttention、GQA或KV量化解决的是不同瓶颈，不能把它们都归成多头机制本身。多头比单头更有表达力的直观原因，是不同投影可以在不同表示子空间中形成不同注意力模式，再由输出投影组合。原始Transformer的消融支持多头设计有效，但不能据此断言每个头都会稳定学到语法、指代等固定功能，也没有通用…

#多头注意力#Transformer#并行计算

面试题·推理优化· 百度

视频生成加速有哪些方法?

匹配口述回答：…。视频成本可能卡在去噪步数、latent token数量、attention、模型参数、跨卡通信或解码器。先profile，后面的优化才有对应关系。第一层是采样。DDIM、DPM-Solver类方法主要改变反向过程的数值求解，目标是在更少函数评估下维持质量；LCM或consistency distillation则包含额外训练或蒸馏，让模型适应少步生成。不能把DPM-Solver++简单叫作动态跳步，也不能说少步一定更快，因为每步kernel、批大小、解码开销和质量回退都要…

#视频生成#扩散模型加速#时序建模优化

面试题·Agent· 字节

Attention 在 Agent 多轮对话有哪些局限?

匹配正文：…被挤出上下文工具调用链参数错误、重复调用已失效API 工具文档/历史结果遗忘个性化服务用户偏好"失忆" 长期画像信息稀释优化方向架构层面稀疏Attention：Longformer（全局+局部）、BigBird（随机+窗口+全局），降复杂度至O(n) 线性注意力/状态空间模型：RWKV、Mamba，以RNN式隐状态替代KV Cache，支持无限长上下文记忆增强分层记忆：工作记忆（当前上下文）+ 短期记忆（会话摘要）+ 长期记忆（向量数据库检索）显式记忆写入…

#字节#淘天#Agent

面试题·Agent· 字节

Agent 长期记忆存储结构

匹配正文：存储架构设计：三层记忆体系分层存储结构工作记忆：对话上下文，用KV Cache或滑动窗口，毫秒级访问短期记忆：当前会话的完整记录，Redis/内存，支持快速CRUD 长期记忆：跨会话的海量历史，向量数据库+图数据库混合，持久化存储混合存储方案长期记忆 = 向量存储(语义检索) + 关系数据库(结构化过滤) + 对象存储(原始对话) 检索效率优化索引层面 HNSW/IVF-PQ：亿级向量毫秒级ANN检索，内存-磁盘分层分区策略：按用户+时间窗口分片，避免全量扫描 …

#字节#蚂蚁#向量检索

面试题·评估· 高德

高并发 Agent 延迟卡在哪?

匹配口述回答：…embedding、过滤条件和租户权限；生成缓存还依赖模型、Prompt、上下文与安全策略。漏掉任一维度都可能返回过期或越权答案。KV Cache 是请求级计算状态，也要考虑不同会话之间的隔离与释放。压测不能只用等长的随机请求。应复现目标流量中的输入长度、输出长度、工具等待、热门与长尾 query、突发和故障注入，并同时观察 GPU 利用率、显存、CPU、网络、队列与错误。优化上线前设置质量和安全回归门槛，避免通过更多截断、超时或拒答换取表面延迟。最后，所有参数、阈值和方…

#高德#Agent#Agent 系统延迟优化

面试题·评估· 字节

RAG 三大瓶颈与迭代策略

匹配正文：…输出引用标记，事后校验片段是否真实支撑答案，降低幻觉拒答机制：相关性分数低于阈值时直接拒答，比胡说八道更安全三、系统效率瓶颈与优化核心问题：检索延迟高、吞吐不足、成本高索引分层：热数据HNSW内存索引、温数据磁盘索引、冷数据按需加载缓存策略：Query embedding缓存、热门问题答案缓存，命中率通常能到30-50% 异步流水线：检索与生成解耦，检索走异步批量，生成流式输出，降低TP99 量化加速：向量INT8量化、模型KV Cache优化，牺牲1-2%精度换2…

#字节#评估与监控#RAG 性能瓶颈

面试题·多模态· 美团

弱多模态+强文本模型怎么协同?

匹配正文：…不能把 0.6、0.85 等数值当作通用路由阈值。两模型答案不一致只表示需要诊断，不能仅凭语义相似度判断哪一侧正确。 3. 部署优化按图像尺寸和任务类型动态批处理，缓存同一图像或同一文档页的感知结果，并用内容哈希、模型版本和预处理版本作为缓存键。跨不同请求复用视觉 KV Cache 只有在前缀完全兼容且实现明确支持时才安全。为补充视觉调用设置预算、超时和降级路径。 4. 评测分别评估感知准确率、OCR/定位质量、观察覆盖率、答案正确性、视觉忠实度、拒答质量、延迟和成本；…

#美团#多模态#Agent

项目实战·Agent

Deep Research Agent

匹配正文：…的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习成果理解一个「执行框架 → 训练 → 评估」全链路的研究 Agent 如何设计，并能按职责、方案、证据和边界复盘。只有亲自完成并留有证据的部分，才能写进个人简历。适合谁 …

#项目实战#Deep Research Agent

求职指南·Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

匹配正文：…描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。项目描述示例负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。需要准备：模型与硬件；职责边界；部署工件。通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。逐层练习 1. ownership · ownership 简历原句是“【自己的真实项目描述】”。模型转换、vLLM 部署、网关、调度、…

#模拟面试#简历项目#连续追问