匹配正文：先区分 KV Cache 与 MLA 自回归解码第 t 步只对当前 token 新算 Query、Key 和 Value，将新的 K/V 追加到 KV Cache，再用当前 Query 对历史与当前 K/V 做注意力；直接复用的是历史 token 的 Key/Value，避免每一步重复投影历史前缀。若每个注意力头维度为 d_h，MHA 有 n_h 个 KV 头，那么单层、单 token 的 K/V 缓存元素数约为 2 n_h d_h；长度为 L 时再乘 L。GQA 将 KV …

#MLA#KV Cache#注意力机制

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…都要「回看」前面所有 token 不加缓存时,前面每个 token 的 Key/Value 会被一遍遍重算,计算量随长度急剧膨胀 KV Cache 把已算过的 K、V 存进显存,新 token 只算自己的再与缓存拼接,典型的空间换时间代价是显存:缓存随序列长度和并发数线性增长,长对话高并发下可能比模型权重还占显存它是因果Transformer自回归推理中的常用优化，也是PagedAttention等缓存管理的基础；具体缓存策略依架构和框架配置。核心概念 KV Cache…

第 1 / 3 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#入门#基础概念#KV Cache

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配正文：应用开发岗不要求推导所有公式，但必须懂模型结构到能做工程取舍：为什么 Decoder-only 成主流、KV Cache 为什么省时、GQA 为什么省显存、推理延迟怎么优化。配套教程大模型应用开发要懂哪些概念、懂到什么程度转大模型应用开发，数学和深度学习理论要补多少知识模块 Transformer、Attention 与模型结构 Transformer、Attention 与模型结构 KV Cache、批处理与推理优化 KV Cache、批处理与推理优化常见问题应…

#专题学习#Transformer 与模型架构面试题大全

面试题·推理优化· 百度

模型优化方法有哪些？

匹配正文：…32 相同数量级的指数范围，通常不需要 FP16 式 loss scaling，但仍要监控溢出和算子精度。推理侧可使用权重量化、KV Cache、PagedAttention、FlashAttention、连续批处理、speculative decoding 和并行。GQA 与 MQA 通过减少 KV 头降低缓存和带宽，它们属于模型注意力结构。已有 MHA checkpoint 不能靠服务开关无损变成 GQA/MQA；结构转换需要权重映射、继续训练或微调，并重新验证质量。 …

#模型量化#KV Cache优化#分布式训练

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…:60-75 分钟 🎯 完成后能力:讲清一个训练好的调研 Agent 要上线扛真实流量,工程上要解决哪些问题:推理为什么慢且贵、KV Cache 和 continuous batching 怎么提吞吐、调研 Agent 特有的上线挑战,以及怎么把成本压下来 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章讲什么:推理优化、并发、降本这些是大模型应用工程师的硬通货。本章把通用原理和调研 Agent 上线特有的挑战讲清楚,面试和实战都够用。这一章你…

#Agent#Deep Research#项目实战

面试题·推理优化· 字节

ZeRO 与 FlashAttention 各优化什么?

匹配正文：…BM I/O 与辅助存储，仍计算 exact dense attention。减少 KV heads：MQA/GQA 降低解码 KV Cache 和带宽，可能改变质量/并行权衡。限制连接：滑动窗口、块稀疏或全局+局部模式减少实际计算，但改变可见性，需要任务验证。近似/线性 attention：改变 attention 计算形式，以近似误差换复杂度收益。系统层：KV 量化、分页缓存、连续批处理、张量并行和算子融合优化服务效率。 FlashAttention 与 ZeRO…

#注意力优化#ZeRO#Flash Attention

面试题·推理优化

Flash Attention 原理怎么理解?

匹配正文：…和 prefill 会处理多 token 的完整注意力，通常更容易受益于融合与少写 HBM。逐 token decode 已使用 KV Cache，shape、batch、GQA/MQA、量化和 kernel 启动都会影响收益。不能设定“序列超过某长度必加速”的通用门槛；应在目标 GPU、dtype、head dimension、mask、序列长度和 batch 上测吞吐、延迟、峰值显存及数值误差，并准备不支持 shape 的回退实现。图解 Flash Attention …

#Flash Attention#内存优化#注意力机制

项目实战·Agent

Deep Research Agent

匹配正文：…的候选方案及风险验证 Loss Mask 掉 observation token 工程验证 + 评估为推理、并发与成本设计压测(KV Cache / continuous batching) 把 RACE、FACT 与 LLM-as-Judge 作为候选评测方法校验把失败样本回流到数据与策略验证学习成果理解一个「执行框架 → 训练 → 评估」全链路的研究 Agent 如何设计，并能按职责、方案、证据和边界复盘。只有亲自完成并留有证据的部分，才能写进个人简历。适合谁 …

#项目实战#Deep Research Agent

求职指南·Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

匹配正文：…层输入输出关键接口与约束如何影响设计下一步：tradeoff。配套学习：vLLM vs TensorRT-LLM 怎么选?、KV Cache 是什么?为什么能加速推理?。 4. tradeoff · tradeoff 为什么选择 vLLM 而不是 TGI、TensorRT-LLM 或直接 Transformers？并发、量化、批大小和显存利用如何取舍？考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。至少两个候选方案、真实约束与放弃原因质量、时延、开发和维…

#模拟面试#简历项目#连续追问

系统教程·AI 编程

面试高频:LLM、Token、上下文、Agent 到底是什么

匹配正文：…。面试官问「Agent 比直接调 LLM 多了什么」,答的就是这后三样。配套站内概念图:题库里 Transformer、注意力、KV Cache、RAG、Agent 等都配了示意图,看图理解更快。面试常踩的点「大模型为什么会幻觉?」→ 它是概率预测,不是知识库;不知道也会"流畅地编"。「上下文越长越好吗?」→ 不是,注意力稀释 + 成本 + 延迟,够用就好。「Token 和字符是一回事吗?」→ 不是,token 是子词,中英文切分粒度不同。关联面试题(去站内练手)…

#Agent#AI 编程

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…域客服助手语气和流程不稳定,模板约束不够 SFT/LoRA 的适用边界、数据构造高并发推理服务延迟高、显存吃紧、成本不可控 KV Cache、批处理、vLLM/SGLang 基本概念结果质量评估只能靠肉眼看,无法迭代 LLM-as-Judge、离线评估、错误分类也就是说,正确路线不是“应用岗不用懂算法”,而是“先用应用场景建立问题感,再补和场景有关的模型知识”。你会在真实问题里知道为什么要学微调、为什么要学评估、为什么要理解推理框架,这比一上来啃大而全的理论更稳。…

#求职#职业转型

系统教程·AI 编程

亲手调一次 LLM API(同步 + 流式)

匹配正文：…这些采样参数分别控制什么?」 👉 去题库搜流式 / 采样参数 / 解码策略。训练营延伸往工业级走:高并发下的推理优化(KV Cache、continuous batching)、vLLM 部署、成本与延迟权衡——是训练营工程化那条线的内容。参考资料 DeepSeek 官方首次调用与当前模型入口 Python SDK 的超时、重试与流式接口

#Agent#AI 编程

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…自动化、研发工具背景 Agent、Prompt 工程推理部署/LLMOps 让模型服务稳定、便宜、跑得快模型服务、并发、显存、KV Cache、监控、灰度后端、SRE、平台工程、基础架构背景推理优化、模型架构应用算法/微调让模型更适合某个场景数据构造、SFT/LoRA、评估、偏好数据、实验对比算法、研究生、做过训练或评估的人模型微调、RLHF 与对齐这四类不是互斥的。一个小团队里,同一个人可能既做 RAG,又写 Agent,还要管评估和部署。转行准备时可以…

#求职#职业转型

求职指南·求职

大模型岗面试流程全解:每一轮考什么、怎么准备

匹配正文：…on Calling、ReAct、失败恢复、多步编排)。微调方向:LoRA/QLoRA 原理、数据构造、灾难性遗忘。推理方向:KV Cache、量化、批处理与吞吐优化。这些在领域八股速通里按模块整理好了,题库入口在 /questions,每道题有书面答案和口语版讲法。练的重点是「能顺畅讲出来」,不是「看懂点头」——面试是口试,看懂和讲清楚之间差一个数量级。技术二面:系统设计 + 边界试探结论:二面从「你做过什么」升级到「给你个新问题你怎么从零设计」。典型题是「给你 …

#求职#职业转型

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…只考 LoRA/SFT 概念与「何时微调 vs 何时 RAG」题库「模型微调」模块的判断类真题「熟悉推理优化(vLLM、量化、KV Cache)」部署方向核心项,其他方向是加分项题库「推理优化」模块「良好的工程能力」代码能读能维护、懂接口/异步/日志/稳定性后端老本行,把它翻译成大模型系统语言「有 0-1 项目经验者优先」加分项,自建完整项目同样算数没有项目经验怎么办「发表过顶会论文者优先」纯加分项,应用岗没有它照样过忽略,别被吓退用法:对着一份具…

#求职#职业转型

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…工具调用、记忆、循环终止、失败重试 Deep Research 这类 Agent 怎么设计设计一个高并发大模型推理服务批处理、KV Cache、并发调度、显存、限流降级服务化章和推理优化题库设计一个带评估的内容审核/分类系统 Prompt 分类 vs 微调、评估指标、误报漏报权衡模型架构题库设计一个低成本的长文档摘要/问答长上下文 vs 分段检索、token 成本、缓存 RAG 系统怎么从零搭起准备策略:RAG 问答和 Agent 工作流是应用开发岗的绝对…

#求职#职业转型

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：推理框架要按工作负载、硬件和维护状态选型 vLLM 面向服务化高吞吐，提供连续批处理、分页 KV cache、OpenAI 兼容接口与多种并行方式，当前官方文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并通过插件扩展其他加速器。优势是生态和开发效率，限制要查具体模型、量化、硬件与版本兼容矩阵。 TensorRT-LLM 针对 NVIDIA GPU 做图、kernel、量化与 in-flight batching 优化，适合愿意承担模型转换、引…

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型架构· 海尔

Encoder vs Decoder 核心区别?

匹配正文：…行计算所有位置的teacher-forced loss，只是causal mask阻止未来信息；推理时才通常逐token生成并使用KV cache。因而“decoder逐token”主要描述自回归推理，不代表训练无法并行。

#Transformer#Encoder-Decoder架构#自注意力机制

面试题·模型架构· 字节

自回归生成用 token id 还是概率分布?

匹配正文：…保留多个离散分支，才需要Beam或树搜索分别维护状态。因此标准生成选择token id是与离散语言建模目标一致的工程设计，而不是KV Cache强制要求。图解自回归生成用 token id 还是概率分布?图解

#自回归生成#softmax采样#梯度传播

面试题·多模态· 小红书

主流生成式模型有哪些?

匹配正文：…amaGen不是Meta项目。 LoRA主要减少适配参数，不天然降低扩散采样步数或推理时延；U-Net扩散也不能无条件套用LLM式KV cache。选型应按质量、可控性、单次延迟、吞吐、训练稳定性和公开证据比较。

#生成模型#GAN#VAE

面试题·项目与经历· 商汤科技

大模型项目缺陷修复

匹配正文：…择更强切分、正则、数据增广、早停或更合适的微调范围。推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft 不是“打分模型”，收益取决于接受率、模型大小和硬件。输出不一致要先确认随机采样参数、提示模板、检索结果与工具响应是否变化。降低温度、结构化…

#过拟合#推理优化#输出稳定性

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：…点实现保证完全一致。成本以成功任务为单位计算 GPU 时间、token、检索、存储、网络、重试和人工复核，通过连续批处理、前缀/KV cache、路由、量化与 autoscaling 优化，同时做质量回归。Toolformer 是训练语言模型决定何时、如何调用 API 并利用结果的方法，不是运行时热插拔插件架构。生产工具系统仍需 schema 版本、权限、超时、幂等、沙箱、审计和回滚。

#大模型工程化#系统架构设计#推理优化

面试题·模型架构· 海尔

Self-Attention 怎么计算 QKV?

匹配正文：…分数存储随序列长度呈二次增长。FlashAttention减少中间矩阵的高带宽内存读写，但不改变全局attention的数学结果。KV Cache只在自回归解码中避免为历史token重复计算K/V；训练和prefill仍需处理整段输入，不能靠KV Cache消除其二次attention成本。图解 Self-Attention 怎么计算 QKV?图解

#Self-Attention#Transformer#注意力机制

KV-Cache 空间复杂度怎么算?

MLA 与 KV Cache 怎么用?

KV Cache 是什么?为什么能加速推理?

Transformer 与模型架构面试题大全

模型优化方法有哪些？

第 7 章:工程化上线:推理优化、并发与成本

ZeRO 与 FlashAttention 各优化什么?

Flash Attention 原理怎么理解?

Deep Research Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

面试高频:LLM、Token、上下文、Agent 到底是什么

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

亲手调一次 LLM API(同步 + 流式)

大模型应用开发岗一天在做什么?细分岗位画像

大模型岗面试流程全解:每一轮考什么、怎么准备

大模型岗位 JD 怎么读:招聘要求逐条拆解

大模型系统设计和编码环节怎么准备

LLM 推理框架综合选型

Encoder vs Decoder 核心区别?

自回归生成用 token id 还是概率分布?

主流生成式模型有哪些?

大模型项目缺陷修复

工程化核心目标是什么?

Self-Attention 怎么计算 QKV?