匹配口述回答：…TPOT、吞吐、尾延迟与内存。【90秒主答】 vLLM 的强项是面向在线生成的内存管理与调度。PagedAttention 把 KV Cache 按块管理，连续批处理在请求结束后补入新请求，配合张量并行和 OpenAI 兼容接口，适合动态长度、高并发的服务。实际支持取决于模型架构、attention 形式、量化格式和设备后端，看到“兼容 Transformers”不代表每个自定义算子都能走最优 kernel。 TensorRT-LLM 更贴近 NVIDIA 软件栈。常见流程…

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配追问：…WQ、GGUF等方案的核心区别是什么实际部署中如何确定最优的量化配置，有没有自动化搜索的方法量化对长上下文场景（如32K+）的KV Cache压力缓解具体有多大收益场景切入假设现在要把一个 13B 模型部署到显存受限的单卡环境，考虑 INT8 或 INT4。你会怎样估算容量，并在明确质量门槛下验证能否上线？层层追问只算裸权重时 FP16、INT8、INT4 各多大？……scale、zero point、激活、KV 和缓冲还占什么？……权重缩小为何不保证延迟或吞吐同…

#模型量化#INT8/INT4#显存优化

面试题·推理优化· 京东

推理框架硬件支持对比

匹配追问：…们实际项目中选型时最看重哪个指标，为什么如果要在CPU上部署7B模型，你会怎么选 vLLM的PagedAttention相比传统KV Cache有什么本质改进场景切入假设你们要给电商客服搭一个实时问答服务，用户问完一个问题，系统要秒级响应。你打算用哪个推理框架？vLLM 还是 TensorRT-LLM？怎么选？层层追问现在主流的大模型推理框架你了解哪些？……比如 vLLM、TensorRT-LLM 这些，它们各自有什么特点？……如果我要部署在 CPU 上呢？直球架…

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型架构· 美团

Transformer 架构核心组件原理

匹配口述回答：…、causal mask和cross-attention mask也要按各自语义组合，不能用一个“掩码”笼统带过。工程实现还需考虑KV cache、算子融合和并行切分。输出层通常把decoder隐藏状态投影到词表logit，输入embedding与输出权重可以共享，但并非所有实现都必须共享。训练还要用目标padding mask排除无效loss。讲整体架构时把表示层、堆叠块和任务头分开，才能避免把某个现代模型的具体选择误当成Transformer定义。从原始encoder…

#Transformer#自注意力机制#位置编码

面试题·项目与经历· 美团

面试反问环节怎么准备?

匹配口述回答：…ation]]。再一个，大模型在智能客服或推荐解释场景里，最大的技术瓶颈我觉得不是推理成本，而是效果稳定性。推理成本可以通过[[KV Cache]]、模型量化来压，但效果波动，比如同一个问题今天答对明天答错，对用户体验伤害很大。所以我会更关注线上[[RAGAS]]指标和bad case追踪，确保每个版本上线前有足够的回归测试。团队协作方面，我想了解算法和工程的协作模式。比如模型上线后的A/B实验和监控体系怎么设计？是算法团队自己写服务，还是交给工程团队封装？我最怕的是模型…

#面试技巧#职业规划#团队文化

面试题·模型架构· 京东

位置编码怎么选? RoPE vs ALiBi

匹配口述回答：…否比 RoPE 好要看任务和训练设置。工程选型时，我会先确定训练长度与目标长度，再看模型是否需要兼容已有 checkpoint、KV Cache 和 kernel，最后用长文本困惑度、needle retrieval、多跳问答和真实生成任务验证。还要避免拿未核实的模型做例子，比如 ChatGLM-6B 讨论的是二维 RoPE 语境，不应当被列成 ALiBi 代表。验证长上下文时也不能只看一个 needle 命中率。我会同时检查短上下文能力是否回退、不同相对距离上的注意力、…

#位置编码#RoPE#相对位置编码

面试题·Agent· 小红书

生成式推荐系统有哪些改进方向？

匹配口述回答：…coder]] 把 Top-K 再精排一遍。另一个是延迟，Agent 多轮对话加 RAG 检索，整体响应时间很容易超标，得做 [[KV Cache]] 和投机采样来优化。还有一个点值得深入，就是生成的推荐理由只能算待核验数据，不能天然当高质量样本；需验证依据与反馈，再研究是否适合训练。Self-RAG需要专门的检索与反思训练机制，不能等同于把未点击理由直接回流。这个数据飞轮怎么设计，我觉得挺有意思。所以总的来说，我会把生成式推荐看成一种生成加判别协同的系统，而不是单一的…

#小红书#Agent#生成式推荐系统

面试题·模型架构

上下文窗口是什么?超了怎么办?

匹配口述回答：…注意力计算量随长度平方增长，长度翻倍计算量翻四倍；二是位置编码只在训练长度内可靠，超了模型对位置关系就没概念了；三是推理时的 [[KV Cache]] 显存随长度线性增长，窗口越大越吃显存。超窗后模型不会报错，而是最早的内容被截断，表现为忘了前面说过的话。应对方案我分三类讲。截断最简单，直接丢掉最早的内容，但关键信息可能被丢，用户感觉失忆。摘要压缩是把久远内容总结成短摘要放回上下文，保留主干但细节会丢，而且摘要本身也要耗一次模型调用。[[RAG]] 是把长资料[[切块]]存…

#入门#基础概念#上下文窗口

面试题·多模态· 快手

多模态 RAG 与传统 RAG 差异在哪?

匹配口述回答：…一张产品图配的文案是营销话术，直接拼接会引入噪声。第三是上下文长度，一帧高清图可能顶几百个token，多帧视频更夸张，容易触发[[KV Cache]]瓶颈。业务场景很典型。比如电商客服，用户上传一张商品破损的照片，系统能检索到类似案例的图片和解决方案文本，然后生成回复，比纯文本RAG准确得多。医疗诊断也是，CT影像加病历文本一起检索，辅助医生写报告。工业质检里，视频流的关键帧检索可以快速定位历史故障记录。不过这类系统落地有个前提：数据质量必须够高。如果图片模糊、标注不准，…

#快手#多模态#多模态 RAG

面试题·Prompt· 百度

LLM Agent组件有哪些功能?

匹配口述回答：…忆模块。很多人以为记忆就是存对话历史，其实分短期和长期。短期就是当前会话上下文，靠 [[Sliding Window]] 或 [[KV Cache]] 控制长度；长期用来跨会话复用知识，比如用户偏好、历史工单，通常用 [[Vector Database]] 存。但落地时有个常见坑：长期记忆的召回精度不够。如果只靠向量相似度，经常召不回真正关键的信息。我一般会结合关键词和结构化标签做 [[Hybrid Search]]，先过滤再排序。另外，记忆更新时机也很关键，是每次对话结束都…

#百度#Agent#Agent 系统组件

面试题·检索· 快手

LLM怎么融入推荐系统？序列建模与排序

匹配口述回答：…合线上高并发场景。真正落地时最大的挑战是延迟和实时性。线上排序要求百毫秒级，LLM推理动辄秒级，所以得做[[蒸馏]]、量化、[[KV Cache]]加速。还有实时性，用户刚点了一个物品，LLM的状态怎么快速更新？我倾向离线预计算物品语义和用户长期画像，在线模型只做轻量更新，这样平衡效果和效率。如果条件不满足，比如硬件资源不够，强行上LLM反而会导致超时率飙升，得不偿失。其实还有一个方向我最近比较关注，就是怎么让LLM直接做序列推荐，而不是只当特征提取器。比如用LLM生成下…

#快手#LLM推荐架构#LLM 推荐系统