匹配正文：…示例负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。需要准备：模型与硬件；职责边界；部署工件。通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。逐层练习 1. ownership · ownership 简历原句是“【自己的真实项目描述】”。模型转换、vLLM 部署、网关、调度、压测和容量规划分别由谁负责？考察重点：核验项目所有权，避免把团队或平…

#模拟面试#简历项目#连续追问

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：框架比较必须以当前官方支持矩阵为准框架主要定位典型能力需要注意 vLLM GPU/多后端高吞吐服务 PagedAttention、连续批处理、张量/流水线并行、OpenAI 兼容服务支持架构、量化和硬件能力随版本变化 TensorRT-LLM NVIDIA GPU 深度优化 TensorRT engine、in-flight batching、KV 优化、量化与多 GPU 使用自有 checkpoint/engine 工作流，可从 Hugging Face、NeMo…

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：推理框架要按工作负载、硬件和维护状态选型 vLLM 面向服务化高吞吐，提供连续批处理、分页 KV cache、OpenAI 兼容接口与多种并行方式，当前官方文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并通过插件扩展其他加速器。优势是生态和开发效率，限制要查具体模型、量化、硬件与版本兼容矩阵。 TensorRT-LLM 针对 NVIDIA GPU 做图、kernel、量化与 in-flight batching 优化，适合愿意承担模型转换、引…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

面试题·推理优化· 京东

推理框架硬件支持对比

匹配正文：从服务形态、硬件矩阵和版本状态比较推理框架服务端 GPU 高并发可从 vLLM 或 SGLang 建立基线。vLLM 当前官方安装文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并列有 Apple Silicon 社区插件及其他硬件插件；具体模型、量化、并行和结构化输出仍要查 feature x hardware 矩阵。SGLang 强调高性能 runtime、调度与前缀缓存复用，但是否更快取决于共享前缀、并发和模型。 TensorRT-LL…

#vLLM#TensorRT-LLM#llama.cpp

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…定,模板约束不够 SFT/LoRA 的适用边界、数据构造高并发推理服务延迟高、显存吃紧、成本不可控 KV Cache、批处理、vLLM/SGLang 基本概念结果质量评估只能靠肉眼看,无法迭代 LLM-as-Judge、离线评估、错误分类也就是说,正确路线不是“应用岗不用懂算法”,而是“先用应用场景建立问题感,再补和场景有关的模型知识”。你会在真实问题里知道为什么要学微调、为什么要学评估、为什么要理解推理框架,这比一上来啃大而全的理论更稳。两条路的天花板都不低,差…

#求职#职业转型

系统教程·AI 编程

亲手调一次 LLM API(同步 + 流式)

匹配正文：…采样参数 / 解码策略。训练营延伸往工业级走:高并发下的推理优化(KV Cache、continuous batching)、vLLM 部署、成本与延迟权衡——是训练营工程化那条线的内容。参考资料 DeepSeek 官方首次调用与当前模型入口 Python SDK 的超时、重试与流式接口

#Agent#AI 编程

求职指南·求职

大模型应用开发岗一天在做什么?细分岗位画像

匹配正文：…型服务的交叉岗位。它关心的是“模型已经选好了,怎么让它稳定、可观测、可扩展地服务业务”。常见任务包括: 选择模型服务框架,理解 vLLM、SGLang、Triton 等工具的基本取舍。控制显存和吞吐,理解 KV Cache、batching、并发、上下文长度对成本的影响。做灰度、监控、日志、告警、限流、熔断。对不同业务设置模型路由,平衡质量、延迟和成本。和 RAG/Agent 团队一起定位线上质量问题。后端和 SRE 背景在这个方向很有优势,但也要补模型推理直觉。…

#求职#职业转型

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…7% 浪费)。continuous batching 一旦某个请求生成完,立刻把排队的下一个塞进空槽,GPU 几乎不闲着。这就是 vLLM 这类推理框架能把吞吐拉高几倍的核心机制之一。 🐛 跑不通看这里:纯标准库,不该报错。这是简化模型(忽略了 prefill 阶段、显存对 batch 大小的限制),只为让你看清「为什么不能让槽位空等」这个直觉。 📌 说清楚:这是简化模型。真实的 continuous batching 还要配合 PagedAttention(管理 KV …

#Agent#Deep Research#项目实战

求职指南·求职

大模型岗位 JD 怎么读:招聘要求逐条拆解

匹配正文：…调」应用岗通常只考 LoRA/SFT 概念与「何时微调 vs 何时 RAG」题库「模型微调」模块的判断类真题「熟悉推理优化(vLLM、量化、KV Cache)」部署方向核心项,其他方向是加分项题库「推理优化」模块「良好的工程能力」代码能读能维护、懂接口/异步/日志/稳定性后端老本行,把它翻译成大模型系统语言「有 0-1 项目经验者优先」加分项,自建完整项目同样算数没有项目经验怎么办「发表过顶会论文者优先」纯加分项,应用岗没有它照样过忽略,别被吓退 …

#求职#职业转型

求职指南·求职

转行大模型应用开发常见问题(FAQ)

匹配正文：…n 吗?我只会 Java,能用吗? 需要会 Python,但不需要精通,Java 能力本身不浪费。大模型生态(LangChain、vLLM、各家 SDK)以 Python 为主,你面试和做项目绕不开它,但对一个有工程底子的人这是两周左右能上手的事(经验值),不是门槛。真正稀缺的是你的服务化、并发、稳定性、数据管线能力,这些用哪门语言练出来的都算数。Python 该学哪几块、学到什么深度不踩坑,见转大模型要把 Python 学到什么程度。先学 RAG 还是先学 Agent? …

#求职#职业转型

面试题·模型训练· 美团

批量文本清洗如何自动质检?

匹配正文：…afka 低延迟、exactly-once 复杂文本解析 Python + Dask/Ray 生态丰富，易定制规则质量模型推理 vLLM/TGI批量服务 GPU加速，吞吐优先四、效果评估体系量化指标：清洗率 = 过滤数据量 / 原始数据量误伤率 = 人工抽检中"好数据被删"占比残留风险 = 敏感信息检出率（目标>99.9%）验证机制：自动采样：每批次随机抽1000条人工复核 A/B回灌：清洗前后数据各训一个小模型对比下游任务规则覆盖度：定期用新样本测试规则盲…

#数据清洗#数据预处理#数据流水线

面试题·Agent· 淘天

Agent 推理链路延迟优化策略

匹配正文：…min LLM输出缓存相似query的完整推理链语义相似度匹配，embedding检索前缀缓存多轮对话的KV Cache vLLM自动管理 3. 请求调度优化优先级队列：区分实时/异步任务，VIP用户走独立队列批量合并：相同工具的请求攒批（batch=4-8），提升GPU利用率背压机制：队列长度超阈值时快速拒绝或降级 4. 资源分配工具分级：慢工具（>500ms）单独部署，避免阻塞主链路动态扩缩容：工具服务按QPS自动伸缩，冷启动用预置实例专用资源池：高频…

#淘天#Agent#Agent 性能优化

面试题·Agent· 小红书

长序列行为数据怎么处理?

匹配正文：…对固定历史前缀预计算并缓存，避免重复编码稀疏注意力：Longformer/BigBird模式，降低O(n^2)复杂度分页调度：vLLM的PagedAttention思想，动态分配显存四、小红书场景的特殊考量多模态行为：图文/视频浏览需统一embedding空间实时性：新发布笔记需在分钟级进入用户记忆负信号：曝光未点击同样重要，需设计负样本选择策略最终方案往往是混合架构：短期用滑动窗口保证实时性，长期用向量检索+摘要压缩控制成本。学习建议建议系统学习该知识点

#小红书#Agent#长序列行为数据

面试题·评估· 得物

Agent部署关键环节与陷阱

匹配正文：答案要点模型服务化方案选型（vLLM/TGI/自研）与性能优化工具注册发现机制与Schema约束多轮对话状态持久化与Token预算管理任务调度策略（串行/并行/ReAct循环）全链路可观测性（延迟/成功率/成本）降级熔断与重试策略设计 1. 模型服务化层推理引擎：推荐vLLM（PagedAttention+Continuous Batching）或自研，首Token延迟<200ms，吞吐>1000 token/s 部署形态：多副本+负载均衡，GPU与CPU分离部…

#得物#Agent#Agent 系统部署

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…于是决定了能同时服务多少用户、每人能聊多长——这正是大模型推理服务贵在显存的重要原因入门后可深入 PagedAttention(vLLM 的分页式缓存管理)、GQA/MQA(从架构上减少 KV 头数)以及 KV Cache 量化。参考资料 Transformers官方缓存原理

#入门#基础概念#KV Cache

面试题·Prompt· 阿里

JSON 输出怎么保证格式稳定?

匹配正文：…、枚举、嵌套与schema关键字依实现而定。约束不保证标签判断或字段事实正确。代表：Outlines（灵活）、XGrammar（vLLM集成，高性能） 3. 自研约束（基于logits processor）以下为接口草图，省略基类、解析器与token掩码实现，不能直接运行： # 核心思路：每步解码时，根据已生成前缀+schema，计算合法token集合 class JSONLogitsProcessor(LogitsProcessor): def __call__(sel…

#阿里云#Prompt工程#JSON 格式输出

面试题·RAG

LLM 封闭标签方法对比

匹配正文：…I 官方：JSON mode、strict schema 与拒绝/截断边界 XGrammar 原论文：token 边界与文法约束 vLLM 官方结构化输出接口 Transformers 官方 KV Cache 原理

#封闭集合分类#约束解码#LLM 封闭标签方法对比