匹配正文：…吞吐服务 PagedAttention、连续批处理、张量/流水线并行、OpenAI 兼容服务支持架构、量化和硬件能力随版本变化 TensorRT-LLM NVIDIA GPU 深度优化 TensorRT engine、in-flight batching、KV 优化、量化与多 GPU 使用自有 checkpoint/engine 工作流，可从 Hugging Face、NeMo 等来源转换，并非必须先经过 ONNX TGI Hugging Face 模型服务连续批处理、流…

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配正文：…OCm、Intel XPU、CPU，并通过插件扩展其他加速器。优势是生态和开发效率，限制要查具体模型、量化、硬件与版本兼容矩阵。 TensorRT-LLM 针对 NVIDIA GPU 做图、kernel、量化与 in-flight batching 优化，适合愿意承担模型转换、引擎构建、版本验证和硬件绑定成本的团队。当前工作流可从 Hugging Face checkpoint 转 TensorRT-LLM 模型或 checkpoint，也有高层 API；并非必须先转 ONN…

#vLLM#TensorRT-LLM#llama.cpp

面试题·推理优化· 京东

推理框架硬件支持对比

匹配正文：…x hardware 矩阵。SGLang 强调高性能 runtime、调度与前缀缓存复用，但是否更快取决于共享前缀、并发和模型。 TensorRT-LLM 面向 NVIDIA 平台，提供权重转换、模型构建、高层 API、量化和服务能力。官方工作流可从 Hugging Face checkpoint 导入或转换为 TensorRT-LLM checkpoint，再构建或使用新服务 API，并不要求先经过 ONNX。llama.cpp 使用 GGUF 与多种量化，支持 CPU、M…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

求职指南·Agent

vLLM 推理服务、吞吐、延迟与成本项目模拟面试

匹配正文：…：ownership_ambiguous → ownership-proof。下一步：design。配套学习：vLLM vs TensorRT-LLM 怎么选?。 2. ownership · ownership-proof 请用一份脱敏配置、压测报告、性能火焰图或变更记录证明你的职责和结论。考察重点：用可脱敏工件交叉验证职责，而不是继续听抽象表述。能对应到本人动作的变更、评审或设计记录本人维护的部署配置、压测报告、火焰图或容量变更记录下一步：design。配套…

#模拟面试#简历项目#连续追问

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：… 还要配合 PagedAttention(管理 KV Cache 显存)、动态 batch 大小、抢占调度等。这些 vLLM / TensorRT-LLM 已经做好了,你通常是用而不是自己写。本章帮你理解「它为你解决了什么」。 🧭 你刚才看到的,等于真实系统的什么? 你模拟的「槽位」= GPU 上同时在解码的请求位置。真实系统里,槽位数受显存(尤其 KV Cache)限制,请求长度事先不知道。但「槽位一空就补人、别让 GPU 闲着」这个核心思想,和 vLLM 的 conti…

#Agent#Deep Research#项目实战