搜索大模型内容

面试题推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配标题与标签：…vLLM TensorRT-LLM 推理引擎吞吐量优化生产部署 2026真题 vLLM vs TensorRT-LLM 大模型推理框架对比推理框架吞吐量 LLM 推理优化系统优化与推理加速京东

#vLLM#TensorRT-LLM#推理引擎

面试题推理优化· 京东

LLM 推理框架综合选型

匹配标题与标签：…框架综合选型主流 LLM 推理框架的性能、易用性和扩展性选型推理优化 vLLM TensorRT-LLM llama.cpp 推理框架对比部署优化 2026真题 LLM 推理框架综合选型 LLM 推理框架怎么选？性能、易用性与扩展性对比 LLM 推理框架 vLLM vs TGI TensorRT-LLM 性能系统优化与推理加速京东

#vLLM#TensorRT-LLM#llama.cpp

项目实战Agent

匹配正文：…知道这个 Agent 到底做得好不好? 🏆 Part 3 · 验收串题｜ ~10% 关联面试题(5 道,覆盖 5 个角度) 【推理框架对比】比较主流的大模型推理框架(vLLM / TensorRT-LLM / HF 等)。较难 → 【KV Cache】自回归推理里 KV Cache 用来加速解码,分析它的空间复杂度。较难 → 【显存优化】训练或推理时显存不足是常见瓶颈,有哪些有效的显存优化技术? 中等 → 【量化】对 13B 模型做 INT8 / INT4 量…

vLLM vs TensorRT-LLM 怎么选?

LLM 推理框架综合选型

第 7 章:工程化上线:推理优化、并发与成本