完整题目
目前主流的大语言模型推理框架有哪些？请列举并比较它们在性能、易用性、支持硬件等方面的优缺点。
从服务形态、硬件矩阵和版本状态比较推理框架
服务端 GPU 高并发可从 vLLM 或 SGLang 建立基线。vLLM 当前官方安装文档覆盖 NVIDIA CUDA、AMD ROCm、Intel XPU、CPU，并列有 Apple Silicon 社区插件及其他硬件插件；具体模型、量化、并行和结构化输出仍要查 feature x hardware 矩阵。SGLang 强调高性能 runtime、调度与前缀缓存复用，但是否更快取决于共享前缀、并发和模型。
TensorRT-LLM 面向 NVIDIA 平台，提供权重转换、模型构建、高层 API、量化和服务能力。官方工作流可从 Hugging Face checkpoint 导入或转换为 TensorRT-LLM checkpoint，再构建或使用新服务 API，并不要求先经过 ONNX。llama.cpp 使用 GGUF 与多种量化，支持 CPU、Metal、CUDA、HIP、Vulkan、SYCL、CANN、RPC 等，适合本地、端侧和异构场景，也有 OpenAI 兼容 server。
TGI 具有 SSE 流式、连续批处理、张量并行、Prometheus 与 OpenTelemetry 等功能，但官方页面已注明 maintenance mode；不能额外宣称内置覆盖所有业务的通用安全过滤。StreamingLLM 是让注意力模型处理长流式输入的研究方法，保留 attention sinks 等 token 来维持性能，不是具备鉴权、队列、伸缩和监控的完整服务框架。选型用同一权重、精度、上下文、并发和硬件测 TTFT、TPOT、E2E、吞吐、显存、错误率与运维复杂度，并注明版本日期。
继续追问 · 3 个问题
- 你们实际项目中选型时最看重哪个指标，为什么
- 如果要在CPU上部署7B模型，你会怎么选
- vLLM的PagedAttention相比传统KV Cache有什么本质改进
换一种问法，检查是否真正理解
场景切入
假设你们要给电商客服搭一个实时问答服务，用户问完一个问题，系统要秒级响应。你打算用哪个推理框架？vLLM 还是 TensorRT-LLM？怎么选？
层层追问
现在主流的大模型推理框架你了解哪些？……比如 vLLM、TensorRT-LLM 这些，它们各自有什么特点？……如果我要部署在 CPU 上呢？
直球架构
请列举目前主流的大语言模型推理框架，并比较它们在性能、易用性、硬件支持方面的优缺点。