匹配正文：…力。TGI 提供流式输出、连续批处理、张量并行和监控，但官方文档已标为 maintenance mode，新项目需考虑维护风险。 llama.cpp 不只是 Llama 或 CPU 小模型。官方项目列出 CUDA、HIP、Metal、Vulkan、SYCL、CANN、OpenCL、RPC 等后端，支持 CPU+GPU 混合、量化和服务端。是否适合多 GPU 或分布式要按 backend、模型和拓扑压测，不能笼统说 GPU 与分布式支持弱。内存也必须绑定参数量、GGUF 量化格…

#vLLM#TensorRT-LLM#llama.cpp

面试题·推理优化· 京东

推理框架硬件支持对比

匹配正文：…kpoint 导入或转换为 TensorRT-LLM checkpoint，再构建或使用新服务 API，并不要求先经过 ONNX。llama.cpp 使用 GGUF 与多种量化，支持 CPU、Metal、CUDA、HIP、Vulkan、SYCL、CANN、RPC 等，适合本地、端侧和异构场景，也有 OpenAI 兼容 server。 TGI 具有 SSE 流式、连续批处理、张量并行、Prometheus 与 OpenTelemetry 等功能，但官方页面已注明 mainten…

#vLLM#TensorRT-LLM#llama.cpp

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配正文：…务连续批处理、流式输出、张量并行、量化和监控官方文档当前标注为 maintenance mode，选型前应确认维护与后端支持 llama.cpp 轻依赖本地与边缘推理 GGUF、多种整数位宽、CPU 和多类 GPU 后端、CPU/GPU 混合支持远不止 Llama，但具体算子、模态与量化需查模型列表框架不能脱离模型和硬件排名。应固定 checkpoint、prompt/output 长度、dtype/量化、并发和质量门槛，分别测冷启动、TTFT、TPOT、吞吐、P95…

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#推理引擎

面试题·模型微调· 小红书

意图识别结构化输出失败如何修复

匹配正文：…on Calling 预定义schema，模型只填充参数，不生成自由文本约束解码用logit_bias或grammar约束（如llama.cpp的GBNF）小红书场景建议：优先用Function Calling，将意图定义为工具函数，slot作为参数三、微调策略层面核心思路：让模型"见过"各种边界情况数据构造：正样本：覆盖口语化、省略主语、多意图等复杂输入负样本：加入格式错误的输出作为对比学习（如字段缺失、类型错误）训练配置： LoRA微调即可，r=64~1…

#小红书#意图识别格式优化#结构化输出

面试题·Prompt· 阿里

JSON 输出怎么保证稳定可靠?

匹配正文：…适用：原型验证、对准确率要求不高的场景第二层：约束解码（硬约束）主流方案方案原理适用场景 Grammar-based（如llama.cpp的GBNF）基于上下文无关文法，逐token过滤非法跳转边缘部署、高稳定性要求 JSON Schema约束（如OpenAI的response_format）编译Schema为DFA，动态约束token概率云端API、快速迭代 Outlines/Guidance库预编译索引+动态mask，支持复杂嵌套自研模型、深度定制 …

#阿里云#Prompt工程#Agent