匹配正文：适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。教学示例：先换成自己的真实项目描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。项目描述示例负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。需要准备：模型与硬件；职责边界；部署工件。通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。逐层练习 1. owners…

#模拟面试#简历项目#连续追问

面试题·推理优化· 京东

vLLM vs TensorRT-LLM 怎么选?

匹配标题与标签：…优化 vLLM TensorRT-LLM 推理引擎吞吐量优化生产部署 2026真题 vLLM vs TensorRT-LLM 大模型推理框架对比推理框架吞吐量 LLM 推理优化系统优化与推理加速京东

#vLLM#TensorRT-LLM#推理引擎

面试题·推理优化· 京东

推理框架硬件支持对比

匹配标题与标签：…ama.cpp 推理框架部署优化 2026真题推理框架硬件支持对比 LLM 推理框架硬件支持对比：GPU、CPU 与部署链路大模型推理框架 vLLM vs TensorRT-LLM 推理框架选型系统优化与推理加速京东

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#vLLM#TensorRT-LLM#llama.cpp

面试题·模型架构· 京东

MLA 与 KV Cache 怎么用?

匹配标题与标签：…推理优化 DeepSeek 2026真题 MLA Multi-Head Latent Attention KV Cache 机制大模型推理优化大模型架构与原理京东

#MLA#KV Cache#注意力机制

面试题·Agent· 百度

反思机制原理与失败场景

匹配标题与标签：反思机制原理与失败场景大模型推理中 Reflection 的原理、作用与优势详解 Agent 百度 Agent 反思机制 Reflection Mechanism 大模型推理 Agent 反思百度

#百度#Agent#反思机制

面试题·模型微调· 华为

Few-shot vs Zero-shot vs Fine-tuning 怎么选?

匹配题目：在大模型推理过程中，何时应选择few-shot提示方式而非zero-shot或fine-tuning？其优势和局限性是什么？

#华为#Few-shot 提示#Zero-shot 对比

面试题·推理优化

KV Cache 是什么?为什么能加速推理?

匹配正文：…用优化，也是PagedAttention等缓存管理的基础；具体缓存策略依架构和框架配置。核心概念 KV Cache(键值缓存)是大模型推理时,把注意力计算中每个已处理 token 的 Key 和 Value 向量缓存在显存里、避免重复计算的优化技术。背景是:大模型生成文本是自回归的——答案一个 token 一个 token 往外蹦,而每生成一个新 token,注意力机制都要用它和前面所有 token 的 K、V 做计算。关键观察是:前面那些 token 的 K、V 在每一轮…

#入门#基础概念#KV Cache

面试题·Prompt· 高德

ReAct 如何结合推理与工具使用？

匹配标题与标签：…ReAct 在推理与工具使用任务中的优势 Prompt 高德 Agent ReAct 框架 ReAct vs Prompting 大模型推理与工具使用高德

#高德#Agent#ReAct 框架

面试题·Prompt· 哔哩哔哩

CoT 提示怎么写?

匹配题目：请解释思维链（Chain-of-Thought, CoT）提示的编写方法，包括典型模板、设计原则及其在提升大模型推理能力中的作用。

#b站#Agent#Chain-of-Thought 提示

面试题·RAG· 华为

逻辑引导怎么用？

匹配题目：在构建大模型推理流程时，什么情况下需要对模型输出进行逻辑引导（logical reasoning guidance）？请举例说明其实现方式和优势。

#华为#逻辑推理引导#逻辑引导

项目实战·Agent

第 7 章:工程化上线:推理优化、并发与成本

匹配正文：…做得好不好? 🏆 Part 3 · 验收串题｜ ~10% 关联面试题(5 道,覆盖 5 个角度) 【推理框架对比】比较主流的大模型推理框架(vLLM / TensorRT-LLM / HF 等)。较难 → 【KV Cache】自回归推理里 KV Cache 用来加速解码,分析它的空间复杂度。较难 → 【显存优化】训练或推理时显存不足是常见瓶颈,有哪些有效的显存优化技术? 中等 → 【量化】对 13B 模型做 INT8 / INT4 量化后,存储和推理会受什么影…

#Agent#Deep Research#项目实战

求职指南·求职

大模型系统设计和编码环节怎么准备

匹配正文：…度调研助手) 任务拆解、工具调用、记忆、循环终止、失败重试 Deep Research 这类 Agent 怎么设计设计一个高并发大模型推理服务批处理、KV Cache、并发调度、显存、限流降级服务化章和推理优化题库设计一个带评估的内容审核/分类系统 Prompt 分类 vs 微调、评估指标、误报漏报权衡模型架构题库设计一个低成本的长文档摘要/问答长上下文 vs 分段检索、token 成本、缓存 RAG 系统怎么从零搭起准备策略:RAG 问答和 Agent …

#求职#职业转型

面试题·RLHF与对齐· 字节

PPO vs GRPO 怎么选?

匹配正文：…kMath 提出，它对同一提示采样一组回答，用组内奖励的相对结果构造优势，省去独立价值模型，因而更适合可批量采样且奖励能区分答案的大模型推理任务。机制与边界 PPO目标一般包含裁剪后的 surrogate loss，还可加入价值损失、熵奖励与对参考策略的 KL 控制。价值函数尝试预测期望回报，GAE把多步 TD 残差加权起来，在偏差与方差间折中。GRPO保留策略概率比率、裁剪和 KL 约束，但不依赖单独 critic，而是在每个问题的多个候选里对奖励做相对化。这样能省掉价值…

#PPO#GRPO#RLHF

面试题·推理优化· 京东

LLM 推理框架综合选型

匹配追问：…怎么保证吞吐？……这些框架各自有什么优化手段？比如内存管理、批处理这些。直球架构从性能、易用性、扩展性三个维度，对比几个主流的大模型推理框架，比如vLLM、TensorRT-LLM、llama.cpp。你直接说它们的核心特点和适用场景就行。

#vLLM#TensorRT-LLM#llama.cpp

面试题·项目与经历· 字节

大模型 vs 搜推小样本特征怎么融合?

匹配追问：如果ID特征有上亿维，直接输入LLM不可行，你会怎么做特征压缩？大模型推理延迟高，线上实时推荐怎么解决？你们有没有试过直接用LLM做排序，效果对比传统模型如何？场景切入假设推荐系统要处理一个没有行为历史的新品，只有标题、类目和少量结构化特征。你会怎样利用预训练文本表示做冷启动，同时保留稀疏 ID/统计特征并控制线上成本？层层追问 LLM 或文本 encoder 负责哪些语义特征？……传统 embedding 与交叉特征保留什么信息？……两路特征在召回、特征层还是 l…

#特征工程#迁移学习#多模态融合

面试题·项目与经历· OPPO

运筹学最优化 vs 机器学习最优化

匹配追问：如果让你用神经网络替代传统运筹求解器，你觉得可行吗？什么场景适合，什么场景不适合？在大模型推理优化中，哪些运筹优化的思想可以用上？你实际用过哪些求解器（Gurobi/CPLEX/OR-Tools）？遇到过什么坑？场景切入假设你负责一个电商订单派单系统的优化，需要决定每个订单由哪个仓库发货、走哪条路线，同时要最小化总运输成本。这个场景下，你会想到用什么数学建模方法来描述和求解？层层追问你了解运筹学里那些最优化方法吗？……比如线性规划、整数规划这些，它们一般用在什么地…

#运筹优化#数学规划#凸优化

面试题·Agent· 阿里

RAG+Agent 延迟与准确率成因

匹配口述回答：…个技巧，用小模型做意图路由，大模型只做最终生成，比如用个轻量模型判断用户是想查订单还是查退款，然后直接路由到对应的工具，这样能省掉大模型推理的时间。正确率的问题更隐蔽。核心矛盾是Agent的“动态性”和RAG的“静态性”。比如Agent在对话中任务会漂移，一开始问退款政策，中间可能转到物流问题，但知识库里的知识是固定的，检索出来的结果可能不匹配。我的做法是引入Query改写模块，比如HyDE，根据Agent的历史上下文做共指消解，把“它”指代的东西补全。另一个常见问题是上…

#阿里云#Agent#RAG Agent 延迟优化

面试题·评估· 虾皮

大模型怎么用于搜索检索?

匹配口述回答：…构化描述，给出更准确的答案。这在东南亚多语言场景尤其重要，用户可能中英混合提问，大模型能统一处理。落地风险主要有三个。一是延迟，大模型推理慢，我会用流式生成加模型[[蒸馏]]，高频 query 的结果缓存起来。二是成本，大模型贵，我倾向用大小模型级联，小模型先过滤掉简单 query，大模型只处理高价值复杂 query。三是数据实时性，比如促销信息，必须能增量更新索引，不能每次全量重建。另外，我特别关注检索质量怎么量化。光靠 Recall 不够，我会用 [[RAGAS]] …

#虾皮#大模型搜索检索#搜索检索技术方案