本文目录
适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。
教学示例：先换成自己的真实项目描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。
页面加载中…
求职指南 · 简历项目模拟面试
适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。
适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。
教学示例：先换成自己的真实项目描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。
学习内容与项目面试，在同一条路上。
负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。
需要准备：模型与硬件；职责边界；部署工件。
通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。
需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。
简历原句是“【自己的真实项目描述】”。模型转换、vLLM 部署、网关、调度、压测和容量规划分别由谁负责？
考察重点：核验项目所有权，避免把团队或平台成果当作个人成果。
需要追加追问时：ownership_ambiguous → ownership-proof。
下一步：design。
请用一份脱敏配置、压测报告、性能火焰图或变更记录证明你的职责和结论。
考察重点：用可脱敏工件交叉验证职责，而不是继续听抽象表述。
下一步：design。
配套学习：项目难题怎么定位与解决?。
请求从网关进入后，如何经过排队、tokenization、continuous batching、prefill、decode 和流式返回？
考察重点：确认候选人理解端到端链路、关键接口和状态变化。
下一步：tradeoff。
为什么选择 vLLM 而不是 TGI、TensorRT-LLM 或直接 Transformers？并发、量化、批大小和显存利用如何取舍？
考察重点：验证选型来自真实约束和对比，而不是技术名词堆砌。
下一步：metrics。
吞吐、TTFT、TPOT、P95、显存和单百万 token 成本如何测？输入输出长度和并发分布是什么？
考察重点：核验效果数字是否有定义、基线、样本和可归因证据。
需要追加追问时：metric_undefined → metrics-proof；baseline_missing → metrics-proof；evaluation_set_missing → metrics-proof。
下一步：failure。
请先固定模型、硬件、输入输出长度、并发和预热条件，再给出吞吐、TTFT、TPOT 与 P95；测试条件不一致时不要直接比较。
考察重点：二次核验缺失的指标证据；仍无法提供时，在复盘中标记为“只有知识，没有项目事实”。
下一步：failure。
什么负载会导致 OOM、排队爆炸或长短请求互相拖累？你如何复现并保护尾延迟？
考察重点：确认候选人见过方案边界，并能完成证据驱动的失败复盘。
需要追加追问时：failure_case_missing → failure-proof。
下一步：production。
请回放一次 OOM、排队爆炸或长短请求互相拖累的压测，给出负载分布、显存水位、队列和尾延迟；没有记录就按容量推演回答。
考察重点：要求用可回放材料证明失败复盘；若只有假设分析，必须与真实事故或 bad case 明确区分。
下一步：production。
生产中如何做副本、限流、预热、模型版本、健康检查、自动扩缩、监控、灰度和回滚？
考察重点：验证系统是否真实上线，并具备监控、灰度和回滚能力。
需要追加追问时：scale_unverified → production-proof；production_evidence_missing → production-proof；rollback_missing → production-proof。
下一步：extension。
配套学习：工程化核心目标是什么?。
请给出一次真实压测或扩容记录，说明模型、硬件、长度分布、并发、队列水位和副本决策；没有记录就明确是容量估算。
考察重点：核验生产事实与设计知识的边界；没有线上材料时，只按设计能力记录，不视为上线经历。
下一步：extension。
配套学习：工程化核心目标是什么?。
如果流量扩大十倍且延迟预算减半，容量、路由、分池、量化和模型层级如何重设计？
考察重点：测试约束变化后的迁移、容量和风险判断能力。
配套学习：模型优化方法有哪些？。
dimension：ownership
0：只会复述团队目标，无法说明本人职责。
1：能说出参与模块，但职责边界和决策权不清。
2：能区分本人、同事和平台职责，并给出实现证据。
3：职责、决策、协作边界和可核验工件完整一致。
dimension：chain-understanding
0：只罗列技术名词，讲不清数据如何流动。
1：能描述主流程，但关键接口和状态变化含糊。
2：能画清端到端链路，并解释关键输入输出。
3：能解释排队、tokenization、continuous batching、prefill、decode 与流式返回的调度关系。
dimension：tradeoff
0：只说方案先进或效果好，没有备选比较。
1：知道一个备选方案，但说不清真实约束。
2：能结合质量、时延、成本或维护性解释选择。
3：有候选对比、实验或决策记录，并能说明放弃条件。
dimension：metric-credibility
0：只有提升结论，没有指标定义和基线。
1：有数字，但缺评测集、统计窗口或口径。
2：指标、基线、样本和统计口径基本完整。
3：能在固定模型、硬件、长度与并发分布下核验吞吐、TTFT、TPOT、P95 和成本。
dimension：failure-review
0：声称没有失败案例或只归因于模型能力。
1：能举失败现象，但没有复现和根因证据。
2：能给出代表性坏例、定位过程和修复验证。
3：有失败分类、复现材料、反事实验证和遗留边界。
dimension：production-engineering
0：只讲离线 Demo，不了解上线约束。
1：知道监控或降级概念，但没有具体阈值。
2：能说明时延、容量、监控、灰度和回滚。
3：能用真实流量、队列、显存、健康检查、扩缩容、模型灰度和回退记录证明服务化。
dimension：consistency
0：前后职责、数字或架构明显冲突。
1：主要结论一致，但追问后口径频繁变化。
2：事实、指标和方案在多轮回答中保持一致。
3：能主动声明不确定项、版本变化和证据边界，回答可交叉核验。
dimension：metric-credibility
压测明确模型、硬件、精度、长度和并发分布。
dimension：chain-understanding
能拆解排队、prefill、decode 和流式返回。
dimension：production-engineering
有容量模型、限流、灰度和回滚数据。
dimension：metric-credibility
只报 tokens/s，不说明批量和长度分布。
dimension：tradeoff
把 PagedAttention 等同于所有场景低延迟。
dimension：production-engineering
压测只跑平均值，没有 OOM 和尾延迟边界。