匹配正文：适合部署过大模型推理服务的人，重点练服务选型、吞吐、延迟、显存、容量和成本。教学示例：先换成自己的真实项目描述，再逐题练习。下面按面试追问顺序练习，最后用自查项补齐回答。项目描述示例负责【真实模型与硬件】推理服务，承担【部署、压测或性能优化模块】。需要准备：模型与硬件；职责边界；部署工件。通过【真实 vLLM 配置或架构改动】改善【吞吐、延迟或成本指标】，测试条件为【真实负载】。需要准备：负载模型；基线与结果；配置版本；质量或稳定性代价。逐层练习 1. 说清你的…

#模拟面试#简历项目#连续追问

项目实战·Agent

第 7 章：服务化设计——任务状态、推理、并发与成本

匹配正文：…、幂等副作用、重试、取消、恢复与多用户隔离 ✓ 用缓存、模型路由和预算控制降本,但不把静默降质当成降级 ✓ 建立队列、推理、工具、成本、质量和权限的可观测链路 🚀 Part 1 · 主线实战先看一个可复现的工程风险设想一个研究任务先检索网页,再调用模型综合,最后生成带引用报告。单次演示成功,只能证明这一次路径跑通;它不能证明并发、重启、超时、权限或成本满足上线要求。真正上线前至少要回答: 客户端断线、刷新或换设备后,任务能否继续查询? Worker 在工具调用之后、写检…

#Agent#Deep Research#项目实战

面试题·Agent

Deep Research 并行任务怎么拆，依赖、尾延迟和综合成本怎样控制？

匹配正文：…些子任务适合并行，怎样建立依赖图和分批调度，如何为共享工具分配并发与预算，慢单元拖尾时是等待、降级还是部分完成，最后又怎样验证综合成本没有抵消并行收益？ Research-Synthesis 不是简单地多开几个 Agent 并行的价值来自“原本必须等待的工作可以同时推进”，而不是 Agent 数量本身。子任务之间存在强依赖时，后续单元在前置结果出现前没有完整输入。强行同时启动，往往只会造成返工。即使子任务没有逻辑依赖，它们也可能竞争同一个模型服务、搜索配额或访问工具。并发…

第 1 / 30 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

按学习路线查看教程、项目和面试题。

站内 RAG 在线实战

#Deep Research#执行框架与长任务#Deep Research 并行任务拆分

面试题·Agent

一次 Deep Research 到底花了多少钱，为什么只看总 Token 找不到成本黑洞？

匹配正文：Deep Research 的成本不是一次模型调用的账单。一个任务可能经过多轮模型推理、搜索 API、网页访问、计算、重试、摘要、状态存储和结果传输。某次成本异常，原因可能是上下文越来越长，也可能是工具超时触发重试，或者缓存没有命中。如果监控只有“今天用了多少 token”，团队只能看到总额上涨，却不知道哪个租户、哪类问题、哪一步、哪个模型或哪个工具造成了变化。相关工程材料提出全链路指标、结构化日志、成本趋势与异常告警。真正落地还需要把每项消耗关联到任务 Trace 和…

#Deep Research#上线成本与评估#Deep Research 成本

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…线。只看最终答案，会漏掉错误工具、无效循环、越权尝试和不稳定恢复。只看轨迹，又可能奖励一条形式漂亮却没有完成用户目标的路径。只看成本，则会鼓励 Agent 少做必要验证、过早结束。因此评估至少分三层：任务结果是否满足用户目标，执行轨迹是否用正确方式推进并安全恢复，资源与成本是否在预算内。三层分别设指标和硬门禁，再观察质量与成本的权衡，不能把所有问题压成一个容易刷的总分。先给出 30 秒回答 Agent 评估我会分任务结果、执行轨迹和资源成本三层。结果层按任务类型定义完成…

#Agent#多智能体与评估#Agent 评估体系

面试题·检索· 字节

RAG 重排收益与成本

匹配标题与标签：RAG 重排收益与成本重排对答案质量、延迟和上下文预算的影响，补充适用边界与工程取舍检索字节重排与优化 RAG 重排收益与成本 RAG 重排如何影响答案质量？收益、延迟与上下文预算 RAG 重排 Re-ranking 模型 RAG 检索优化字节

#字节#重排与优化#RAG 重排收益与成本

系统教程·模型基础

Transformer 与模型架构面试题大全

匹配正文：…V Cache、显存和推理延迟之间的关系。能做工程取舍比背公式更重要。 KV Cache 为什么是高频题？它直接关系到推理性能和成本。面试官常用它判断你是否理解自回归生成、prefill / decode 两阶段、显存占用和长上下文代价。 MHA、MQA、GQA 怎么讲？它们都是注意力头和 KV 共享方式的取舍：MHA 表达更充分，MQA/GQA 牺牲部分表达换更低 KV Cache 和更快推理。继续学习只会 Java，怎么快速上手 Python 和大模型工程栈大模…

#专题学习#Transformer 与模型架构面试题大全

系统教程·AI 编程

面试高频:LLM、Token、上下文、Agent 到底是什么

匹配正文：…预算应使用对应模型的 tokenizer 或 API 返回的 usage。为什么面试爱问 token?因为它直接决定两件钱事: 成本：文本 API 通常区分输入、输出等 token 类别计费；缓存、推理 token 与具体价格要看所用服务的规则。上下文上限:模型一次能"看"的 token 有上限,超了就得截断或压缩。上下文窗口:模型一次能看多少「上下文窗口」= 模型单次请求能容纳的 token 总量(输入 + 已生成)。它是个硬上限: 塞太多 → 注意力被稀释,关键信…

#Agent#AI 编程

面试题·Agent

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

匹配正文：…er。失败五：计划失效后从头重来外部结果变化或某个工具失败后，系统丢掉全部已完成工作，重新生成整份计划。这样容易重复调用、增加成本，写操作还可能产生副作用。应保留已验证的节点结果，只重规划受影响的局部；若状态可信度不足，再明确进入全量重建。局部与全量重规划的边界要有记录。怎样验证 Prompt 规划真的带来价值建立三类任务第一类是路径固定的常规任务，主要验证混合方案不会为了规划增加无谓步骤。第二类是中途会出现空结果、冲突或缺失信息的动态任务，验证 Planner …

#Agent#架构与规划#Agent 规划 Prompt 还是代码

项目实战·RAG

第 6 章:重排(Rerank)与检索优化

匹配正文：…不拖慢系统。 🎯 Part 2 · 面试深度｜ ~45% 这部分讲检索与可选重排的分工、双塔 vs 交叉编码,以及怎样测量精排成本。 2.1 检索 → 可选重排:按收益决定漏斗层数召回到精排的漏斗常见做法是先用倒排或向量索引取得 Top-N,再按需要用更昂贵的模型重排,最后选 Top-K 进入上下文。检索器本身通常已经输出排序,“召回”和“粗排”未必是两套独立服务;N、K 以及是否增加 reranker 都应按候选覆盖、排序提升、上下文预算和延迟实测。业内行话:面试…

#RAG#检索#项目实战

面试题·RAG

Chunk Size 和 Overlap 怎么选？不要背 512 和 100

匹配正文：…证据怎样进入检索单元，并以多大代价被稳定找回”的问题。 Chunk 不是越大或越小越好参数同时影响语义完整性、检索区分度和上下文成本，最终要由同一批问题验证。先分清 chunk_size 和 overlap 各自在解决什么 chunk_size 控制的是检索单元的粒度块变大，不等于信息一定更完整。例如，一段教学文档可能先讲适用范围，再讲申请条件，最后讲例外情况。如果三个主题全部塞进一个大块，用户只问“申请条件”时，向量表示仍会混入适用范围和例外内容。检索可能命中，但相…

#RAG#切分与索引#Chunk Size

面试题·Agent

复杂任务一定要拆成多 Agent 吗？单 Agent 与多 Agent 怎么选

匹配正文：…和三段对话连起来，不代表系统真的获得了新的能力。任务边界不清时，多 Agent 只会增加消息传递、上下文复制、状态一致性和失败归因成本。反过来，一个 Agent 同时面对大量工具、相互冲突的指令、很长的中间轨迹和多个独立目标，也可能出现工具选择混乱、注意力被稀释、一步失败拖垮整条链路的问题。此时合理拆分可以隔离上下文、权限和评估，让每个角色只处理自己擅长的一段。所以这道题应从任务是否存在可验证的职责边界开始，而不是比较“一个模型和多个模型谁更聪明”。先用单 Agent 加…

#Agent#多智能体与评估#单 Agent 和多 Agent 区别

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…A 企业的历史上下文返回给 B 用户。向量索引采用共享集合时，需要可靠的元数据过滤；采用分区或独立集合时，也要考虑创建、迁移和删除成本。无论哪种方案，都必须有负向测试证明越界请求得不到内容。敏感信息还需要更严格的写入策略。不是所有姓名、联系方式、健康或财务信息都应该进入长期记忆。能不存就不存，必须存时再考虑加密、访问控制、最短保留期和审计。这里的目标不是让模型“更懂用户”，而是在明确授权和最小必要范围内服务当前任务。记忆召回不能只看语义相似度向量检索能找到“说法相近”的…

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

匹配正文：…须由事件驱动并校验版本，避免两个 Worker 同时把同一任务从 running 写成不同结果。这些状态为重试、监控、用户体验和成本归因提供明确语义，增加枚举只是实现上的结果。幂等怎样防止重复创建研究任务？客户端提交时带幂等键，服务把它与用户、任务类型和有效请求摘要绑定。相同键的重试若请求一致，返回原 task ID；若内容不同，则拒绝复用，避免误把两次任务合并。幂等记录要有合理生命周期。永久保存所有键成本高，过早过期又可能重复执行。工具调用也要考虑幂等。搜索和…

#Deep Research#上线成本与评估#Deep Research 长任务

面试题·Agent

Text2SQL 生成的 SQL 敢直接执行吗？安全校验与执行边界怎么设计

匹配正文：…询”不能代替代码校验，关键词黑名单也不能代替 SQL 解析和数据库权限。安全要从生成约束、AST 校验、Schema 与权限、查询成本、隔离执行、结果审查和审计七层共同完成。 Text2SQL 的默认能力最好是只读查询。若业务真的需要修改数据，应作为另一类高风险工具，使用明确动作 Schema、Dry-run、人工确认、幂等和审计，不能让一个自然语言查询端点同时拥有任意写权限。先给出 30 秒回答 Text2SQL 的 SQL 不能直接执行。我会把模型当作不可信计划生成器，…

#Agent#工具调用与安全#Text2SQL SQL 安全

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…造 observation。停止质量检查证据足够后是否结束，证据不足时是否继续或明确部分完成。效率检查动作、token、延迟和成本，但只有在结果质量过门后才比较。过程指标要来自真实 Trace，不从最终报告反推模型“应该做过什么”。先有任务 Contract，评估才有意义同一份报告，在不同用户要求下可能有不同判定。用户只问稳定概念，直接回答合理；用户要求最新官方出处，就必须外部检索。任务 contract 至少包含对象、时间范围、交付、来源要求、允许工具、风险级…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配标题与标签：…出发，讲清 Deep Research LLM Judge 怎样校准并防止刷分闭环。 Agent Deep Research 上线成本与评估 Deep Research LLM Judge LLM-as-a-Judge 偏差 Goodhart 定律 Agent 评估刷分 Deep Research 面试题

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·模型训练· 美团

训练数据清洗：规则 vs LLM

匹配正文：…则速度受正则复杂度、I/O和文本长度影响，LLM吞吐受模型、硬件、batch、量化和输入输出长度影响。短文本可批处理，长文本会改变成本。任何比较都应在同一数据集、硬件和端到端管线上测样本吞吐与单位token或单位文档成本。准确性要用人工gold集评估。对每类脏数据分别报告precision、recall和误杀高质量样本的比例，并按语言、来源和长度切片。规则可能精确但漏长尾，LLM可能召回更高却受prompt和模型版本漂移。不能只看模型给自己的质量分。常见级联是先做低风险确…

#数据清洗#数据工程#训练数据构建

面试题·推理优化· 百度

13B模型INT8/INT4量化后多大?

匹配标题与标签：…化后多大? 量化后存储估算及对推理延迟、吞吐量、硬件资源影响分析推理优化模型量化 INT8/INT4 显存优化推理性能部署成本 2026真题 13B模型量化 INT8 INT4量化模型存储大小量化推理延迟量化吞吐量系统优化与推理加速百度

#模型量化#INT8/INT4#显存优化

面试题·项目与经历· 美团

客服办公导购 Agent 选型

匹配正文：…复咨询、知识更新频繁、人工峰谷明显的团队可能更有价值；低咨询量或每单都需专家判断的业务未必适合。不能引用没有行业、年份和口径的客服成本、独立解决率或降本比例。应先测当前工单结构和人工基线。成本效益也不只包含token费用。接入知识库、工具权限、质检、隐私脱敏、审计、人工升级和事故处理都要算进去。退款错误、泄露个人信息、错误承诺和未按法规升级投诉，单次损失可能远高于节省的对话成本，因此ROI必须按风险加权。落地路径可以从坐席辅助开始，模型只生成摘要、检索证据和回复草稿；通过…

#Agent#商业落地#技术成熟度

面试题·项目与经历· 美团

信息抽取：规则 vs LLM

匹配正文：…规则适合输入结构稳定、边界可枚举、容错要求低且需要可解释审计的任务，例如固定字段校验、身份证号格式、单位换算和白名单映射。它的执行成本通常较低、行为可追踪，但绝不是零成本或零延迟：规则要开发、测试、发布、监控并随业务变化维护，覆盖之外也不会自动泛化。 LLM 适合语言表达多样、语义边界难以完整枚举、需要归纳或抽取的任务。优势是用自然语言和少量示例即可快速覆盖长尾；代价包括输入输出 token、模型延迟、概率性错误、版本变化以及隐私合规。Few-shot 是把示例放进输入上下文…

#规则引擎#LLM应用#成本优化

面试题·项目与经历· 美团

Agent 未来规模化方向

匹配正文：…务错误往往难以完全回滚，还可能造成资金、合规和审计损失，不能用“可回滚、损失不大”降低风险。商业化评估要同时看任务频率、当前人工成本、可接入系统、可验证结果、异常比例、监管责任和单位经济性。技术指标包括任务完成率、工具调用正确率、未授权操作率、人工接管率、延迟和单任务成本；业务指标使用真实基线测量周转时间、积压和返工。上线从只读建议开始，再到人审执行，最后才允许少量低风险自动动作，并配置最小权限、幂等、审计、预算、回滚和停机开关。

#Agent商业化#B端落地#成本效益分析

面试题·推理优化· 字节

数据分层为何不用大模型?

匹配正文：…毒性、可训练性，还是任务难度。不同标签需要的语义理解不同，误杀高质量数据和漏过脏数据的代价也不同。只有把标签规范、人工gold集和成本预算固定，模型比较才有意义。更大模型可能在含蓄语义、多步判断或跨领域样本上更强，但也带来更高显存、延迟和调用成本。小模型在边界清晰、领域稳定的任务上可能已经达到可用水平。这里不能报脱离硬件、batch、量化和输入长度的吞吐倍率，也不能说某个参数规模能达到另一模型固定比例的准确率。短输入仍然可以通过batch摊销矩阵计算和调度开销，能否高效批…

#数据质量评估#模型规模权衡#成本效益分析

面试题·推理优化· 商汤科技

工程化核心目标是什么?

匹配正文：工程化目标是让质量、可靠性、性能和成本同时可度量可靠性包括输入校验、超时、重试、幂等、熔断、降级、人工接管、审计和故障恢复；可扩展性包括无状态入口、队列与背压、批处理、缓存、模型路由、容量规划和多租户隔离。模型输出的格式可由 schema 约束，但语义正确、工具权限和业务状态仍需权威系统校验。性能指标要分开。TTFT 是请求到首个 token，通常包含排队、网络和 prefill；TPOT 或 ITL 表示首 token 之后相邻输出 token 的平均间隔，不是整个请求…

#大模型工程化#系统架构设计#推理优化