匹配正文：…文不声称现有系统已经通过缓存节省某个比例。模型路由怎样做成本归因？每一步先记录任务状态和路由决策：为什么使用小模型、为什么升级大模型、是否回退。若小模型输出失败后再调用大模型，总成本是两次调用加恢复，而不是只看最终成功模型。路由实验需要固定任务集，比较答案、证据、工具策略、延迟和成本。简单任务可用较便宜模型是设计方向，但“简单”必须可验证。错误分诊会造成二次调用或低质量答案。路由模型本身也有推理成本和延迟，应进入 task Trace。不能只展示大模型调用比例下…

#Deep Research#上线成本与评估#Deep Research 成本

求职指南·Agent

Trace、线上监控与问题复盘项目模拟面试

匹配正文：适合建设过大模型监控或 Trace 的人，重点练日志、指标、故障定位，以及如何避免同类问题再次发生。教学示例：先换成自己的真实项目描述，再逐题练习。下面保留完整追问分支、检查重点与评分规则。项目描述示例负责【真实大模型应用】可观测体系，承担【Trace、指标、日志或告警模块】。需要准备：系统范围；个人职责；可观测工件。通过【真实追踪或监控改动】定位【真实线上问题】，并用【真实记录】验证修复。需要准备：事故时间线；根因证据；修复与回归；遗留风险。逐层练习 1. o…

#模拟面试#简历项目#连续追问

面试题·Agent

Agent 线上答错一次，怎样用 Trace 和 Replay 定位到底哪一步坏了

第 1 / 2 页下一页 →

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配正文：…了哪些消息、摘要、记忆和工件引用，以及它们的版本。这样可以回答“模型为什么看到了这条旧信息”。模型、工具、State 与工件的 Trace 字段每一层记录可定位字段，同时避免把所有敏感正文复制进日志。 Trace 怎样控制隐私与存储成本全量记录所有正文既昂贵也危险。可以把元数据与内容分层：Trace 主体保存 ID、状态、版本、哈希和统计；敏感快照进入受控存储，按角色和事件需要访问。参数和结果使用字段级脱敏。密钥永不记录，个人信息按用途最小化。对高风险工具保留必要审计…

#Agent#多智能体与评估#Agent Trace 回放

面试题·Agent

LLM Judge 分数变高，为什么 Deep Research 可能反而更会刷分？

匹配正文：…动化近似，不是替代事实验证与人工责任。 URL 是否存在、引用 ID 是否匹配、计算是否可复算、工具是否执行，应优先用规则和真实 Trace。高风险事实、Judge 分歧和新型失败仍需人工复核。 LLM Judge 的价值与边界对比 Judge 擅长开放 rubric，不承担真值、权限和全部事实验证。三种最常见的 Judge 偏差第一种是位置偏好。 Pairwise 比较中，Judge 可能系统性偏爱 A 或 B。具体方向因模型与任务而异，不能假设永远偏前。缓解方式是…

#Deep Research#上线成本与评估#Deep Research LLM Judge

面试题·Agent

Agent 怎么评估才不只看最终答案？任务、执行轨迹与成本要分层验收

匹配正文：…再观察质量与成本的权衡，不能把所有问题压成一个容易刷的总分。先给出 30 秒回答 Agent 评估我会分任务结果、执行轨迹和资源成本三层。结果层按任务类型定义完成条件，例如事实正确、引用可验证、覆盖关键点、结构符合要求；轨迹层检查规划、工具选择、参数、Observation 使用、失败恢复、停止条件和权限，不依赖隐藏思维文本；成本层记录模型 Token、调用次数、工具与执行资源、端到端时间。评测集覆盖正常、歧义、工具失败、冲突、权限和长任务，用规则、LLM Judge 与人…

#Agent#多智能体与评估#Agent 评估体系

学习路线·学习路线

大模型应用开发学习路线

匹配正文：…安全和可观测长任务调研、多源证据、报告生成、Agent 训练与评估 Deep Research 任务拆解、证据校验、长任务恢复、成本和评估治理如果 JD 同时写了知识库、Agent 和评测，也不代表你要同时做三个项目。选一条作为主项目，其他能力只补到可以和主链路协作。不确定应用岗和算法岗怎么选，先看应用开发岗与算法岗的区别；不知道 JD 里的词对应什么工作，看大模型岗位画像和JD 逐条解读。过关标准：你能说清一类目标岗位的主要产出，选定一条主项目线，并列出现阶段明确…

#学习路线#RAG#Agent

面试题·Agent

LLM、Workflow 和 Agent 怎么选？什么任务根本不该做成 Agent

匹配正文：… 错了，可能是目标理解错、规划错、工具选错、参数错、工具本身失败、状态过期，也可能是模型没有忠实使用工具结果。如果系统没有逐步 Trace，只保存最终答案，那么引入 Agent 会让问题从“答案错了”升级为“答案错了但无法定位”。在选型阶段就应该把可观测性算进成本。 Agent 选型先走六步判断选型不是先问用哪个框架，而是先找到最小、可验证、可约束的自治范围。真实系统更常见的是混合架构把 LLM、Workflow 和 Agent 画成三个互斥选项，会误导设计。更实用的…

#Agent#架构与规划#Agent 和 Workflow 区别

求职指南·求职

大模型应用开发岗和算法岗有什么区别、普通工程师怎么选

匹配正文：…模型,一个做系统算法岗更靠近模型训练和模型能力本身,应用开发岗更靠近业务系统和用户结果。两者都重要,但日常问题完全不同。维度大模型算法岗大模型应用开发岗核心产出更好的模型、训练策略、评估方法可上线的大模型应用、RAG/Agent 系统、业务流程自动化日常关键词 SFT、DPO、RLHF/GRPO、数据配比、loss、benchmark API、RAG、Agent、工具调用、检索、评估、延迟、成本面试重点数学基础、论文理解、训练细节、实验设计项目深挖、系统…

#求职#职业转型

求职指南·求职

大模型技术栈全景:RAG / Agent / 微调 / 推理 / 评估各是什么、面试考多少、怎么学

匹配正文：… 编程实操两条线都要有一个 Agent Harness 层让 Agent 稳定跑起来的工程骨架状态管理、工具注册、权限确认、trace、replay、错误恢复、成本控制 Agent 题库、工具与函数调用章、记忆管理章开发/Java 后端线的主场 Data / Eval 层决定"效果好不好"能不能被证明文档解析、Embedding、Rerank、评估集、LLM-as-Judge、badcase 闭环评估与监控题库、文档处理、评估章两条线都绕不开,算法线更深 Tr…

#求职#职业转型

求职指南·求职

大模型简历怎么写:项目怎么描述、怎么量化、怎么防追问

匹配正文：…得住的写法,是把项目拆成下面三个维度,每一维都写到能被追着问下去的粒度。三维项目表达法:每个项目从三个维度写透(本篇核心) 一个大模型项目要"立得住",工程、业务、结果三维缺一不可。只有工程没有结果,像在念架构图;只有结果没有工程,像编数字;缺了业务,面试官不知道你解决的是不是真问题。三维各自要写什么: 维度回答什么问题该写清的要素缺了会怎样工程维度你到底搭了什么架构、状态管理、工具注册、权限确认、监控/trace、成本控制被追问"这块你怎么实现的"就露馅,像…

#求职#职业转型

面试题·项目与经历· 字节

大模型 vs 搜推小样本特征怎么融合?

匹配口述回答：…态和标签没有进入特征。离线看Recall、NDCG、AUC或校准，并报告头部、长尾、冷启动和不同内容类型；线上再看首屏延迟、吞吐、成本、点击或转化以及长期指标。灰度时固定召回池做组件消融，才能判断收益来自语义编码、融合特征还是重排模型。若采用LLM生成解释，解释层不能反向修改排序事实，也不能泄露用户敏感特征。排序结果、特征版本和解释prompt都要留trace；出现争议时能回放当时候选与分数，确保生成文本只是受控展示层。按召回排序重排拆系统保留结构化特征模型用LLM离…

#特征工程#迁移学习#多模态融合

面试题·Agent

Agent 规划应该写在 Prompt 里，还是固定在业务代码里？

匹配正文：…：“你们的 Agent 是怎么规划的？行业流程都写在 Prompt 里吗？” 这道题最容易出现两个极端答案。一种说法是：“全部让大模型自己拆任务，这样最灵活。”另一种说法是：“模型不可靠，所以所有步骤都写死。”前者忽略安全与确定性，后者又把 Agent 做成了披着模型外衣的固定流程。生产系统更常见的答案在中间：代码定义不可越过的边界和主流程，模型只在不确定、可验证、可回退的局部做规划。真正的难点在于规划权放在哪一层，以及模型给出的计划如何进入执行系统；一句“请逐步思考”解…

#Agent#架构与规划#Agent 规划 Prompt 还是代码

面试题·Agent

Deep Research 评估为什么不能只看最终答案，过程合理又该怎么量？

匹配正文：…造 observation。停止质量检查证据足够后是否结束，证据不足时是否继续或明确部分完成。效率检查动作、token、延迟和成本，但只有在结果质量过门后才比较。过程指标要来自真实 Trace，不从最终报告反推模型“应该做过什么”。先有任务 Contract，评估才有意义同一份报告，在不同用户要求下可能有不同判定。用户只问稳定概念，直接回答合理；用户要求最新官方出处，就必须外部检索。任务 contract 至少包含对象、时间范围、交付、来源要求、允许工具、风险级…

#Deep Research#上线成本与评估#Deep Research 评估

面试题·Agent

什么时候该用 Deep Research，而不是普通 RAG？复杂问题怎么分级路由？

匹配正文：…把简单问题送进昂贵链路，或把真正复杂的问题错误压成一次检索。为什么“一个模型全包”不够稳？最简单的实现，是把所有问题交给同一个大模型，让它自己决定搜几次。这能跑通 Demo，但生产上有三个问题。第一，行为不容易预测。同样的问题换一种说法，模型可能选择不同步数，延迟和成本波动很大。第二，模型可能偏爱行动。训练数据里如果搜索轨迹太多，它会在常识题上也调用 Search，看起来勤奋，实际浪费资源。第三，模型可能过早收尾。它看到一份看似相关的资料就生成结论，没有意识到用户…

#Deep Research#问题边界与研究闭环#Deep Research 分级路由

面试题·Agent

Agent Planner 生成的计划为什么不能直接执行？怎么校验和动态重规划

匹配正文：面试官问：“Planner 已经把任务拆成步骤了，为什么还要做计划校验？” 一个很危险的回答是：“因为大模型偶尔会幻觉，所以再让模型检查一遍。” 问题不只在于模型可能写错，而在于“计划”连接了自然语言目标和真实工具。一份看起来顺畅的计划，可能引用不存在的工具、漏掉必要前置步骤、使用无来源参数、超过预算，甚至包含当前用户无权执行的动作。它如果直接进入 Executor，模型的一次语言错误就会变成系统行为。因此，LLM Planner 输出的是候选计划，不是执行授权。工程系统要…

#Agent#架构与规划#Agent 计划校验

面试题·Agent

Function Calling 到底怎么跑？模型不会执行函数，完整工具结果循环怎么实现

匹配正文：…什么还不等于完整 Agent 一次工具握手只证明模型能提出调用。完整 Agent 还需要多步循环、状态、停止条件、失败恢复、权限、Trace、评估和成本控制。从一次 Tool Call 讲到完整 Agent Loop Function Calling 提供的是一套结构化握手协议，模型不会直接执行函数。应用先把用户消息和工具 Schema 发给模型；模型如果需要工具，就返回工具名、参数和调用 ID；宿主程序解析参数，按注册表找到真实执行器，完成 Schema、业务和权限校验后…

#Agent#工具调用与安全#Function Calling 完整流程

面试题·Agent

Agent 短任务和长任务怎么记？工作记忆、长期记忆与任务状态怎样分层

匹配正文：…后继续。长期记忆保存未来任务可能复用的信息，目标是跨会话召回。某次工具调用失败的完整堆栈可能需要进入 Checkpoint 和 Trace，帮助恢复与排障，但通常不值得变成用户长期记忆。用户稳定偏好可能进入长期记忆，却不代表它是当前任务已经完成的执行凭证。 Checkpoint 读取强调精确、完整和版本兼容；长期记忆读取强调相关性、时效、权限和冲突。把两者都放进一个向量库，会让精确恢复依赖概率检索，也会把大量运行噪音污染长期记忆。短任务到长任务的状态演进任务变长后，不是…

#Agent#记忆与存储#Agent 长期记忆设计

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…忆的召回率、返回记忆的精确率、过期或被替代记忆的误用率、删除后的残留召回率。再加上跨用户泄漏、检索延迟、上下文 Token 和写入成本。平均值之外，要单独看高风险样本。记忆模块最容易漏掉的验收一条可复现的记忆 Trace 应该记录什么记忆答错时，如果日志只有最终 Prompt，很难知道错误在哪一步。最小 Trace 可以记录：请求所属作用域、短期窗口选中了哪些消息、长期检索返回了哪些 memory_id、过滤掉哪些候选及原因、最终注入哪些记忆、使用了哪个摘要版本，以及本…

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

匹配正文：…须由事件驱动并校验版本，避免两个 Worker 同时把同一任务从 running 写成不同结果。这些状态为重试、监控、用户体验和成本归因提供明确语义，增加枚举只是实现上的结果。幂等怎样防止重复创建研究任务？客户端提交时带幂等键，服务把它与用户、任务类型和有效请求摘要绑定。相同键的重试若请求一致，返回原 task ID；若内容不同，则拒绝复用，避免误把两次任务合并。幂等记录要有合理生命周期。永久保存所有键成本高，过早过期又可能重复执行。工具调用也要考虑幂等。搜索和…

#Deep Research#上线成本与评估#Deep Research 长任务

面试题·Agent

Agent 能执行 Python 代码，怎样设计 Code Interpreter 沙箱才不会伤到宿主机

匹配正文：…结构化结果验证 Schema；图片重新编码或按安全策略处理；可执行文件和未知类型默认不返回。错误信息对用户只提供必要内容，内部 Trace 保存受限详情。不能把宿主目录、镜像内部结构和系统调用策略全部暴露给不可信请求。 Agent 使用沙箱输出时仍区分数据与指令。文件内容不是系统提示，不能因为结果里写“忽略规则并访问网络”就改变工具权限。怎样做权限与人工确认只读本地计算可以在用户授权文件范围内自动执行。访问外部网络、读取额外数据源、使用高成本资源或导出敏感结果，需要更高…

#Agent#工具调用与安全#Agent 代码解释器沙箱

面试题·评估· 蚂蚁

Agent项目挑战与解决方案怎么讲?

匹配正文：…及团队依赖。方案与取舍：为什么需要 Agent，为什么不用确定性工作流；敏感动作如何控制。挑战闭环：给出一个真实故障，从现象、trace、根因、修复到回归。结果与限制：只使用真实、同口径、可复算的质量、延迟、成本和人工数据。事实填空在【真实场景】中，原流程【】，失败切片【】。我负责【】，方案为【】，关键工具或状态【】。一次真实挑战是【】，通过【日志/实验】定位为【】，采取【】后得到【真实结果】，副作用【】，回滚【】。证据自检检查是否存在基线、评测集版本、失败样本…

#蚂蚁#评估与监控#Agent 项目经验

面经·求职· 通用岗位场景

RAG 项目面试会怎样连续追问？一场工程深挖教学复原

匹配正文：…认值，就明确说是默认起点，不要包装成自己的实验结论。更完整的回答是：固定评测集和其他配置，只改变待比较参数，记录召回、排序、延迟与成本，并在独立测试集上复查。真正做过哪些，就只讲哪些。面试官：答案不准就是大模型幻觉吗？先做阶段归因：正确资料是否入库，是否进入候选，重排后是否保留，送给模型的上下文是否完整，生成是否忠于证据。不同原因对应不同修复。只改 Prompt，可能掩盖解析或检索问题。面试官：你怎样证明优化有效？先定义评测集的来源、证据标注和切分方式，再说明检索指标…

#RAG#项目深挖#教学复原

面试题·Agent

Agent 反思机制怎么落地？Reflector 和 Critic 不能只让模型“再想一次”

匹配正文：面试官可能会问：“你们的 Agent 做了反思机制吗？” 很多回答是：“做了，第一次回答后再让大模型检查一遍，有问题就重写。” 这种做法可以算一次额外生成，但未必构成有效反思。同一个模型拿着相同上下文和相同判断标准，再评价一次自己，很可能重复原来的遗漏。即使第二次回答变长，也不代表更正确。工程上的反思应该是一道质量闸门：先把“什么算完成”变成可检查标准，再收集规则、测试、工具返回和来源等外部证据，定位具体缺陷，最后选择局部修复、补充工具调用、重新规划、向用户澄清或安全停止。…

#Agent#架构与规划#Agent 反思机制

面试题·Agent

Deep Research 有 Search、Visit、Scholar 和 Python，Agent 怎样选对工具？

匹配正文：…，也可能没有 URL 便直接调用 Visit；本来查官方文档的问题，它反复使用 Scholar；一个简单换算，它不用计算工具而是凭语言模型心算；工具失败后，又不停重试同一路径。这些错误不会总表现为接口报错。很多调用在程序上成功，研究结果却没有新增可靠证据。所以面试官问“Agent 怎样选择工具”时，真正想听的是：工具能力怎样描述，前置条件和输出证据等级怎样建模，路由由模型还是规则决定，如何处理失败、重复和权限，以及怎样评测工具选得对不对？四个工具解决的是四种不同问题 …

#Deep Research#研究工具与稳定性#Deep Research 工具路由