匹配口述回答：…数据改造、模板组合、模型生成和真实失败案例脱敏获得，但每条都保留来源和生成方式。合成数据用于扩大覆盖时，要有可执行检查、独立模型或人工复核，避免同一模型生成并自评造成错误自举。试标选一批覆盖主要边界的样本，让标注者独立工作，记录分歧理由，迭代定义与示例。不要先规定必须三到五人、两百条或某个一致性阈值，再强行让任务适配流程。Cohen's kappa 面向两名标注者；多人、缺失和量表结构不同需要选择 Fleiss 或 Krippendorff 等合适统计，并结合原始一致率和类别…

#数据工程#人工标注#数据质量

面试题·Agent· 淘天

LangGraph 优势场景有哪些?

匹配口述回答：…用要幂等/独立记录，不能仅据框架名保证状态永不丢。传统框架要么不支持暂停，要么你得自己写状态持久化。所以像客服升级、合同审批、风控人工复核这种，LangGraph就合适。还有一类场景，长周期多步骤任务的状态恢复。我举个例子，生成一份行业研报，可能要调用二十多个工具，查数据、做分析、写报告，整个过程可能跑几分钟。没有实现状态持久化的链可能从头重跑；其他框架也能设计恢复机制。LangGraph配置持久化后按superstep存state，可复用已保存任务写入，但当前未完成节点可…

#淘天#Agent#LangGraph 优势

面试题·评估· 蚂蚁

Agent 项目踩坑与恢复

…决策和副作用关联到同一 trace。这样即使模型输出不稳定，风险仍有明确边界。三个挑战需要不同证据。质量问题用标注集、错误切片和人工复核；稳定性问题用错误码、超时、循环与恢复记录；成本问题用 token、模型路由、工具调用次数和缓存命中。单独调整 temperature 通常不能证明参数错误已解决，结构化解码和业务校验更关键。缓存虽然降低延迟，也会引入版本、权限和失效风险。是否拆多 Agent 应看任务依赖和受控实验。若多个角色只是顺序执行固定步骤，拆分可能只增加上下文和…

← 上一页第 3 / 3 页

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

匹配口述回答：

#蚂蚁#评估与监控#Agent 项目踩坑与恢复

面试题·模型微调· 滴滴

大模型落地技术范式怎么选?

匹配口述回答：…、规划不合理、安全风险，都是常见失败场景。所以我的判断是，Agent适合那些流程确定但步骤多的任务，而且上线前一定要做好异常兜底和人工复核。说到Agent，我最近比较关注它的自我反思能力，比如 [[Reflexion]] 这类机制，模型执行完任务后能回顾自己的错误并修正，这在一定程度上缓解了稳定性问题。但代价是推理成本会翻倍，而且反思的质量本身也不可控。我觉得这块还有很大的优化空间。所以总的来说，我会把选型看成三层：简单任务先用提示工程和上下文学习试水；知识密集型场景上R…

#滴滴#模型微调#Agent

面试题·多模态· 美团

AI Agent 自主智能体实现陷阱

匹配口述回答：…的，因为不可预测。你需要它知道什么时候该问人，什么时候能自己做。比如一个客服退款Agent，如果它自主判断要退款，但规则上其实需要人工复核，那风险很大。所以落地常见失败场景就是自主权放得太早，导致出问题。我的原则是：先做人在回路，积累数据，再用模拟器加强化学习训练策略，最后逐步放开。评估也是老大难。传统NLP指标对Agent基本失效，你没法用一个BLEU分数衡量它决策对不对。人工评估成本极高，而且不同人标准不一样。所以我会更倾向用领域专用Agent 的路径，先把场景收窄…

#美团#Agent#AI Agent 发展路径

面试题·Prompt· 哔哩哔哩

CoT 思维链由哪些部分构成?

匹配口述回答：…很容易漏掉优惠券分摊。但用CoT，我会让模型先列出每件商品的购买价格，再分别应用折扣和优惠券，最后算总和。这样推理链路清晰，也方便人工复核。不过前提是模型的基础推理能力要够强，如果模型本身逻辑弱，CoT反而会放大错误。常见失败场景是中间步骤写对了但计算错了，或者步骤之间跳跃太大。上线前我会特别关注：用一批标注好的推理题测试，看每一步的正确率，而不是只看最终答案。另外，CoT还有一个变体叫 [[Tree-of-Thoughts]]，它不是单条链，而是树状探索，可以回溯剪枝。对…

#b站#Chain-of-Thought 结构#CoT 组成部分

面试题·RAG· 字节

大模型输出怎么检测和过滤?

匹配口述回答：…索片段，计算语义相似度，如果相似度太低就认为有幻觉，要求模型重新生成或者直接返回检索原文。关键事实还可以要求模型提供引用来源，方便人工复核。异常处理与降级策略也很重要。我会写一个 try-catch 流程：如果解析或校验失败，先重试一次，但用更严格的 prompt；如果还失败，就用模板兜底，比如直接返回“系统繁忙，请稍后再试”；如果涉及安全风险，就进入人工审核队列。降级不是失败，是工程上的理性选择，总比给用户一个错误结果强。最后是反馈闭环。我会把拦截下来的异常样本收集起来…

#字节#大模型输出过滤#大模型输出检测

面试题·检索· 美团

RAG 系统有哪些常见陷阱?

匹配口述回答：…记，比如[来源1]，这样事后能校验答案和原文是否一致。这也是抑制[[幻觉]]的重要手段。另外，我会让模型输出置信度评分，低分答案走人工复核。实际业务中，比如客服退款场景，文档里政策可能有冲突，比如满减和优惠券能不能叠加，模型需要主动说明分歧，不能自己编一个规则。这里有个常见的失败场景：检索内容很多但模型根本不看，自说自话。所以上线后我会监控上下文利用率，看看模型是不是真的在引用检索结果。另外，评估体系不能只看Top-1命中率，要关注召回率和MRR。离线评估时，我会把检索和…

#美团#RAG常见陷阱#RAG 系统陷阱