匹配正文：核心原则稳定 JSON 输出依赖协议约束、解析、Schema 校验和有限重试的闭环。提示词只能降低格式错误，普通 Function Calling 也不天然保证参数满足全部 Schema；只有提供方明确支持并启用严格结构化输出时，才能依其文档讨论约束强度，服务端仍应校验。 1. 优先使用结构化协议为输出定义 JSON Schema，包括字段类型、必填项、枚举、数值范围和是否允许额外字段。模型支持 strict structured output 时优先启用；工具调用场景…

#阿里云#大模型 JSON 输出#提示词设计

面试题·Prompt· 字节

Policy 模型错误决策怎么防?

匹配正文：…试多维度验证约束阶段：硬规则围栏+输出格式校验+工具调用沙箱监控阶段：实时指标告警+人工审核闭环+快速回滚机制核心思路动态Prompt生成系统的Policy模型本质是Agent的"大脑"，需从训练-验证-约束-监控四层构建安全防线。一、训练阶段：行为对齐 RLHF/Constitutional AI：用人类反馈或宪法原则约束策略，避免有害输出对抗训练：注入噪声输入、边缘案例，提升Policy对异常请求的鲁棒性课程学习：从简单场景逐步过渡到复杂动态生成，稳定收敛 …

希望老师帮你把学习与项目串起来？

了解 AI 全栈 1v1 陪跑营的项目安排、导师答疑与简历面试辅导。

查看课程安排 →咨询学习安排

学习内容与项目面试，在同一条路上。

站内 RAG 在线实战

#字节#Agent#Policy 模型

面试题·Agent

LangGraph 的 StateGraph 怎么设计？State、Node、Edge 到底各负责什么

匹配正文：…题和执行摘要最好有独立字段。这样最终输出节点不必重新翻完整消息历史，也方便接口层只返回允许暴露的信息。 State 设计有一个实用原则：每个字段都应该能说清由哪个节点写、哪些节点读、是否允许覆盖。如果一个字段任何节点都能随意修改，它很快会变成隐形耦合点。 Node：把每一步写成可验证的状态变换 Node 可以是调用模型、执行工具、检查规则或整理输出的函数。它最重要的边界不是“一个节点只能做一件小事”，而是一次状态变化要有清楚责任。以常见的五个节点为例。 Router：确认任…

#Agent#工作流与状态#LangGraph StateGraph 设计

求职指南·求职

转大模型应用开发,数学和深度学习理论要补多少

匹配正文：…积分不用死磕训练侧才需要,应用岗跳过损失函数数学证明不用死磕知道"交叉熵衡量预测分布和真实分布的差距"这一句话够用判断原则很简单:凡是"用来解释一个已有系统为什么这么设计"的直觉,补;凡是"用来自己从零训一个模型"的推导,先放下,真需要时再回补。为什么应用岗真的不靠数学因为应用开发岗每天在做的事,和数学推导几乎不沾边。把一天拆开看就清楚了: 日常工作需要的能力需要手推数学吗文档切块、清洗、构建索引数据处理、工程不需要调检索、调重排、调 Prompt…

#求职#职业转型

项目实战·RAG

第 8 章:多轮对话与记忆管理

匹配正文：…跨次聊天的懂你"。小项目先把短期做好就够用了。概念 3:为什么对话历史不能"全塞给模型"? 最朴素的想法是:把所有历史都拼进 prompt 不就行了?不行:大模型一次能读的 token 有上限(第 1 章讲过),对话一长就塞不下;而且塞太多旧的、无关的,反而会干扰生成(还记得第 6 章的 Lost in the Middle 吗)。所以记忆模块的核心工作之一,就是有策略地"选"和"裁":留住该留的,压缩或丢掉没用的。 🛠️ 跟着做:30 行实现"带记忆 + 指代消解"的…

#RAG#检索#项目实战

求职指南·求职

后端工程师转大模型应用开发:已有经验怎么迁移

匹配正文：…没有回归基线。把 Prompt 当静态配置:觉得 Prompt 就是个写死在配置里的字符串,不做版本管理、不做实验对照。实际上 Prompt 是需要持续迭代的「代码」,改一个字可能让某类问题从对变错。只堆技术名词不讲业务效果:简历和面试里罗列「用了 LangChain、Milvus、重排模型」,但说不出解决了什么业务问题、指标提升了多少。面试官要的是效果闭环,不是技术清单。这四个坑本质是同一个错误的四种表现:用确定性系统的世界观,去做一个概率系统。避坑的总原则是——凡是…

#求职#职业转型

面试题·RAG

Chunk 为什么要带标题、页码和前后片段 ID？

匹配正文：…检查模型使用了哪些证据，引用编号是否存在，回答能否回到来源。它能发现错引和漏引，却无法挽回前面已经把错误资料送入模型的问题。判断原则可以用一个纯教学场景说明。一份旧制度处于停用状态，如果系统只是降低它的排序分，它仍可能在新文档召回失败时进入上下文。更稳妥的处理是先通过状态和版本字段决定它是否有资格被检索。如果业务确实需要查询历史版本，再由明确的时间条件或独立入口放开，而不是让新旧制度默认混在一起竞争。权限还要贯穿缓存。假设两位用户提出完全相同的问题，但可访问的知识库不同，…

#RAG#切分与索引#RAG Metadata

面试题·Agent

Agent 调用写操作怎么防误执行？副作用分级、幂等、确认和审计怎样做

匹配正文：…层判断这个动作当前是否允许，用户或审批人确认高风险意图，执行层使用幂等和状态机保证同一动作不会重复提交，审计层记录最终执行了什么。Prompt 只能提醒模型，真正边界必须在程序侧强制。先给出 30 秒回答我会先按只读、可逆写、不可逆或高风险写对工具分级。模型返回写操作后，后端重新做身份、对象权限、参数和当前业务状态校验；可逆写操作使用 Dry-run 展示影响，再绑定参数摘要让用户确认；高风险动作进入固定 Workflow 或人工审批。真正执行时为一次业务意图生成稳定幂等…

#Agent#工具调用与安全#Agent 写操作幂等

面试题·RAG

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

匹配正文：… Query 优化变成不可控的调用链。缓存也要按处理版本隔离。原 Query 相同，但历史不同，重写结果可能完全不同；同义词表、提示词或模型升级后，产物也会变化。缓存键至少要包含会影响结果的会话上下文摘要和处理版本，不能只用用户输入文本，否则上一段对话的实体可能被复用到另一段会话。什么时候应该直接向用户澄清？ Query 优化的目标不是让系统无论如何都搜出内容。有些问题缺少的信息无法从对话历史安全补全。例如用户说“这个能不能退”，上一轮同时出现了两个对象；或者用户只问…

#RAG#检索与重排#RAG Query 重写

面试题·Agent

Agent 长期记忆什么时候写入？从候选提取到更新、冲突和遗忘的完整生命周期

匹配正文：…是秘密保险箱。即使用户主动粘贴，也应按安全策略拦截或脱敏，而不是为了“下次方便”长期保存。第六类是一次成功产生的全局方法。某个 Prompt 在一个样本上有效，不足以证明它是稳定程序记忆。可复用经验应经过多样任务验证或人工批准。面试时如果只回答“重要的信息才存”，面试官通常会追问谁来定义重要。更好的回答是给出类型、来源、用途、授权和验证五个判断维度。候选记忆需要一张暂存区候选与正式记忆分层，能让写入过程可回放。候选区可以保存提取内容、来源消息引用、候选类型、提取器版…

#Agent#记忆与存储#Agent 记忆写入机制

面试题·Agent

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

匹配正文：…、项目或工作区、角色与 Agent 能力、记忆类型、active 状态、版本、有效时间、数据用途和敏感等级。具体字段按产品定义，但原则是越权与失效数据在候选生成前就排除。有些向量数据库支持元数据过滤，也仍需在结果回到主存储后复查权限、版本和状态。索引可能同步延迟，旧向量仍在。主记录是当前有效性的依据，不能把索引副本当最终事实源。这也解释了为什么记忆写入必须保存来源、主体、权限、时间和版本。写入时只存一段文本，检索时就没有可靠字段做硬过滤。相关性不是只有一个向量分数语义…

#Agent#记忆与存储#Agent 记忆检索排序

面试题·RAG

资料里没有答案时，RAG 怎么避免强行生成？

匹配正文：…入降级流程。无答案控制的四道门范围过滤、相关性筛选、充分性判断和生成后核验，分别拦截不同来源的错误。这四道门不能互相替代。 Prompt 里写一句“资料不足就说不知道”，不能修复错误的搜索范围。相似度很高，也不能证明一组片段覆盖了答案所需的全部条件。生成后增加引用编号，同样不能让一条没有依据的结论自动变真。阈值应该怎么定？阈值不是从网上抄一个小数，也不是看几个演示问题拍出来的。先准备两组问题。第一组是可回答问题。每个问题都要标出参考答案，以及能直接支持答案的原文…

#RAG#生成与对话#RAG 无答案检测

面试题·Agent

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

匹配正文：…质量门。平均 reward 上升，但引用、工具成本或安全退化，只因总分权重把它们抵消。第四种是无法归因。同时更换数据、模型、Prompt、环境与 reward，最终不知道哪个改动有效。应采用小步版本、固定回归集和阶段报告。每次训练都能回答“改变了什么、为什么改变、是否可复现”。多阶段训练风险与验收矩阵阶段越多，越需要独立目标、版本血缘和跨阶段回归。同一条轨迹能不能在三个阶段重复使用？原始任务和证据可以复用，但训练表示与目标不能简单复制。 CPT 更关注大规模行…

#Deep Research#数据构造与训练#Deep Research 多阶段训练

面试题·Agent

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

匹配正文：…等与审批，Supervisor 的决策也要记录理由并通过完成条件验证。这样既保留开放探索，又避免中央 Agent 包办一切。核心原则是：能由代码确定的路径不交给模型猜，真正需要语义判断的位置才使用 Supervisor。 Pipeline 与 Supervisor 的编排边界固定依赖用图控制，运行时未知分支才需要动态监督。 Pipeline 模式到底是什么 Pipeline 不只是把多个 Agent 写成一个数组顺序调用。它描述任务依赖、节点输入输出、成功条件和失败边。 …

#Agent#多智能体与评估#多 Agent 编排模式

面试题·RAG

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

匹配正文：…和任务作用域，再读取短期窗口和长期候选。对于持久数据库，可以按字段过滤；对于向量检索，也要限制在允许访问的分区或候选集合内。关键原则是：先确定“哪些记忆有资格被看见”，再在其中判断“哪些语义相关”。如果先从全体用户记忆做向量近邻，再在结果末端补权限过滤，不仅可能浪费候选名额，也会增加数据越界风险。第五步：融合时处理冲突检索到记忆后不能直接全部拼入 Prompt。系统需要检查时间、状态、主题和来源。当前用户明确修改了偏好，新值应使旧值失效；长期记忆与当前会话冲突时，应优先…

#RAG#生成与对话#RAG 记忆模块

面试题·Agent

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

匹配正文：…用户只说‘查上个月华东的活跃客户’，你怎么让模型知道该用哪些表和字段？” 很多 Text2SQL Demo 会把全部建表语句塞进 Prompt，让模型直接生成 SQL。表少时看起来能跑，表一多就会出现三类问题：上下文被无关字段占满；同名字段和相似表互相干扰；用户说的是业务词，数据库里却只有技术字段。更难的是“活跃客户”本身没有唯一含义。它可能指登录过、下过单、产生过付费或满足某个客户分层规则。“上个月”按自然月还是最近三十天，“华东”按客户注册地、收货地还是组织归属，也都需…

#Agent#工具调用与安全#Text2SQL Schema 选择

面试题·Agent

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

匹配正文：…。可按步骤让出执行权，或者使用公平队列与预算配额。高优先级不能无限饿死普通任务，租户之间也不能共享状态和配额。这些都是服务设计原则，本文不虚构已经达到的并发数、QPS 或排队时长。 Continuous Batching 能解决整个长任务调度吗？不能。 Continuous batching 解决的是模型推理服务内部，不同请求解码长度不一致造成的槽位浪费。完成的请求退出后，新的请求可以进入批次。 Deep Research 的一个任务却在模型调用之间穿插外部 IO、控制…

#Deep Research#上线成本与评估#Deep Research 长任务

面试题·Agent· 蚂蚁

多轮对话上下文状态管理机制

匹配正文：核心原则：持久状态与模型上下文分离持久状态保存完整、可审计的会话事件；模型上下文只是当前请求按 token 预算组装出的工作集。不能把 prompt 当作唯一状态，也不应默认永久保存所有对话。 1. 存储与数据模型以 session_id、递增序号和事件 ID 记录用户消息、模型输出、工具调用、结果、确认与错误。数据库或事件日志作为权威来源；Redis 可缓存最近轮次和版本，但不作为唯一真相。摘要、关键实体和用户确认的事实应带来源消息 ID、生成版本和时间，便于失效与…

#蚂蚁#Agent#多轮对话上下文管理

面试题·Agent· 阿里

Agent 外部工具怎么集成?

匹配正文：… 并发执行 → 同时调get_order_status + get_logistics，DAG无依赖结果合并 → 结构化数据注入prompt，生成自然语言回复异常兜底 → 物流接口超时 → 返回"已发货，预计3天送达"（基于订单时间估算）核心权衡：工具粒度（细粒度灵活 vs 粗粒度减少调用次数）需根据延迟要求和LLM能力动态调整。学习建议建议从API设计原则入手，学习REST/gRPC接口规范，掌握JSON Schema参数校验，理解异步任务调度与重试机制，结合La…

#阿里云#Agent#Agent 工具集成

面试题·Agent· 蚂蚁

Agent 工具调用失败怎么处理?

匹配正文：核心设计原则：分层反馈 + 状态驱动决策一、错误信息暴露策略（分层控制）层级暴露内容适用场景受控诊断经脱敏的错误码、参数路径和可修复摘要如缺字段/枚举错误；不向模型发送凭据、内部堆栈和敏感参数语义化摘要 "认证失败"/"数据不存在" 通用场景，避免信息过载完全屏蔽仅返回"工具不可用" 安全敏感或外部不可信工具关键判断：先满足最小信息与敏感数据策略，再按可修复性和实测错误处理能力选择反馈；不存在7B/70B的通用能力门槛。认证由可信服务处理，不把访问tok…

#蚂蚁#Agent#Agent 工具调用失败

面试题·Agent· 高德

Agent API容错：重试降级与澄清

匹配正文：…NS失败重试 + 熔断应用层 4xx/5xx、限流、格式错误降级 + 告警业务层空结果、语义不匹配用户澄清或兜底核心原则：每层只处理本层能决策的，向上层暴露必要上下文。二、重试策略设计指数退避 + 抖动： delay = min(base * (2 ** attempt) + random_jitter(), max_delay) attempt < max_retries # 通常3-5次参数示例：base=1s, max_delay=30s, max_…

#高德#Agent#Agent 容错机制

面试题·文档处理· 字节

RAG 文本分块与向量索引流程

匹配正文：一、文本分块（Chunking）核心原则：语义完整性与检索粒度的平衡策略适用场景工具固定长度候选实现简单，参数需评测 LangChain RecursiveCharacterTextSplitter 语义分块文档结构清晰（论文、合同）按标题/段落边界切分递归分块长文档层次化结构先按章节，再按段落滑动窗口需要上下文连贯比较无重叠、短重叠和较长重叠关键细节：chunk size 必须低于实际嵌入模型的输入限制，并在同一评测集比较；过小可能造成语义碎片…

#字节#文档处理#向量检索

面试题·文档处理· 字节

医疗法律文档切块

匹配正文：核心原则专业文档（医疗/法律）的核心特征是强结构、强引用、术语密集，切块需优先保证语义完整性和上下文可追溯性，而非简单按token切分。常见策略对比策略做法优点缺点适用场景固定长度切块按token/字符数硬切（长度需通过实验确定）简单、批量处理快、embedding对齐切断语义、丢失章节边界、表格被破坏非结构化文本、快速原型递归字符切块按标点→句子→段落层级递进切分保留基本可读性、实现简单对复杂嵌套结构（法律条款层级）处理粗糙通用文档、博客文…

#字节#医疗法律文档切块#医疗和法律文档怎么切块？结构、语义与引用边界

JSON 输出怎么保证稳定可靠?

怎么让模型稳定输出 JSON?

Policy 模型错误决策怎么防?

LangGraph 的 StateGraph 怎么设计？State、Node、Edge 到底各负责什么

转大模型应用开发,数学和深度学习理论要补多少

第 8 章:多轮对话与记忆管理

后端工程师转大模型应用开发:已有经验怎么迁移

Chunk 为什么要带标题、页码和前后片段 ID？

Agent 调用写操作怎么防误执行？副作用分级、幂等、确认和审计怎样做

Query 重写、扩写和 HyDE，应该在哪些查询上启用？

Agent 长期记忆什么时候写入？从候选提取到更新、冲突和遗忘的完整生命周期

Agent 从海量记忆里怎么找对内容？相关性、时间性和重要性怎样组合

资料里没有答案时，RAG 怎么避免强行生成？

Deep Research Agent 训练中，CPT、SFT 和 GRPO 应该怎样取舍？

多 Agent 怎么编排？固定流水线和 Supervisor 监督模式怎么选

对话历史太长怎么办？滑动窗口、摘要和长期记忆怎么分工？

Text2SQL 面对上百张表，怎样选对 Schema 并处理业务歧义

Deep Research 一跑几分钟，为什么不能用普通同步接口硬等？

多轮对话上下文状态管理机制

Agent 外部工具怎么集成?

Agent 工具调用失败怎么处理?

Agent API容错：重试降级与澄清

RAG 文本分块与向量索引流程

医疗法律文档切块