面试题 · Prompt
搜索「Agent落地」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
在动态Prompt生成系统中，控制生成逻辑的Policy模型可能存在错误决策风险。请说明如何通过训练、验证、约束或监控手段确保该Policy的行为正确性和稳定性。
动态Prompt生成系统的Policy模型本质是Agent的"大脑"，需从训练-验证-约束-监控四层构建安全防线。
学习内容与项目面试，在同一条路上。
| 层级 | 方法 | 目的 |
|---|---|---|
| 离线 | 单元测试+对抗样本集 | 覆盖已知风险模式 |
| 仿真 | 沙箱环境模拟交互 | 验证工具调用链正确性 |
| 在线 | 小流量A/B+影子模式 | 真实流量验证无 regress |
| 红队 | 人工攻击测试 | 发现未知漏洞 |
字节实际落地中，通常将Policy拆分为**"小模型决策路由 + 大模型生成"**，小模型可控可解释，大模型负责创意生成，分层解耦风险。
场景切入
假设你给电商客服系统设计Prompt生成，Policy模型要决定用哪个模板和参数。要是它决策错了，比如给用户推了错误的优惠券，你怎么保证这种情况少发生？
层层追问
动态Prompt里Policy模型怎么保证不犯错？……训练阶段你能做什么？……如果上线后还是出问题，有什么兜底措施？
直球架构
动态Prompt生成系统中，Policy模型可能决策出错。说说从训练、验证、约束到监控，你分别怎么设计来确保它的正确性和稳定性？
这道题我觉得本质是在问，动态Prompt生成系统的Policy模型，作为[[Agent]]的决策大脑，怎样保证它不犯错，或者犯了错能兜住。我理解这不是单一手段能搞定的，得从训练、验证、约束、监控四个层面搭一套安全防线，而且每个层面都有适用场景和前提条件。
先说训练阶段。核心是行为对齐，我会用 [[RLHF]] 或者 [[DPO]] 把策略模型跟人类偏好对齐，避免输出有害或者不靠谱的Prompt。同时得做对抗训练，就是故意喂一些边缘案例、噪声输入，让模型见过这些异常之后，遇到类似情况更稳健。但这里有个前提，就是你的对抗样本得覆盖真实业务中的风险模式，比如客服场景里退款金额越权、订单状态篡改这类，样本不对路，训练了也白搭。另外，课程学习也很有用，从简单场景开始，慢慢过渡到复杂动态生成，收敛更稳定。
验证阶段，我习惯分三步走。先是离线评估，用单元测试加对抗样本集，把已知的风险模式都测一遍，比如输出格式对不对、工具调用参数合不合法。然后上仿真沙箱，模拟真实交互，验证工具调用链是不是完整，这一步特别适合 [[Function Calling]] 场景，比如让模型调库存查询API，得确保参数传对了。最后是小流量在线A/B测试和影子模式，在真实流量里跑，看有没有回归。红队测试不能省，人工攻击总能发现自动化测试漏掉的问题。
约束阶段，说白了就是硬边界兜底。我会用规则围栏，比如正则或模板校验输出格式，拦截非法Prompt结构。工具调用走沙箱，敏感操作比如写数据库、改价格，必须经过预定义白名单，不能自由生成危险指令。这里有个场景划分：对高频确定性场景，像订单号检索，硬规则就够用；对复杂创意场景，比如生成营销文案，硬规则只能做格式校验，更多依赖模型能力。所以真正落地常常是规则加模型一起上，规则做第一道闸。另外，置信度阈值也很有用，Policy输出概率低于某个值时，降级到保守默认策略，宁可不做也别做错。
监控阶段，重点是实时闭环。我会看几个关键指标：策略切换频率、工具调用成功率、用户负反馈率。一旦异常指标触发，比如调用成功率骤降，就自动熔断，降级到人工介入或者默认策略。快速回滚机制必须版本化，支持秒级热切换，不然线上出问题就是事故。
这里我多说一句，实际落地中，我倾向把Policy拆成小模型决策路由加大模型生成两层，小模型可控可解释，大模型负责创意，分层解耦风险。但小模型的路由准确率怎么保证，又是一个新问题，比如路由错了，把本该走规则的任务扔给大模型，反而引入不确定性。这个平衡点挺有意思的。
整体来说，我更倾向于把Policy系统的可靠性看作一个系统工程，训练、验证、约束、监控缺一不可，而且每个环节都有成本和收益的取舍，比如训练阶段数据标注成本高，监控阶段告警阈值设太严容易误报。所以我会把重点放在验证和约束上，因为这两个环节直接兜住线上风险，性价比最高。