面试题 · 模型微调
在采用动态Prompt机制的模型训练或微调中，如何构建高质量的训练数据？请说明样本生成、标签定义、上下文建模等关键环节的设计思路。
动态Prompt机制的本质是输入依赖的状态机——Prompt结构随上下文、工具返回、用户意图动态变化。数据构建需围绕"状态-动作-转移"三要素展开。
关键原则：不是生成静态(input, output)对，而是生成轨迹数据（trajectory）
学习内容与项目面试，在同一条路上。
例：ReAct场景下，每条样本需包含 (Thought, Action, Observation) 的完整链条，而非仅最终答案
| 粒度 | 适用场景 | 标注内容 |
|---|---|---|
| 粗粒度 | 端到端微调 | 最终输出是否满足用户意图 |
| 细粒度 | 过程监督 | 每步Thought是否合理、Action是否正确调用 |
| 对比级 | RL/DPO训练 | 同一状态下，优/劣响应的偏好对 |
关键决策：是否对"中间步骤"打标签——Agent任务建议细粒度，纯对话任务可粗粒度
训练数据必须通过真实执行验证：
数据迭代：建立"执行失败→归因分析→补充样本"的飞轮，而非一次性标注。
场景切入
假设你在做一个智能客服，用户问“帮我查订单”，然后又说“退款”，系统要根据历史动态调整提示词。你打算怎么准备训练数据，让模型学会这种灵活变通？
层层追问
动态Prompt的训练数据怎么构建？……样本生成要考虑哪些情况？……那标签是只标最终答案，还是每一步都要标？……上下文怎么建模才能让模型知道当前该做什么？
直球架构
设计一个动态Prompt训练数据的构建方案，讲清楚样本生成如何覆盖状态空间，标签定义怎么区分正确与最优，以及上下文建模怎么追踪状态和中间结果。
这道题其实在问一个核心问题：当模型面对一个动态变化的输入环境时，我们该怎么构造训练数据，才能让它学会正确应对。动态Prompt的本质，说白了就是一个输入依赖的状态机，Prompt的结构会随着上下文、工具返回、用户意图实时变化，而不是一套固定的模板。所以数据构建必须围绕状态、动作、转移这三个要素来展开。
先说样本生成。这里的关键不是生成静态的问答对，而是要生成完整的轨迹数据。什么意思呢？就是一条样本必须包含状态、行为、结果的完整链条。举个例子，在客服退款场景里，模型可能要调用订单查询、退款计算、库存确认等多个工具，每一步的思考、动作、观察结果都要记录下来。我会按意图类型、工具组合、轮次数分层采样，确保覆盖常见路径和长尾边界。同时，我会故意构造一些异常分支，比如工具调用失败、信息缺失、用户突然改主意，这些对抗性样本对模型的鲁棒性特别重要。另外，我倾向于用强模型基于规则模板生成基础轨迹，然后在关键决策点上人工精修，这样效率和质量都能兼顾。
再来说标签定义。这里有个边界划分的问题：粗粒度标注适用于端到端微调，比如对话任务，只要最终输出满足用户意图就行；而细粒度标注适用于[[Agent]]任务，需要对每步的思考、动作、观察都打标签。实际落地时，我往往会两者结合，对中间步骤用过程监督，对最终结果用结果监督。比如在订单异常处理中，我会标注每步工具调用是否正确，同时也会标注最终是否解决了用户问题。另外，如果要用RL或[[DPO]]训练，还需要构造同一状态下优劣响应的偏好对。
上下文建模这块，我有个很深的体会：状态追踪机制设计不好，模型很容易失忆。我会把历史工具返回、中间结论编码成结构化格式，比如JSON或XML[[嵌入]]Prompt，这样模型解析起来更清楚。同时，关键信息比如最新观察结果要放在Prompt尾部，利用位置偏置让模型更关注。还有一个容易被忽视的坑：超长上下文时，不能简单截断，而是要做摘要保留关键信息，这需要同步训练一个摘要模块。
最后是质量验证。我坚持一个原则：训练数据必须通过真实执行验证。具体来说，要检查工具调用是否能解析执行，执行结果和标注的观察是否一致，多轮后是否收敛到正确终态。常见失败场景是，数据标注时模型能走通，但上线后因为工具返回格式或内容变化就崩了。所以我会建立执行失败、归因分析、补充样本的迭代飞轮，而不是一次性标注完就完事。
其实还有一个关键点我没展开，就是当动态Prompt中涉及多工具并行调用时，数据如何构造。比如一个任务需要同时查询库存和价格，模型怎么决定调用顺序？这直接影响到训练数据的标注策略。这个场景下状态空间会指数级增长，如何处理？
所以总结下来，我更倾向于把动态Prompt的数据构建看作一个系统工程，核心是围绕状态机生成轨迹数据，按任务粒度定义标签，做好状态追踪，并用执行闭环持续迭代。做好了这些，模型才能真正适应动态环境。