面试题 · Prompt
搜索「并行」匹配到口述回答，相关段落已展开。查看匹配内容 ↓
在设计大模型的输入输出接口时，如何综合运用提示词工程、解码策略（如约束解码、JSON模式引导）和后处理机制，确保模型稳定、可靠地输出符合指定结构的合法JSON格式？请结合实际场景说明各方法的优缺点及适用条件。
实际部署中采用"提示引导 → 硬约束 → 容错修复"的递进策略，而非单一依赖某一层。
做法
优缺点
适用：原型验证、对准确率要求不高的场景
主流方案
按学习路线查看教程、项目和面试题。
| 方案 | 原理 | 适用场景 |
|---|---|---|
| Grammar-based（如llama.cpp的GBNF） | 基于上下文无关文法，逐token过滤非法跳转 | 边缘部署、高稳定性要求 |
JSON Schema约束（如OpenAI的response_format） | 编译Schema为DFA，动态约束token概率 | 云端API、快速迭代 |
| Outlines/Guidance库 | 预编译索引+动态mask，支持复杂嵌套 | 自研模型、深度定制 |
关键权衡
三级容错
1. 语法修复：删除markdown标记、补全缺失括号（regex+启发式）
2. 字段校验：Pydantic校验 → 缺失字段用默认值/重试填充
3. LLM自修复：将错误JSON+错误信息再次输入，请求修正（1次重试上限）成本意识：L3重试触发率应控制在<2%，否则回退到提示词优化
| 场景 | 推荐组合 | 原因 |
|---|---|---|
| 实时Agent工具调用 | Schema约束 + 轻量后处理 | 延迟敏感，容忍偶发重试 |
| 批量数据生成 | Grammar-based + 完整后处理 | 准确率优先，可并行 |
| 多租户SaaS | 动态Schema + 沙箱校验 | 隔离用户自定义结构 |
避坑：不要同时叠加多层强约束（如Grammar+Schema），状态空间爆炸会导致解码极慢。
建议从基础JSON语法入手，学习提示词设计原则，实践使用如Outlining、Schema-guided decoding等工具，并通过真实项目理解容错与重试机制。
场景切入
假设你在做一个订单查询的客服机器人，用户说“查一下我的订单”，你希望它返回一个结构化的JSON，比如{'order_id': 'xxx', 'status': 'xxx'}。但有时候模型会多输出一句“这是您要的信息”或者把JSON包在markdown代码块里，你怎么保证它每次都输出干净的合法JSON？
层层追问
模型输出不可控，你怎么确保它输出JSON格式？……提示词写清楚够吗？……那如果模型还是乱输出呢，有没有办法在生成过程中强制约束？……万一还是出错，有没有兜底方案？
直球架构
设计一个接口，让大模型稳定输出合法JSON。你会怎么用提示词、解码策略和后处理来分层保证？各自优缺点和适用条件是什么？
这个问题问的是怎么保证大模型稳定输出合法JSON，本质上是结构化输出的可靠性问题。你不能指望模型每次都听话，所以我的思路是搭三层防御，从软到硬再到兜底，而不是只靠一层。
先讲第一层，提示词工程。系统消息里明确说“你是一个严格的JSON生成器”，再给两三个[[Few-shot]]例子，最后加一句“只输出JSON，不要markdown代码块，不要解释”。这套做法零成本，迭代快，适合原型验证或者准确率要求不高的场景。但缺点也很明显，模型该[[幻觉]]还是幻觉，格式说飘就飘。说白了，这就是个软引导，靠不住。
所以真正落地一定要上第二层，约束解码。这里有几个主流方案。一种是基于文法的，比如llama.cpp的GBNF，逐token过滤非法路径，适合边缘部署和高稳定性场景。另一种是JSON Schema约束，像OpenAI的response_format，把Schema编译成自动机，动态约束token概率，适合云端API快速迭代。还有Outlines这类库，预编译索引加动态mask，支持复杂嵌套，适合自研模型深度定制。
这里有个关键权衡：约束越强，推理延迟越高。因为DFA状态跳转有开销。我的做法是把Schema预编译好，再缓存常见结构模板，这样能降低延迟。另外，不要同时叠加多层强约束，比如Grammar加Schema一起上，状态空间会爆炸，解码慢到没法用。
但就算有约束，模型还是可能犯错，所以第三层后处理修复是兜底。我一般分三级。第一级是语法修复，用正则把markdown标记删掉，补全缺失的括号。第二级是字段校验，用Pydantic验证，缺失字段就用默认值填充或者重试。第三级是LLM自修复，把错误JSON和错误信息再喂给模型，让它修正，但重试次数上限只设一次。
这里有个成本意识：L3重试的触发率必须控制在2%以下，超过这个数就说明前面两层没做好，得回头优化提示词或者约束。
举个例子，在实时[[Agent]]工具调用场景里，比如一个客服系统要调用退款接口，延迟敏感，偶尔重试可以接受，我就会用Schema约束加轻量后处理，这样速度快。如果是批量数据生成，比如生成一万条商品描述，准确率优先，可以并行，那就用Grammar-based加完整后处理。要是多租户SaaS，每个用户自定义结构，那就得动态Schema加沙箱校验，隔离不同用户的结构。
所以整体看，我会把这三层看成递进关系，不是非此即彼。实际选型就是根据场景在成本、延迟和准确率之间做取舍。
这里有个延伸点我没细说，就是约束解码对推理性能的具体影响。比如Grammar-based方案里，状态机的复杂度直接影响生成速度，我在上线前会特别关注这个，用benchmark测试不同Schema的吞吐量，防止因为约束太强拖慢整个服务。
最后总结一句，我不会迷信任何一层，而是把提示、约束、后处理当成一个整体来设计，根据业务场景动态调整权重。