Prompt 怎么系统设计与优化?

这道题问的是怎么让大模型稳定输出高质量结果，其实本质是控制沟通。模型不是你肚子里的蛔虫，你给的提示词就是唯一通道，所以系统性设计提示词的核心就是把这个通道管好，减少歧义和随机波动。

我常用的基础模板是四层结构。先说角色层，给模型一个身份，比如资深数据分析师，这能激活它领域相关的知识，让输出更专业。然后是任务层，把输入是什么、要做什么处理、输出什么目标写清楚，避免模糊指令。再一个约束层，硬性规则比如长度限制、不能用某些词，软性偏好比如风格、详略程度，都要写进去。最后格式层，强制输出JSON或Markdown，方便下游解析。这四层下来，基础质量就稳了。

但实际落地不能只靠静态模板，得动态调整。举个例子，做客服退款场景，用户问为什么退款没到账，模型需要理解政策、查订单状态、给出解释。这时候我会用[[Chain-of-Thought]]让模型逐步推理，先分析用户意图，再匹配政策规则，最后生成回复，这样逻辑更清晰。如果遇到低资源任务，比如新业务刚上线，历史数据少，我就用[[Few-shot]]给3到5个输入输出对，覆盖边界情况。

更常见的场景是[[RAG]]，比如企业做合规文档问答。这时候有个关键边界：模型容易混淆自己的知识库和检索来的文档。所以我会在提示词里显式区分，说清楚检索到的内容优先级更高，同时设置拒答阈值，比如检索置信度低于0.7就回复信息不足。还有一个坑是，如果检索结果里一堆无关内容，模型会被带偏。所以我上线前会特别关注召回质量，用[[Hybrid Search]]把关键词和向量结合起来，再做个[[Rerank]]，把最相关的排前面。

评估体系我分三层。第一层规则层，用正则或JSON Schema检查格式对不对，比如字段有没有缺失。第二层模型层，用更强的模型比如GPT-4当裁判，按评分规则打分。第三层业务层，埋点看用户满意度、任务完成率，还要抽检人工复核准确率。迭代时我会建一个提示词版本库，小流量A/B测试，关键变更必须跑回归测试，包括对抗样本，比如故意给模糊提问或者恶意输入。

这里有个落地前提：评估标准得先定义清楚，不然迭代方向就偏了。常见失败场景是业务侧和模型侧对质量理解不一致，比如业务觉得要详细，模型觉得要简洁。所以上线前我会和业务对齐评分细则，比如准确率、完整性、合规性各占多少权重。

还有一个点我最近在思考，就是系统Prompt和用户Prompt的边界。比如在客服场景，系统Prompt定义了角色和全局规则，用户Prompt是具体问题，但模型有时会混淆，把用户Prompt里的错误信息当成真理。所以我会在系统Prompt里加一句：如果用户信息与系统规则冲突，以系统规则为准。这个边界处理不好，很容易出[[幻觉]]或安全漏洞。

所以整体上，我更倾向于把提示词工程看作一个持续优化的闭环，不是写一次就完事。每个场景都要根据业务反馈调参数，而且不同场景策略不一样，比如RAG重检索质量，[[Agent]]重工具调用和错误恢复。没有银弹，但把结构、动态、评估这些环节管好，质量就能稳定提升。