完整题目
在使用大语言模型时,prompt设计对输出质量有显著影响。请说明prompt优化的主要策略和技术手段,如思维链、少样本学习等,并举例说明其应用场景。
本文目录
主要策略
- 明确任务与边界:写清输入、目标、禁止事项和失败时的行为。
- 结构化输出:优先使用原生 structured output、tool schema 或约束解码;仅靠“请输出 JSON”不能保证合法。
- Zero-shot / Few-shot:简单任务先建立 Zero-shot 基线;Few-shot 用于示范边界与格式,但要防止示例泄漏和位置偏差。
- 推理组织:复杂问题可要求可检查的中间产物、计划或工具结果;不要把不可核验的自由思维链当作正确性证明。
- 检索与工具:外部事实通过 RAG 或工具获得,Prompt 负责规定证据使用和权限。
- 安全:分隔不可信内容,防提示注入,敏感动作必须校验和确认。
假设实验:客服质检
使用明确标注的合成任务,固定模型、解码参数和数据切分,比较基础指令、加入边界 Few-shot、加入结构化输出和加入验证器。指标包括分类质量、格式成功率、校准、对抗样本、安全错误、token 和延迟。结果必须填写真实实验,不能预设从某个准确率提升到另一个准确率。
选择原则
先使用最简单、可维护的方案;只有基线不能满足需求时才增加示例、推理步骤或多次采样。多次采样会增加成本,且多数一致不等于事实正确。