完整题目
在大模型应用中,你是如何设计和优化Prompt的?请说明构建原则、迭代方法及实际效果。
本文目录
真实性边界
这是 Prompt 实践经历题。场景、公司、基线、样本数、准确率、幻觉率、token 和延迟都必须来自候选人的真实实验。题库不提供可直接背诵的“优化成绩”。
回答框架
- 任务与失败定义:输入、输出、错误类型、主指标和线上约束。
- 初始基线:模型及版本、原 Prompt、解码参数、评测集和基线结果。
- 迭代过程:每轮只改变有限变量,例如指令分层、上下文、示例选择、结构化输出或校验。
- 因果验证:固定模型与数据做单变量对照,按切片报告质量、格式成功率、延迟和成本。
- 上线治理:版本化、灰度、回归集、监控、回滚和敏感输入处理。
事实填空
任务是【真实任务】,模型版本【】,基线 Prompt【】,评测集【来源/规模/切分】,主要错误【】。我负责【】;第一个改动【】,第二个改动【】,各自消融结果【真实数据】。最终指标【】从【真实基线】到【真实结果】,同时【延迟/token/成本】变化【】,观察窗口【】。