Prompt优化怎么评估准确性与效率？

这道题其实是在问：当我们改了一条Prompt，怎么判断它到底是让[[Agent]]变聪明了还是变傻了？不能只看单次回答好不好，得从整个推理链路去衡量。我的思路是分层设计，先看单节点Prompt本身的效果，再看它对整个链路的影响，最后落到业务价值上。

先说准确性。我会分三个层次去盯：任务级、步骤级和工具级。任务级就是端到端目标达成率，比如客服退款场景里，用户最后有没有成功退款到账；步骤级是[[ReAct]]循环里每一步的Thought、Action、Observation是否合理，比如Agent有没有正确识别用户情绪、有没有选对工具；工具级更细，比如调用退款接口时参数传对了没有、时机是不是合适。这里有个现实问题：人工标注成本太高，所以我一般先用LLM-as-Judge做初步筛选，只对边界case人工复核，这样效率高很多。

再一个就是稳定性。Prompt优化最怕什么？怕它时好时坏。我会看输出一致性，同一个输入跑多次，结果是不是稳定，可以用BERTScore或者任务特定的相似度来算；还有方差控制，关键指标的标准差不能太大；另外异常率也很重要，比如[[幻觉]]、死循环、格式错误这些失败模式占比多少。

效率方面，我主要看Token效率和延迟分解。Token效率就是有效信息产出除以总Token消耗，别让Prompt变长换来一堆废话。延迟分解要拆开看：首Token时间、每步平均耗时和步骤数。这里有个反直觉的点：Prompt变长可能增加单步延迟，但如果能减少步骤数，整体效率反而可能提升。

链路级评估我一般用端到端追踪工具，比如LangSmith或者Phoenix，把完整推理轨迹录下来。然后做归因分析，固定其他节点Prompt，只改目标节点，或者做消融实验，看哪个步骤对最终成功率影响最大。举个例子，客服退款场景里，如果Agent第一步意图识别错了，后面所有步骤都白费，那这个节点就是瓶颈。

实验设计有几个前提必须满足：同一模型版本、温度参数、工具集都要固定。样本量至少100个独立任务，覆盖不同难度分布。统计检验要用配对t检验或Bootstrap置信区间，不能只看均值。

这里有个坑：如果任务本身有随机性，比如模型温度高，那结果方差会很大，单次实验可能看不出显著差异。所以我会先建一个基线指标看板，把当前版本的表现跑透，然后小流量A/B验证，避免全量上线后发现问题回滚困难。

最后我想提一个延伸点：Prompt优化和微调怎么配合？比如有些场景下，光改Prompt不够，还得结合少量数据微调才能稳定提升。但微调成本高，而且可能破坏原有能力。所以我的取舍是：优先用Prompt优化，因为它轻量、可回滚；只有当优化效果不显著或者稳定性太差时，才考虑微调。这个选择其实取决于业务对稳定性和迭代速度的要求。

所以整体上，我更倾向于把Prompt优化评估看成一套持续监控体系，而不是一次性的打分。先建基线，再小流量验证，最后用统计手段确认效果，这样上线才放心。