搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「LLM-as-a-Judge 偏差」找到 1 条内容
匹配正文:开放式调研报告没有唯一标准答案,人工逐篇审核又慢又贵,因此很多团队使用 LLM-as-a-Judge。 给 Judge 一份 rubric,它可以评价引用、覆盖、结构、幻觉和过程,并输出结构化分数。 问题在于,Judge 自己也是模型。 它可能偏爱更长的答案、某个展示位置和与自己风格相近的文本。更危险的是,当 Judge 分数被用于训练 reward,Agent 会逐渐学习“怎样让这个裁判满意”,而不一定真的更准确。 这就是 Goodhart 风险:指标一旦成为优化目标,就可…
学习内容与项目面试,在同一条路上。