页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「Goodhart 定律」找到 3 条内容
按专题浏览 →匹配正文：…成一条无断点趋势。 LLM Judge 从规则到人工校准的流程 规则、盲评、多 Judge、换位和人工锚点共同降低单一裁判风险。 Goodhart 定律在 Agent 评估里怎样出现？ 奖励引用数量，模型开始堆无关链接。 奖励答案长度，模型增加重复背景。 奖励少调用工具，模型提前停止并用记忆补结论。 奖励某个 Judge 的总分，模型学习它喜欢的措辞和结构。 奖励覆盖关键词，模型逐项复述 rubric，却没有真实证据。 这些行为都会让指标上升，但用户任务不一定变好。 一旦评估…
匹配正文：…M-as-a-Judge:用强模型当裁判怎么打分、它有哪些偏见(位置 / 长度 / 自我偏好)、怎么缓解 ✓ 理解评估最大的陷阱:Goodhart 定律(指标一旦成为目标就会被刷),以及怎么防 ✓ 建立「评估 → 训练」的闭环视角:评估发现的弱点,正是下一轮补数据、重训的方向 本章按三段式组织: 段落 给谁看 内容 占比 🚀 Part 1 · 主线实战 零基础,想先看懂 为什么难评估 + 评什么 + rubric 打分小实验 ~45% 🎯 Part 2 · 面试深度 想讲…
学习内容与项目面试，在同一条路上。
匹配正文：…ge 版本变化后重新验证与人工一致性。 不能让同一个 Judge 分数既做唯一训练奖励，又做唯一发布门禁，否则系统会学习迎合它。 Goodhart 定律怎样在 Agent 里出现 奖励引用数量，Agent 可能堆无关链接；奖励少调用，Agent 可能跳过必要验证；奖励报告长度，Agent 会灌水；奖励工具成功率，系统可能只选择最容易成功而非最合适的工具。 防止刷分需要多维度、硬门禁、动态挑战集、对抗样本和人工抽检。指标定义定期复查，关注分数提升是否对应真实 Badcase 减…