页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「KL散度」找到 15 条内容
按专题浏览 →匹配正文：…x,z)-log q(z|x)]。不能把 joint log 与 prior KL 重复相加。 知识蒸馏：在固定温度下最小化 D_KL(P_teacher||P_student)，对学生而言等价于软标签交叉熵加与学生无关的常数；温度与硬标签损失权重需单独说明。 策略优化/对齐：可用 KL 约束新策略不要偏离旧策略或参考策略。方向、是在 token 还是 sequence 层计算、采用精确 KL 还是采样估计，都由具体 PPO/RLHF 实现决定，不能只写一个固定公式。 JS …
匹配标题与标签：…erence Model 在 RLHF 中的角色与更新场景详解 RLHF与对齐 RLHF Reference Model PPO KL散度 策略对齐 2026真题 RLHF Reference Model Reference Model 作用 RLHF 训练 强化学习与RLHF 虾皮
匹配正文：…，低于阈值的不进主训练：全对的进回放池，全错的拆阶段训。我们吃过一次亏，全错的工单直接训，转人工率从 8% 涨到了 41%。 四、KL 约束是干什么的，KL 太大会怎样？ 在使用 GRPO 进行大模型训练时，KL 散度的控制至关重要。请说明 KL 散度过大会带来什么问题，以及你通常采用哪些方法进行调节。（滴滴） 这题最容易答成一句：KL 防止策略更新太快。 这么答是把 clip 和 KL 混在一起了，面试官下一句多半是：那 clip 不是已经在限制更新幅度了吗。 clip 只…
学习内容与项目面试，在同一条路上。