页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「知识蒸馏」找到 10 条内容
按专题浏览 →匹配正文：…)，也等价于 E_q[log p(x,z)-log q(z|x)]。不能把 joint log 与 prior KL 重复相加。 知识蒸馏：在固定温度下最小化 D_KL(P_teacher||P_student)，对学生而言等价于软标签交叉熵加与学生无关的常数；温度与硬标签损失权重需单独说明。 策略优化/对齐：可用 KL 约束新策略不要偏离旧策略或参考策略。方向、是在 token 还是 sequence 层计算、采用精确 KL 还是采样估计，都由具体 PPO/RLHF 实现决…
匹配正文：…2. 微调策略 事实性SFT：用高质量QA对训练，强化"不知道就拒绝" 偏好对齐：RLHF/DPO中引入事实性奖励，惩罚幻觉输出 知识蒸馏：从大模型蒸馏事实性强的推理链到小模型 3. 推理时干预（Inference-Time Intervention） 不修改模型，在生成过程中干预： 方法 机制 代表工作 对比解码 对比大模型与浅层输出，抑制幻觉 DoLa 注意力引导 强制关注输入上下文 ITI 自我验证 生成后让模型自检，迭代修正 Self-Check 4. 知识编辑（Mo…
匹配正文：…声都会改变 posterior。硬标签噪声仍是 one-hot 错标，不等同于软标签。 训练目标：label smoothing、知识蒸馏软目标、Mixup、熵或 logit 正则会抑制极端 logits；class weighting 也会改变有效先验。 优化与模型：学习率过大、分类头重置、灾难性遗忘、冻结策略、训练不足、weight decay 和 dropout 都可能缩小 logit margin。 实现与校准：重复 softmax、temperature 配置、tr…
学习内容与项目面试，在同一条路上。