页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「模型退化」找到 4 条内容
按专题浏览 →匹配标题与标签：SFT 复读机问题怎么解? 成因分析:重复样本如何加剧,从优化与数据分布角度 模型训练 监督微调 复读机问题 训练数据 语言模型退化 数据去重 2026真题 SFT 复读机问题 监督微调重复样本 SFT 训练数据分布 大模型训练与微调 字节
匹配标题与标签：CPT 后灾难性遗忘怎么防? 连续预训练后通用能力退化成因与风险,如何缓解 模型训练 连续预训练 灾难性遗忘 知识保留 迁移学习 模型退化 2026真题 连续预训练 灾难性遗忘 CPT 通用能力退化 灾难性遗忘 成因 风险 大模型训练与微调 字节
匹配口述回答：看到 SFT 后概率从集中变平，我不会先下结论说模型退化。置信度、准确率和校准是三件事。模型以前可能过度自信，微调后概率下降但更接近真实正确率，这反而是校准改善。第一步应在同一验证集同时比较 accuracy 或 F1、negative log-likelihood、Brier score、ECE 和 reliability diagram，并按类别、数据域和时间切片。 数据层先看类别先验是否变化。预训练或原分类阶段可能某些类别占比高，SFT 数据更均衡、更模糊，或包含更多边…
学习内容与项目面试，在同一条路上。