CPT 后灾难性遗忘怎么防?

连续预训练后出现灾难性遗忘，是指领域数据上的能力提升伴随原有通用能力、对齐行为或其他领域能力下降。它不是看到训练loss下降就能判断，而要在CPT前后用同一组通用、领域、安全和指令遵循评测比较，并排除评测噪声与数据污染。

成因通常包括训练分布大幅偏向新领域，新数据梯度与旧能力所需参数方向发生干扰，以及学习率、训练步数或优化器状态让参数漂移过大。数据重复和领域风格过窄也会放大偏移。把它只解释成有限容量被新知识挤占并不充分，更不能断言浅层语法、中层语义和高层推理会按固定顺序受损。

风险取决于模型用途。医疗或法律CPT可能改善术语与领域知识，却让通用问答、跨语言、格式遵循或拒答边界退化；面向多个业务复用时，这种回归会造成同一版本在非目标流量上失效。若安全与对齐样本没有覆盖，还可能出现拒答率、越权回答或有害内容控制变化。

缓解时可以混入通用回放数据、降低或重新调度学习率、缩短训练、使用参数高效方法、增加正则约束或分阶段训练。但不存在通用的通用数据占比，也不能规定CPT学习率一定是预训练的某个分数。PEFT冻结主干也不保证完全不遗忘，因为适配器仍会改变模型输出分布。

我的做法是先建立多轴回归集，画出领域收益与通用损失的曲线，再对数据混合、学习率、训练步数和可训练模块做消融。关键安全集合应设置不可接受的回归门槛；一般能力则结合业务流量加权。还要检查评测是否与CPT语料近重复，避免把记忆当领域提升。

版本发布前会保留CPT前checkpoint和可回滚数据配方，并按语言、任务、长度和风险场景做切片。若领域收益只能通过明显破坏核心通用能力获得，就应考虑检索、工具或领域adapter，而不是继续扩大CPT。这样遗忘治理是可测量的权衡，不是套用固定比例。

还可以比较CPT前后相同输入的输出分布与关键层表示，但这些分析只用于定位，不能替代任务评测。若某类能力回归，可尝试增加对应回放或限制更新，再观察领域收益是否保留。真正有效的方案应在多个随机种子和未见样本上复现，而不是只让一张平均分表恢复。