搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「连续预训练」找到 1 条内容
匹配正文：连续预训练后出现灾难性遗忘，是指领域数据上的能力提升伴随原有通用能力、对齐行为或其他领域能力下降。它不是看到训练loss下降就能判断，而要在CPT前后用同一组通用、领域、安全和指令遵循评测比较，并排除评测噪声与数据污染。 成因通常包括训练分布大幅偏向新领域，新数据梯度与旧能力所需参数方向发生干扰，以及学习率、训练步数或优化器状态让参数漂移过大。数据重复和领域风格过窄也会放大偏移。把它只解释成有限容量被新知识挤占并不充分，更不能断言浅层语法、中层语义和高层推理会按固定顺序受损。…
学习内容与项目面试，在同一条路上。