完整题目
请详细说明监督微调（SFT）与预训练阶段在目标、数据、训练方式等方面的区别。SFT可能带来哪些问题（如复读机现象）？在什么场景下选择SFT作为对齐手段更为合适？
预训练与 SFT 常共享 next-token 交叉熵，差异主要在数据和监督范围
自回归预训练通常在大规模通用文本上预测下一个 token，几乎所有有效 token 都参与损失，目标是学习语言、知识和通用表示。SFT 使用人工或合成的指令、对话和目标回答，仍常采用 next-token cross-entropy，但通过对话模板与 loss mask 只监督 assistant 回答或指定部分，目标是让模型遵循任务、格式、风格和行为边界。学习率、训练轮数、数据规模与混合策略也通常不同，但没有某个训练方式的固定参数。
SFT 风险包括示范错误被直接模仿、长回答或固定措辞偏置、训练集复述、灾难性遗忘、领域过拟合、拒答失衡和模板泄漏。所谓“复读机”需要区分训练样本记忆、解码重复、数据重复和提示模板问题，再分别处理去重、数据多样性、正则、混合预训练数据、学习率与解码。
SFT 适合有高质量目标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过程监督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 PPO 更不稳定。
图解
继续追问 · 3 个问题
- SFT之后为什么还需要RLHF，直接用SFT对齐有什么问题
- SFT数据质量与数量的权衡，数据量过大有什么风险
- 如果业务场景只有领域数据没有指令数据，如何设计SFT方案
换一种问法，检查是否真正理解
场景切入
假设现在要把通用基座适配成任务助手。你会怎样区分预训练与 SFT 的数据、监督范围和目标行为，并根据评测决定是否还需要偏好优化或其他手段？
层层追问
两阶段都可能用 next-token CE，真正差异在哪？……SFT 的 loss mask 怎样工作？……复读、记忆与遗忘如何区分？……什么证据支持继续用 DPO、在线 RL、工具或规则？