LLM 训练哪步最难?

如果让我选一个最具挑战的环节，我会选数据工程，但会明确这是面向通用大模型训练的工程判断，不是所有项目的定律。模型结构和训练系统有大量公开方法，而数据来源、许可、质量标准和目标分布与组织场景紧密相关，很多问题到训练后才暴露。

数据难在错误隐蔽且影响链长。重复会重加权样本并浪费预算，低质与有毒内容会进入模型行为，近重复还会污染评测；许可证、隐私和删除请求需要数据血缘。过滤过强又会删掉方言、专业术语和长尾能力，因此不是清洗越多越好。

不能说某个重复比例必然导致退化，也不能给长文清洗固定成本倍数。代码占比变化可能影响能力和输出风格，但对话风格是否变得指令化还受到预训练混合、SFT和prompt影响。所有因果都要通过当前语料的配比与去重消融验证。

长文数据还涉及文档边界、章节顺序、模板重复、时间戳和版权，不只是长度更长。代码数据要处理许可证、secret、自动生成文件、仓库级去重和基准污染。不同领域的数据质量定义不同，单一困惑度或质量模型很难覆盖。

算力与系统也并非有钱就能解决。大规模训练仍有通信、容错、数值稳定和利用率挑战；算法目标、tokenizer和优化器也会与数据交互。把框架称为完全标准化，会低估硬件拓扑和恢复机制。我的排序只是认为数据的不可替代性和事后修复成本更高。

工程上我会把原始数据、解析、过滤、去重、切分和混合全部版本化，保留原因码与血缘。先用proxy model比较配方，再用更大训练确认缩放是否一致，同时看目标能力、通用回归、记忆、毒性和污染。若小模型结论不能复现，就不直接放大。

回答时我不会冒充亲历某次训练事故，而是给出可执行判断：数据变更必须可追溯、可删除、可复现，任何质量结论都要有抽样审计和训练消融。这样既说明数据为何难，也避免用未经来源支持的行业故事包装观点。

数据管线还要设置停止条件。质量模型分数继续提高但抽样误杀上升，或新增来源只带来重复与许可风险时，应停止扩量。数据团队需要和评测、训练、安全共同确认目标，而不是用单一token规模驱动。真正成熟的流程能解释每次数据变更为何值得进入下一次训练。