页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「数据质量」找到 86 条内容
按专题浏览 →匹配正文：…70B Chinchilla训练约1.4T token，常被概括为约20 token每参数，但这是特定模型族与预算下的经验点，后续数据质量、重复训练、推理成本和架构都会改变最优比率。泛化也不能只看预训练loss；更大模型可能提升平均基准，同时在长尾、安全或领域任务上仍失败。过参数化为何便于优化有理论研究，但不能推出全局最优保证。 工程验证 规划规模时先固定总训练FLOPs、可用高质量token、目标推理预算和评测。做多个小规模点，拟合自身模型族的loss曲线，并检查不同数据混…
匹配正文：…响的是容量，不是单一结论 参数增多通常扩大函数容量，并可能在足够数据与计算下改善训练损失和迁移能力，但效果取决于训练 token、数据质量、计算预算、架构和优化。不能用“参数数大于 token 数”判断过拟合：token 不是独立样本，参数共享也使简单样本数比较失去解释力。 四个观察维度 学习能力：更大模型能表示更复杂模式，但容量没有被数据和计算充分利用时，收益会饱和。 训练动态：显存、通信、吞吐和数值稳定性更难；不应断言模型越大损失面必越平、梯度噪声必越大或 SGD 必到全…
匹配正文：…节顺序、模板重复、时间戳和版权，不只是长度更长。代码数据要处理许可证、secret、自动生成文件、仓库级去重和基准污染。不同领域的数据质量定义不同，单一困惑度或质量模型很难覆盖。 算力与系统也并非有钱就能解决。大规模训练仍有通信、容错、数值稳定和利用率挑战；算法目标、tokenizer和优化器也会与数据交互。把框架称为完全标准化，会低估硬件拓扑和恢复机制。我的排序只是认为数据的不可替代性和事后修复成本更高。 工程上我会把原始数据、解析、过滤、去重、切分和混合全部版本化，保留原…
学习内容与项目面试，在同一条路上。