页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「预训练数据」找到 6 条内容
按专题浏览 →匹配标题与标签：训练数据怎么采集和预处理? 大规模语言模型数据来源、去重、过滤、分词等关键步骤 模型训练 数据工程 数据清洗 去重策略 数据配比 预训练数据 2026真题 LLM 训练数据 数据预处理 数据去重 数据过滤 大模型训练与微调 百度
匹配正文：…、拒答失衡和模板泄漏。所谓“复读机”需要区分训练样本记忆、解码重复、数据重复和提示模板问题，再分别处理去重、数据多样性、正则、混合预训练数据、学习率与解码。 SFT 适合有高质量目标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过程监督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 P…
匹配正文：…e 仿真-现实 gap，行为模式单一 LLM 合成数据 快速扩展场景多样性 可能继承模型偏见，需过滤验证 实践策略：仿真生成大规模预训练数据 + 人工标注关键决策点做 SFT/RLHF，最后用在线 A/B 测试做分布外验证。 性能提升原理 并行化吞吐：多智能体同时处理子任务，突破单智能体串行瓶颈 专业化分工：每个智能体专注窄领域，降低单模型复杂度（类似 Mixture of Experts 的系统级实现） 信息增益：多视角观测融合减少不确定性，如骑手位置+商家出餐时间+路况的…
学习内容与项目面试，在同一条路上。