页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「数据流水线」找到 3 条内容
按专题浏览 →匹配正文：…70 分钟 🎯 完成后能力:讲清为什么 Agent 要专门构造训练数据,以及「种子 → 轨迹 → 增强 → 质检 → 格式」这条数据流水线的设计思路,并理解 Loss Mask、Agentic CPT 数据合成等关键概念 🔗 关联面试题:5 道(覆盖 5 个角度,见 Part 3) 🧭 这一章起,进入「训练」线:前四章把调研 Agent 的执行框架、工具、记忆搭好了,但模型「会不会做调研」很大程度由训练决定。要训练,第一步是先有数据。这一章讲数据流水线的设计思路:为什么…
匹配标题与标签：批量文本清洗如何自动质检? 噪声文本处理、自动化工具与效果评估方法 模型训练 数据清洗 数据预处理 数据流水线 数据质量评估 分布式处理 2026真题 数据清洗流程 批量数据清洗 文本噪声处理 自动化清洗工具 大模型训练与微调 美团
匹配口述回答：我会把大模型数据流水线分成治理、处理、切分和配比四层。第一层不是马上爬网页，而是先确认来源能否用于目标用途，记录许可证、用途限制、URL、抓取时间和版本。robots.txt 只表示爬虫访问偏好，不等于获得版权授权。业务或用户数据还要做 PII、敏感字段、保留期限和删除机制。原始数据应不可变落盘，并用内容 hash 和 lineage 追踪每个训练样本来自哪里。 第二层是解析和清洗。先抽取正文，做语言和格式识别、Unicode 规范化，去导航、模板、乱码和低信息片段。去重应分…
学习内容与项目面试，在同一条路上。