页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「训练数据」找到 134 条内容
按专题浏览 →匹配正文：…拒答失衡和模板泄漏。所谓“复读机”需要区分训练样本记忆、解码重复、数据重复和提示模板问题，再分别处理去重、数据多样性、正则、混合预训练数据、学习率与解码。 SFT 适合有高质量目标输出、希望稳定格式或行为、无需大量在线探索的任务，也是许多偏好优化或 RL 的初始化。复杂推理和安全对齐并非必须使用 RLHF/DPO；可选方法包括更好的示范与过程监督、检索或工具、拒绝采样、DPO、在线 RL 和规则约束，选择应由可执行任务、独立偏好与安全评测决定。DPO 也不能被笼统写成比 PP…
匹配正文：…上下文相关激活与输出分布。 与预训练和微调的关系 next-token目标让模型习惯利用前缀中的结构，但ICL能力还依赖模型规模、训练数据中任务序列的结构和训练分布。微调通过梯度把适应写进参数；ICL把示例保留在上下文中，切换快但受长度、顺序和推理成本限制。 错误标签有时仍可能保留格式或标签空间带来的部分收益，但错误映射通常会损害任务表现，不能概括成“标签无需正确”。评测应和zero-shot、正确示例、随机标签及相似度检索示例做对照。 图解 Few-shot 推理为何有效?…
匹配正文：…证和少量示例，但结果受模板、verbalizer和基础模型能力影响，严格格式还需要约束或校验。指令微调能让输出更稳定，却需要代表性训练数据，并可能对未覆盖表达过拟合。统一生成框架便于共享任务与schema，但解码成本、无效输出和标签边界仍要评测。 专用判别头通常输出空间小、延迟可控，也容易做概率校准；生成式方案则能统一接口并处理开放结构。谁更好取决于任务是只选固定标签，还是需要生成跨度、关系和解释。模型规模、预训练方式、tokenizer、标签语义和多任务迁移都会改变结果，不…
学习内容与项目面试，在同一条路上。