页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「预训练目标」找到 5 条内容
按专题浏览 →匹配题目：大语言模型在few-shot推理模式下为何能够提升任务表现？其背后机制与模型预训练目标之间有何关联？
匹配正文：…ecoder-only，causal self-attention Encoder-only，双向 self-attention 预训练目标 自回归 next-token prediction 原始 BERT 使用 masked language modeling，并包含 NSP 输出 每个位置的隐藏表示及下一 token 分布，可迭代生成 每个 token 的双向上下文表示，通常接任务头 擅长 开放式/条件生成、对话、摘要、翻译、代码、in-context learning…
匹配正文：…比例、重复数据、字幕噪声与语言能力回退。 偏好优化也要准确定位。DPO从偏好对学习相对偏好，并通过参考策略约束更新，它不是用来避免预训练目标互相干扰的通用机制。多模态DPO还可能忽略图像、利用文本捷径，因此需要构造图像条件真正决定胜负的数据。安全侧要覆盖提示注入、视觉文字攻击、隐私、定位幻觉和工具权限。系统侧则看视觉编码延迟、视觉token缓存、批处理和不同模态的尾延迟。 工程验证 评测按感知、OCR、grounding、跨图推理、视频时序和安全分桶，并加入只改图不改文字、只…
学习内容与项目面试，在同一条路上。