搜索中文正文和常见中英文技术词,按教程、项目、面试题筛选。
「Embedding 优化」找到 339 条内容
按专题浏览 →匹配口述回答:【30秒速答】 缓解幻觉和安全风险要组合训练、证据、权限与评测。数据侧治理来源、隐私和有害样本,SFT 或偏好优化塑造行为;DPO 直接优化 chosen/rejected 相对 reference 的概率,不训练独立奖励模型。知识任务接检索和工具并核对引用,工具采用最小权限。Contrastive Decoding 比较 expert 与 amateur 的 token 分数,不是简单重复惩罚,也不保证事实。水印用于来源追踪,不会降低幻觉。最终分别测事实支持、安全分类、越狱…
匹配正文:…on score 或 Q/K 几何关系。 方法 核心做法 主要边界 Learned absolute 为位置查表并与 token embedding 相加 表外位置没有已学习向量,扩窗需额外处理 Sinusoidal absolute 用不同频率的 sin/cos 直接计算位置向量 可计算到更长位置不等于模型会可靠外推 Relative position 按 token 间距离给 attention 加 bias 或关系表示 可分桶或按需计算,不必保存完整 L×L 参数矩阵 …
…架构使用 Pre-Norm RMSNorm。训练稳定性和推理收益要按模型、精度、kernel 与负载实测。 【90秒主答】 对隐藏向量 x,LayerNorm 先计算特征维均值 μ 和方差,再输出 gamma 乘 (x-μ) 除以标准差,加 beta。RMSNorm 不做 x-μ,只用均方根 sqrt(mean(x²)+epsilon) 归一化,再乘可学习 scale。两者都不依赖 batch 统计,适合变长序列和自回归模型。RMSNorm 少了均值归约与中心化,但完整 Tr…
学习内容与项目面试,在同一条路上。