页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「ALiBi」找到 3 条内容
按专题浏览 →匹配正文：… L×L 参数矩阵 RoPE 对每个 Q/K 二维对子按位置旋转，使内积带相对位置信息 超训练长度表现依频率、训练分布和扩窗方法 ALiBi 对每个头的 attention logit 加与相对距离成比例的线性负偏置 简洁、无需位置 embedding，但质量与外推仍需任务评测 RoPE 对位置 m 和维度对子 i 的角度是 m θ_i：(x'_{2i},x'_{2i+1})=R(mθ_i)(x_{2i},x_{2i+1})。这里 m 是 token 位置，i 是特征维度对子…
匹配正文：…n 间距离或方向修改 attention score 或表示； RoPE：按位置旋转 Q/K 的二维维度对，使点积包含相对位移； ALiBi：给 attention logits 加随距离变化的头特定线性偏置。 “公式可计算”不等于可靠外推。原生正弦编码与 RoPE 超过训练长度后都可能出现困惑度、检索和生成质量退化。扩窗通常结合 position interpolation、频率缩放、继续训练或长上下文微调，并在目标长度验证短文能力、困惑度、检索、多跳和真实生成。不能用 L…
匹配口述回答：…到训练长度以外，但这只说明数值可生成，不代表模型在未见长度上一定可靠外推。现代模型还有learned position、RoPE、ALiBi等选择，各自边界不同。 最后分清现代架构：BERT是encoder-only，适合理解和表征；GPT是decoder-only，只用因果self-attention，没有原始seq2seq decoder的cross-attention；T5保留encoder-decoder。现代LLM还常改用Pre-Norm、RMSNorm和RoPE。…
学习内容与项目面试，在同一条路上。