页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「线性投影」找到 4 条内容
按专题浏览 →匹配正文：…ide=P) 时，每个卷积窗口正好覆盖一个不重叠patch，每个输出通道的卷积核可展平成一行投影权重，因此与“切patch、展平、线性投影”在权重映射上等价： proj = nn.Conv2d(in_chans, embed_dim, kernel_size=patch, stride=patch) tokens = proj(x).flatten(2).transpose(1, 2) # [B,N,D] 卷积是常见且便于调用优化kernel的实现，但不能脱离硬件和框架宣称它…
匹配正文：多头注意力可以从输入张量开始讲。设输入形状是批次、序列长度和模型维度，Q、K、V分别由线性投影得到。工程上既可以调用三个矩阵乘，也可以把权重在输出维拼成一次融合投影，再把结果切回QKV。哪种更快取决于框架、硬件、量化方式和后续融合，不能说实际实现必然只做一次矩阵乘。 得到QKV后，把最后一维reshape成头数和每头维度，再把头维移到便于批量矩阵乘的位置。每个头计算Q乘K转置、除以每头维度平方根、应用mask和softmax，再与V相乘。各头输出拼回模型维度并经过输出投影。数…
…、V。对某个位置而言，Q表示它要查询什么，K表示各位置可被匹配的特征，V是最终被加权汇总的内容。这些说法只是帮助理解，真正计算仍是线性投影和矩阵乘。 接着计算Q乘K转置，得到L乘L的相关分数。分数要除以根号d_k，其中d_k是每个头的key维度。若不缩放，维度增大时点积方差容易变大，softmax可能过早进入饱和区。然后加入mask。因果mask阻止当前位置看到未来token，padding mask排除补齐位置，二者的布尔语义和广播形状必须按具体框架确认。 对每个query…
学习内容与项目面试，在同一条路上。