页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「视觉Transformer」找到 12 条内容
按专题浏览 →匹配正文：…TM、GRU 通过门控缓解而非消除长程依赖问题。训练时跨时间步的依赖限制并行度，但模型尺寸、序列长度和推理方式都会影响实际性能。 Transformer Transformer 用自注意力在 token 间建模依赖，并通过位置编码保留顺序信息。它便于训练阶段并行处理序列位置，已广泛用于语言、视觉和多模态任务。标准全注意力的时间与注意力矩阵空间开销随序列长度近似二次增长；稀疏、滑窗或线性注意力等变体用于改变这一权衡。 选型原则 不存在只看任务名称就能决定的架构。应比较数据规模与…
匹配题目：在视觉Transformer（ViT）中，图像是如何被分割并转换为输入token序列的？请说明图像块嵌入（patch embedding）的具体实现过程。
匹配正文：核心判断 Transformer常用LayerNorm，是因为它对单个样本的特征维做归一化，不依赖同一batch里其他样本的统计量，训练和推理计算一致，适合batch大小变化与自回归解码。标准Transformer实现通常对每个token的隐藏维单独做LayerNorm，不会把整句所有token混在一起算均值方差，因此padding不会像跨token BatchNorm那样直接污染该token的LN统计。 机制与边界 BatchNorm按batch维估计每个通道的均值方差，并…
学习内容与项目面试，在同一条路上。