页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「离散化」找到 4 条内容
按专题浏览 →匹配正文：…常输入真实前缀token；推理输入模型自己选出的token。Exposure bias来自这两种前缀分布的差异，不是来自token离散化。 能否直接使用softmax分布 可以计算期望embedding e=p^T E 并继续前向，或使用Gumbel-Softmax等连续近似，但这会把多个词的语义混进一个向量，改变模型训练时的输入分布，并增加对整个词表的计算与存储。它不会因为“不是离散id”就必然需要为每个候选分别缓存K/V；若只传一个期望embedding，仍只有一条状态。…
匹配正文：…归生成下一个物品的ID或属性，而非传统打分排序。 工作原理 核心流程： 统一Token空间：将用户ID、物品ID、行为类型、时间等离散化为统一词汇表 序列化输入：[BOS] 用户u [SEP] 点击i1 [SEP] 收藏i2 [SEP] 时间t [SEP] → 生成i3 自回归生成：模型学习行为序列的联合分布 P(i₃|u, i₁, i₂, t...) 典型方案： GPT4Rec/TIGER：直接生成Item ID P5/UniRec：统一多种推荐任务（序列预测、解释生成、对…
匹配口述回答：…模、表示学习和潜空间控制，但具体重建观感取决于似然、decoder和感知损失，不能简单概括成一定模糊。VQ-VAE一类方法则把表示离散化，后续可以训练图像token先验。 离散token路线要区分自回归与掩码生成。Parti把图像表示成离散token，再像语言模型一样按序预测下一个token，属于自回归文生图路线。Muse同样使用离散图像token，但它是masked generative Transformer：从被mask的位置出发并行预测，再迭代细化。因此不能因为两者都…
学习内容与项目面试，在同一条路上。