页面加载中…
搜索中文正文和常见中英文技术词，按教程、项目、面试题筛选。
「PyTorch」找到 9 条内容
按专题浏览 →匹配正文：动态计算图与自动微分 PyTorch eager 模式在执行 forward 运算时记录参与求导的操作。只要 grad mode 开启且相关输入 requires_grad，结果 Tensor 会通过 grad_fn 指向自动微分图中的节点。图是本次实际执行路径的记录，因此 Python 分支、循环和动态形状可以在下一次迭代构建不同的图。 autograd 主要使用反向模式自动微分。forward 中部分算子会保存 backward 所需的 Tensor；调用 backwar…
匹配正文：Autograd如何建图 PyTorch在eager执行每个受梯度跟踪的运算时，记录产生结果的反向节点及依赖关系。非叶子结果通常有 grad_fn；用户创建、requires_grad=True 的叶子Tensor通常 grad_fn=None，梯度累积在 .grad。并非每个Tensor都有 grad_fn。 调用 loss.backward() 时，autograd从输出沿图反向执行vector-Jacobian product，用链式法则把来自多条路径的梯度累加。自定义…
匹配正文：…roj后输出可为bias，并非保证最终输出全零。以上是教学forward实现，不替代生产kernel与反向/性能测试。 参考资料 PyTorch官方finfo dtype tiny定义
学习内容与项目面试，在同一条路上。