完整题目
请解释PyTorch中的计算图机制，它是如何支持自动微分的？在动态计算图与静态计算图之间，PyTorch的设计有何优势和局限？
Autograd如何建图
PyTorch在eager执行每个受梯度跟踪的运算时，记录产生结果的反向节点及依赖关系。非叶子结果通常有 grad_fn；用户创建、requires_grad=True 的叶子Tensor通常 grad_fn=None，梯度累积在 .grad。并非每个Tensor都有 grad_fn。
调用 loss.backward() 时，autograd从输出沿图反向执行vector-Jacobian product，用链式法则把来自多条路径的梯度累加。自定义 torch.autograd.Function 才需要显式实现静态 forward/backward；普通用户组合内置算子即可。默认反向后中间图会释放，需要再次反向时才设置 retain_graph=True，高阶梯度则用 create_graph=True 等机制。
动态、静态与编译边界
- Eager动态图：Python控制流自然、调试直接，每次前向构造本次实际执行的图；代价可能是Python调度、算子碎片和较少的全局优化机会。
- 编译图：捕获可编译区域后可做融合、内存规划和代码生成，但动态shape、数据依赖控制流或Python副作用可能触发guard、重编译或graph break，具体能力随版本和代码变化。
- TensorFlow：TF2默认支持eager，也可用
tf.function构图；“TensorFlow就是静态图”只适合TF1或特定graph mode。JAX也通过变换和XLA编译，不应简单等同旧式TF1。
torch.compile试图保留eager编程体验并捕获图优化，但不是所有程序都会一次编译后永久复用。选型应看正确性、编译时间、重编译次数、峰值内存和端到端吞吐。
继续追问 · 3 个问题
- PyTorch的autograd引擎在反向传播时是如何避免重复计算梯度的？能否用Python伪代码描述一下核心逻辑？
- 如果让你用NumPy从零实现一个支持自动微分的简单框架，你会怎么设计计算图和反向传播？
- 静态计算图（如TensorFlow 1.x/JAX）在分布式训练和大模型场景下有哪些天然优势？
换一种问法，检查是否真正理解
场景切入
假设你在训练一个BERT分类模型，正向传播算loss，反向传播算梯度。能跟我讲讲PyTorch底层是怎么知道每个参数该更新多少的吗？
层层追问
你用过PyTorch训练模型吧，反向传播的梯度是怎么自动算出来的？……那它内部是怎么记录运算步骤的？……如果我想自己定义一个有特殊梯度的操作，怎么扩展它？
直球架构
请解释PyTorch的计算图机制，包括autograd如何支持自动微分，以及动态图相比静态图的优势和局限。
练习口述回答 · 约4分钟
- 区分Tensor与反向节点
- 说明链式法则和梯度累加
- 解释图生命周期
- 对比eager与编译图
- 澄清TF2和torch.compile边界
我先纠正一个常见说法：不是每个Tensor都有grad_fn。用户直接创建并设置requires_grad为True的叶子Tensor，通常grad_fn是None，它的梯度在反向后累积到grad属性。由可求导运算产生的非叶子结果，才通常带有grad_fn，指向创建它的反向节点。requires_grad决定是否需要跟踪，grad_fn描述结果从哪个运算产生，这两个概念不能混用。
前向执行时，PyTorch在eager模式下真实运行每个算子，同时记录反向所需的节点、依赖和必要中间量。调用loss.backward时，autograd从输出开始，按依赖关系反向执行vector-Jacobian product，再用链式法则把梯度传给上游。同一个叶子如果沿多条路径影响loss，来自各路径的贡献会累加，而不是重复覆盖。
普通用户组合PyTorch内置算子，不需要自己给每个运算写backward。只有实现自定义torch.autograd.Function时，才显式定义forward、保存反向需要的张量并实现backward。默认一次反向后，很多中间图和保存值会释放；要对同一图再次反向才使用retain_graph，高阶梯度则需要create_graph等机制，不能为了省事长期保留图。
所谓动态图优势，是每次前向根据本次真实Python控制流构造图，因此if、for、不同长度路径容易表达，调试也能直接看中间值和堆栈。代价是可能有Python调度、很多小算子和缺少跨算子优化。静态或编译图能做更大范围的算子融合、内存规划和代码生成，但会对可捕获的控制流、shape和副作用提出约束。
这里也不能把TensorFlow整体说成静态图。TensorFlow 2默认支持eager，同时可以用tf.function把代码转换并执行为图；TF1才是大家常说的先构图再执行。JAX的编程和编译模型又不同，也不适合只用“静态图”三个字概括。
PyTorch 2的torch.compile是在eager体验上捕获可编译区域，再交给后端优化。它对很多动态shape和控制流已有支持，但遇到数据依赖分支、Python副作用或guard变化时，仍可能graph break或重新编译，而且行为随版本和代码而变。因此我不会笼统说支持有限，也不会说编译后必然更快。