反向传播：深度学习的关键

• 前向传播：从输入到输出，计算预测结果
• 反向传播：从输出到输入，计算梯度；优化器再根据梯度更新参数
• 核心思想：通过链式法则计算复合函数的导数

为什么需要反向传播？

• 目标：找到使损失函数最小的参数
• 方法：梯度下降，需要计算损失函数对每个参数的梯度
• 挑战：深度学习模型是复合函数，直接计算梯度困难
• 解决：反向传播算法，高效计算所有参数的梯度

自动求导：PyTorch 的核心特性

• 普通梯度模式下，Tensor 运算在需要求导时记录计算图。
• requires_grad=True：让张量参与梯度追踪。
• 前向记录求导所需的关系；backward() 才执行梯度计算。
• nn.Module 组织模型；普通 Tensor 运算也能自动求导。

前向建立反向计算所需的图，反向计算梯度，优化器更新参数。

Autograd的无感知使用

optimizer = torch.optim.SGD(net.parameters(), lr=0.01)

for epoch in range(100):
    # 前向传播
    y = net(x)
    loss = criterion(y, target)

    # 反向传播
    optimizer.zero_grad()  # 清零梯度
    loss.backward()        # 计算梯度
    optimizer.step()       # 更新参数

工程视角看Autograd：你需要知道的

• 动态计算图：前向即时构图；非叶子张量有 grad_fn，叶子张量的梯度写入 .grad。
• 基于向量-雅可比积(VJP)：backward() 等价逐层执行 的向量-雅可比积；工程上无需显式构造雅可比矩阵即可完成训练。
  • 原理提示：背后采用“反向模式自动微分”（向量-雅可比积，VJP）实现高效梯度计算；想深入可参考 PyTorch Autograd 文档：https://pytorch.org/docs/stable/autograd.html

工程视角看Autograd：你需要知道的

• 标量 backward：对标量输出使用 y.backward()
  • 反向传播需要一个起点，对标量来说，就是1
  • 例如y=model(x)，假设y.shape=[batch,dim]，直接调用y.backward()会报错，因为torch内部不知道到底该对哪个方向做反向传播
• 非标量 backward：对非标量输出使用 y.backward(gradient=v)，v 与 y 同形(shape)表示上游grad权重。

工程视角看Autograd：你需要知道的

• 线性层的backward：设上游梯度
  • ，
  • 计算图常见节点：AddmmBackward（Linear/F.linear 反向）、TBackward（转置辅助）、AccumulateGrad（叶子梯度累积）。
• 训练循环要点：zero_grad() 防梯度累积；参数更新放优化器或 no_grad()；避免对中间结果原地修改。

工程视角看Autograd：你需要知道的

• 高阶/多次反向：按需使用 create_graph=True 与 retain_graph=True；默认一次反向后释放图。
• 性能与调试：AMP、梯度检查点、torch.compile；结合 hooks 与 notebook 的图打印定位梯度流。

注：理论上可把 Autograd 看成“雅可比链式法则”的高效实现，理解这一点即可，不必掌握雅可比的形式化定义再上手工程实践。

Hook 示例

h = []
def log_grad(grad):
    h.append((grad.mean().item(), grad.norm().item()))

out = net(x)
out.register_hook(log_grad)    # 观察上游梯度
loss = criterion(out, y)
loss.backward()

梯度累积与清零

• .grad 默认累加；训练循环应先清零再 backward()。

optimizer.zero_grad(set_to_none=True)
loss.backward()
optimizer.step()

高阶梯度与图保留

• 二阶/高阶导: create_graph=True 构建可微分的反向图。
• 多次反传: 若复用同一前向，需 retain_graph=True。

g = torch.autograd.grad(loss, params, create_graph=True)
g2 = torch.autograd.grad(sum(p.sum() for p in g), params)

分离与禁用追踪

• x.detach()：把张量从当前计算图中分离，后续关于该结果的计算不会把梯度回传到被分离的分支。与原张量共享存储（谨慎原地写）。
  • 用途：
    • 截断梯度（冻结某分支、teacher 模型前向等）。
    • 缓存中间结果重复使用但不参与训练。

分离与禁用追踪

注意事项：

• 不要在训练前向外层包 no_grad/inference_mode，否则无法计算梯度。
• detach() 会打断梯度流，误用会让模型学不动；仅在确需截断时使用。
• 分离张量与原张量共享存储，避免原地写引入隐性错误。

• with torch.no_grad():：上下文内不记录计算图，不分配 grad_fn/中间量，因此这些计算不参与 loss.backward()。
  • 与反向的关系：在该上下文中产生的新张量，即使参与后续损失计算，梯度也不会通过它们回传（因为没有构图）。
  • 用途：
    • 纯推理/验证（配合 model.eval()）。
    • 统计/后处理（如 metrics、argmax/topk）。
    • 无梯度的参数更新（如 EMA、手写优化步骤）。