反向传播推导

[2ephyrus]

作者您好。我阅读了附录部分关于反向传播梯度推导部分的内容，推导过程十分复杂，我不能很好地理解这一过程，能否详细讲解一下？LIF本身的梯度展开已经很复杂了，正如《Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks》（SLTT）中所推导的那样。观察到SLTT中对于LIF的梯度计算，与本文有些许出入。哪个是正确的？
希望能得到作者的点拨，这个问题困扰我很久。谢谢

[HuuYuLong]

作者您好。我阅读了附录部分关于反向传播梯度推导部分的内容，推导过程十分复杂，我不能很好地理解这一过程，能否详细讲解一下？LIF本身的梯度展开已经很复杂了，正如《Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks》（SLTT）中所推导的那样。观察到SLTT中对于LIF的梯度计算，与本文有些许出入。哪个是正确的？ 希望能得到作者的点拨，这个问题困扰我很久。谢谢

您好，写梯度的方式有很多种，展开后应该都一样，你可以自己试着画一下计算链条，根据计算链条来推导梯度验证一下。

比如你画出来graph 是 a -> b --> c (箭头长度对应序号)，求 $\frac{\partial c}{\partial a}$ 可以理解为 找到所有 分子(起点) 到分母（终点）的路径。每条路径有多个箭头，每个箭头代表一个分式，按箭头顺序把分式乘起来, 也就是 $\frac{\partial c}{\partial a}$ = 箭头2 * 箭头1 = $\frac{\partial c}{\partial b} \cdot \frac{\partial b}{\partial a}$。然后每条路径加起来就是对应的梯度了。

比如更复杂的 graph: 除了 a -> b --> c 这个路径 还有 a ---> c，那如果求 $\frac{\partial c}{\partial a}$ = 箭头2 * 箭头1 + 箭头3 = $\frac{\partial c}{\partial b} \cdot \frac{\partial b}{\partial a} + \frac{\partial c}{\partial a}$ 。

如果是这个 graph：a -> b --> c 还有 b ---> d ----> c，求 $\frac{\partial c}{\partial a}$ = ( 箭头2 + 箭头4 * 箭头3)* 箭头1 = $( \frac{\partial c}{\partial b} + \frac{\partial c}{\partial d} \cdot \frac{\partial d}{\partial b} ) \cdot \frac{\partial b}{\partial a}$ 。

LIF 基本上可以按上面的原则 把梯度写出来，希望能对你有帮助。