李宏毅机器学习课程笔记-5.3神经网络中的反向传播算法 (2)

如下图所示，只不过没有嵌套sigmoid函数而是乘以一个常数\(\sigma'(z)\)，每个\(\frac{\partial C}{\partial z}\)都是一个神经元的形式，所以可以通过神经网络计算\(\frac{\partial C}{\partial z}\)。

<img src="https://images.cnblogs.com/cnblogs_com/chouxianyu/1511971/o_201108075902BackwardPass2.jpg" alt="BackwardPass2" " />

总结

通过Forward Pass，为所有参数\(w\)计算\(\frac{\partial z}{\partial w}\)；

通过Backward Pass，为所有激活函数的输入\(z\)计算\(\frac{\partial C}{\partial z}\)；

最后\(\frac{\partial C}{\partial w}=\frac{\partial C}{\partial z}\frac{\partial z}{\partial w}\)，也就求出了梯度。

Github（github.com）：@chouxianyu

Github Pages（github.io）：@臭咸鱼

知乎（zhihu.com）：@臭咸鱼

博客园（cnblogs.com）：@臭咸鱼

B站（bilibili.com）：@绝版臭咸鱼

微信公众号：@臭咸鱼的快乐生活