神经网络学习:计算图

在实际使用的时候,神经网络是很复杂的,要借助计算图才能使其条理清晰,让复杂的事情变的直观便于研究。

神经网络的计算是有一个前向传播以及一个反向传播构成的。
先通过前向传播计算出预测结果以及损失;然后再通过反向传播计算出损失函数关于每一个参数 w,b 的偏导数,并对这些参数进行梯度下降
然后用新的参数进行新一轮的前向传播计算,这样来回不停地进行前向传播反向传播计算来训练(更新)参数使损失函数越来越小,使预测越来越准确

通过计算图可以把上面的计算过程非常直观地展示出来:

J(a, b, c) = 3(a + bc)

  • 若第一步用 U 来表示,则 U = bc
  • 第二步用 V 来表示,则 V = a + U
  • 最后是 J = 3V

用图像表示如下:
神经网络学习:计算图

反向传播用于计算函数 J 关于各个参数的偏导数,然后对其进行梯度下降:
神经网络学习:计算图

相关推荐