欢迎光临
我们一直在努力

[mcj]深度学习中的动量(momentum)是什么?

华为学生服务器每月仅需9元!

如果把梯度下降法想象成一个小球从山坡到山谷的过程,那么前面几篇文章的小球是这样移动的:从A点开始,计算当前A点的坡度,沿着坡度最大的方向走一段路,停下到B。在B点再看一看周围坡度最大的地方,沿着这个坡度方向走一段路,再停下。确切的来说,这并不像一个球,更像是一个正在下山的盲人,每走一步都要停下来,用拐杖来来探探四周的路,再走一步停下来,周而复始,直到走到山谷。而一个真正的小球要比这聪明多了,从A点滚动到B点的时候,小球带有一定的初速度,在当前初速度下继续加速下降,小球会越滚越快,更快的奔向谷底。momentum 动量法就是模拟这一过程来加速神经网络的优化的。

关于动量法可以参考下面这张大神画的图:

[mcj]深度学习中的动量(momentum)是什么?

上图直观的解释了动量法的全部内容。

A为起始点,首先计算A点的梯度∇a然后下降到B点,

[mcj]深度学习中的动量(momentum)是什么?

到了B点需要加上A点的梯度,这里梯度需要有一个衰减值γ ,推荐取0.9。这样的做法可以让早期的梯度对当前梯度的影响越来越小,如果没有衰减值,模型往往会震荡难以收敛,甚至发散。所以B点的参数更新公式是这样的:

[mcj]深度学习中的动量(momentum)是什么?

其中vt−1表示之前所有步骤所累积的动量和。

这样一步一步下去,带着初速度的小球就会极速的奔向谷底。

摘自:https://blog.csdn.net/tsyccnh/article/details/76270707

如果你对这篇文章有什么疑问或建议,欢迎下面留言提出,我看到会立刻回复!

打赏
未经允许不得转载:马春杰杰 » [mcj]深度学习中的动量(momentum)是什么?
华为学生服务器每月仅需9元!

留个评论吧~ 抢沙发 评论前登陆可免验证码!

私密评论

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填,便于回访^_^)
切换注册

登录

忘记密码 ?

切换登录

注册