马春杰杰博客
致力于深度学习经验分享!

深度学习中的学习率衰减

文章目录
[隐藏]

1 为什么要学习率衰减🤔

  PyTorch中的学习率并不总是一成不变的,而是可以随着epoch或者迭代次数的变化而有规律地更新,称之为scheduler
  在神经网络的训练过程中,当accuracy出现震荡或loss不再下降时,进行适当的学习率衰减是一个行之有效的手段,很多时候能明显提高accuracy
  学习率衰减的大致步骤为:

2 学习率衰减策略

1.2 Step学习率

  Step学习率以固定间隔乘以一个系数gamma(一般为0.1)。

深度学习中的学习率衰减

2.2 Multi-Step学习率

  Multi-Step学习率同样是每次乘以一个系数gamma,不过需要给定学习率衰减的epoch列表。

深度学习中的学习率衰减

2.3 指数衰减学习率

  指数衰减学习率的公式为lr = base_lr * gamma ^ epoch。gamma一般为0.99

深度学习中的学习率衰减

2.4 Cos学习率

  Cos学习率在初始学习率base_lr和最小值eta_min之间以余弦形式调整,在MAX_Tepochs时衰减到最小值。

深度学习中的学习率衰减

2.5 动态周期的Cos学习率

  动态周期的Cos学习率在衰减到最小值以后重新回到最大值,然后以更慢的速度衰减。

深度学习中的学习率衰减

2.6 Cyclic学习率

  Cyclic学习率在最大值和最小值之间来回弹跳。

深度学习中的学习率衰减

2.7 Lambda学习率

  顾名思义,Lambda学习率就是自定义一个学习率关于epoch的函数来调整学习率。定义Lambda函数时给出初始学习率乘以的系数即可。

深度学习中的学习率衰减

# 参考资料

https://blog.csdn.net/junqing_wu/article/details/93248190
https://www.jianshu.com/p/26a7dbc15246

 

如果你对这篇文章有什么疑问或建议,欢迎下面留言提出,我看到会立刻回复!

打赏
未经允许不得转载:马春杰杰 » 深度学习中的学习率衰减
蝴蝶PT招人啦

留个评论吧~ 抢沙发 评论前登陆可免验证码!

私密评论
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填,便于回访^_^)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

切换注册

登录

忘记密码 ?

切换登录

注册