欢迎光临
我们一直在努力

[mcj]正则化怎么防止过拟合?为什么会发生过拟合?不讲公式只讲原理!

华为学生服务器每月仅需9元!

我们知道,当数据量较小的时候,比较容易产生过拟合,为了防止这种情况的发生,我们一般是有两种思路,一种是随时观察验证集的性能,当性能停止提高的时候,我们就人为的停止训练。另一种是加入正则化方法。

当出现过拟合的时候,往往拟合函数的系数会非常大,因为这个拟合函数要顾及所有的点,这就导致拟合函数往往没有那么的“平滑”,如下图:

[mcj]正则化怎么防止过拟合?为什么会发生过拟合?不讲公式只讲原理!

由于产生了过拟合,所以拟合曲线变得非常的“陡峭”,只有这样才能更好的顾及到每一个点,但这很明显不是我们想要的,我们只想要知道哪个是黑天鹅,哪个是白天鹅,不管哪种天鹅,我们知道都是天鹅,但一旦过拟合了,机器就会认为黑天鹅和白天鹅是两个物种!

为了防止这种情况的发生,就需要增加正则化机制。简单来说就是,由于过拟合导致拟合函数的系数会非常大,从图中也可以看出,在很小的范围内,导数非常大,这时我们加入正则化,相当于一种惩罚机制,当导数非常大的时候就对其进行惩罚,在一定程度上减少过拟合的情况发生。

如果你对这篇文章有什么疑问或建议,欢迎下面留言提出,我看到会立刻回复!

打赏
未经允许不得转载:马春杰杰 » [mcj]正则化怎么防止过拟合?为什么会发生过拟合?不讲公式只讲原理!
华为学生服务器每月仅需9元!

留个评论吧~ 抢沙发 评论前登陆可免验证码!

私密评论

  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填,便于回访^_^)
切换注册

登录

忘记密码 ?

切换登录

注册