马春杰杰博客
致力于深度学习经验分享!

深度学习中为什么要用batch?

为什么要用batch呢?不光是为了加速。
梯度下降是对所有的样本进行求梯度,而随机梯度下降法是对单个样本求梯度,因此梯度下降的单个样本之间是没有关联的,而随机梯度下降的x(i)是依赖于x(i-1)的,即w(i) = w(i-1) - α(单个样本梯度)
因为梯度下降法可以并行计算,因此时间复杂度低,但是它的性能就不高,如果我们用随机梯度下降法,就不能并行计算了,所以时间复杂度高,但是它的性能高,所以我们选择一种折中的方法,这就是mini-batch,现在说的batch其实就是指的mini-batch

如果你对这篇文章有什么疑问或建议,欢迎下面留言提出,我看到会立刻回复!

打赏
未经允许不得转载:马春杰杰 » 深度学习中为什么要用batch?
蝴蝶PT招人啦

留个评论吧~ 抢沙发 评论前登陆可免验证码!

私密评论
  • 昵称 (必填)
  • 邮箱 (必填)
  • 网址(选填,便于回访^_^)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

切换注册

登录

忘记密码 ?

切换登录

注册