为什么要用
batch
呢?不光是为了加速。梯度下降是对所有的样本进行求梯度,而随机梯度下降法是对单个样本求梯度,因此梯度下降的单个样本之间是没有关联的,而随机梯度下降的
x(i)
是依赖于x(i-1)
的,即w(i) = w(i-1) - α(单个样本梯度)
因为梯度下降法可以并行计算,因此时间复杂度低,但是它的性能就不高,如果我们用随机梯度下降法,就不能并行计算了,所以时间复杂度高,但是它的性能高,所以我们选择一种折中的方法,这就是
mini-batch
,现在说的batch
其实就是指的mini-batch
!本文最后更新于2022年5月11日,已超过 1 年没有更新,如果文章内容或图片资源失效,请留言反馈,我们会及时处理,谢谢!
最新评论
看看可不可用
还有macapp.org.cn macwk.cn
大佬,IOS17.1能用吗?
没安装桌面的时候就有网,安了就没有了
可是安装好了没有网啊,怎么办大佬
您好,我这边需要跟您沟通下亚马逊云科技文章合作事宜,您看可以加个微信,详聊一下嘛
感谢分享。。。
试一下好用不,顺便感谢下