深度学习中为什么要用batch？

为什么要用batch呢？不光是为了加速。

梯度下降是对所有的样本进行求梯度，而随机梯度下降法是对单个样本求梯度，因此梯度下降的单个样本之间是没有关联的，而随机梯度下降的x(i)是依赖于x(i-1)的，即w(i) = w(i-1) - α(单个样本梯度)

因为梯度下降法可以并行计算，因此时间复杂度低，但是它的性能就不高，如果我们用随机梯度下降法，就不能并行计算了，所以时间复杂度高，但是它的性能高，所以我们选择一种折中的方法，这就是mini-batch，现在说的batch其实就是指的mini-batch！