标签：优化算法

什么是退火算法？

退火算法（Simulated Annealing）是一种基于概率的全局优化算法，模拟金属退火过程中温度的变化和结晶的过程。该算法通过在一个大的解空间中进行搜索，以找到一个全局最优解或接近全局最优解的解。该算法的主要思路是以一定的概率接受一...

　　深度学习优化算法经历了 SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam 这样的发展历程。我们结合CS231n课程中的讲解来比较一下这...