关于局部最优(Local Optima)

①在高维空间中，如2000维，不太可能出现局部最优的情况，因为局部最优要求这20000个维度的梯度都为0，这是很小概率的时间。

②真正困扰优化问题的并不是局部最优，而是在鞍点附近的停滞区问题。

如下图，鞍点并不是全局最优，但梯度下降会在鞍点附近花费很多时间，先降到鞍点，在鞍点附近受到扰动在降到其他地方。故采用动量，adam，RMSprop等方法来加快停滞区的训练