数学基础笔记2微积分
- 无穷小阶数
- 牛顿法和梯度下降法
很多机器学习和统计的算法最后都转换成一个优化的问题，也就是求一个损失函数的极小值问题。
牛顿法和梯度下降法都只能求局部极小值，不能求全局最小值
两种方法都必须有一个初始点x0
数学原理：牛顿法使用二阶逼近，梯度下降法使用一阶逼近
牛顿法对局部凸函数找到极小值，对局部凹函数找到极大值，不凸不凹的函数可能找到鞍点
梯度下降法一般不会找到最大值，但同样会找到鞍点
初始值合理的情况下，牛顿法比梯度下降法收敛速度快，但计算难度大
梯度下降法
半正定矩阵：特征值>=0