【笔记】机器学习用到的“高等数学”知识简单回顾
极限的基本概念：
导数（标量）：
常见函数的导数：
Taylor公式：
方向导数：
梯度（向量）：
机器学习就是希望把非凸函数转化为凸函数，再利用梯度下降法，求的损失最小得分函数的权重。
凸函数的定义：
注意：二阶导数为0的点不一定是全局最小点。因为，实践中，如果来求解二阶导数等于0的函数的值，实际上不是很好解的。所以，还是要用梯度下降法来计算。
如何判断一个函数是凸函数：
1）如果函数二阶可导，二阶导数大于0，那么就是凸函数。
2） 如果二阶不可导，那么就要用凸函数的定义来判断。
琴生（Jensen）不等式（也称为詹森不等式），使用时注意前提、等号成立条件：
凸函数的表述：