[最优化]牛顿法和拟牛顿法
针对 无约束优化问题：min f(x) （f(x)二阶可导）
牛顿法：对原函数进行二阶泰勒展开 ，在对展开式求一阶梯度▽f(x)，并令▽f(x)=0，得 令x=xk 获得迭代公式，每次迭代可求得较小的值的x
拟牛顿法：因为 海森矩阵求逆比较复杂，使用符合▽f(x)=0条件的矩阵代替
当前处理大规模数据 最常用的是L-BFGS 可以缓解内存压力
针对 无约束优化问题：min f(x) （f(x)二阶可导）
牛顿法：对原函数进行二阶泰勒展开 ，在对展开式求一阶梯度▽f(x)，并令▽f(x)=0，得 令x=xk 获得迭代公式，每次迭代可求得较小的值的x
拟牛顿法：因为 海森矩阵求逆比较复杂，使用符合▽f(x)=0条件的矩阵代替
当前处理大规模数据 最常用的是L-BFGS 可以缓解内存压力