机器学习基石-10-3-Gradient of Logistic Regression Error


机器学习基石-10-3-Gradient of Logistic Regression Error

将logistic regression的问题转换成PLA的更新过程,之前的课程中把逻辑回归的概率转换成了“O”和“X”的问题,二分类的问题,就是PLA的问题。将PLA的更新过程扩展到逻辑回归上

机器学习基石-10-3-Gradient of Logistic Regression Error

机器学习基石-10-3-Gradient of Logistic Regression Error

v是更新的方向,η是每一次迭代的步长。

机器学习基石-10-3-Gradient of Logistic Regression Error

iterative  optimization approach迭代优化方法

机器学习基石-10-3-Gradient of Logistic Regression Error

机器学习基石-10-3-Gradient of Logistic Regression Error

机器学习基石-10-3-Gradient of Logistic Regression Error

逻辑回归的Ein是平滑的,v假定是单位长度,η假定是正向的移动。


线性近似,线性逼近:尽量把这个优化目标转换成v的线性问题

机器学习基石-10-3-Gradient of Logistic Regression Error

对上面的优化目标使用泰勒展开式

机器学习基石-10-3-Gradient of Logistic Regression Error

  • 当每一次移动的步长很小时,可以使用泰勒展开,优化目标就变成了
  • 机器学习基石-10-3-Gradient of Logistic Regression Error
  • 只有v是未知的,优化目标就变成了关于v的线性式子。