DataWhale基础算法作业二：对数回归（逻辑回归）相关

学习任务

1.Logistic回归损失函数的极大似然推导。（西瓜书公式3.27怎么推来的）
2.Logistic回归损失函数的最优化算法：什么是牛顿法、似牛顿法？
3.为什么不用线性回归做分类？
4.Logistic回归为什么不像线性回归那样用平方损失函数？
5.Logistic回归的参数为什么不像线性回归那样直接公式求解？
6.Logistic回归与线性回归有哪些联系？

1. 西瓜书3.27式推导

2.牛顿法、似牛顿法简述

（闲了再演一遍，没太懂ππ）
为两种非线性方程组的数值解法。
（思路：构造类似于一元方程的牛顿迭代法）

3.为什么不用线性回归做分类？

因为分类问题的y为一个个离散值，不能简单的用线性函数来拟合了。

4.Logistic回归为什么不像线性回归那样用平方损失函数？

逻辑回归函数一般用在分类问题上，虽可用最小二乘法，但由于得出的目标函数（差值的平方和）为非凸的，所以不容易求解最优化方程组（容易局部最优）；
而用最大似然估计得到的目标函数是关于参数向量w,b的高阶连续可导凸函数，方便使用一些凸优化算法求解（eg梯度下降法、牛顿法）。

5.Logistic回归的参数为什么不像线性回归那样直接公式求解？

因为求偏导后也是非线性方程组，无法直接公式求解

6.Logistic回归与线性回归有哪些联系？（周志华机器学习P56）

逻辑回归属于广义线性回归模型，逻辑回归相当于将线性回归的预测值经过一个单调可微的联系函数转换。