机器学习--回归算法--Logistc回归理论
本篇内容参考《百面机器学习》《统计学习方法》
第一部分 理论概述
1 Logistic回归相比于线性回归而言，二者有何异同
1）区别
- Logistic回归处理分类问题
- 线性回归处理回归问题
2）相同
- 是有监督学习，采用极大似然估计函数建模，使用梯度下降方法求解
2 Logistic回归采用Sigmoid函数作为伯努利分布分布律
引入odd思想：即一个事件发生概率与不发生概率的比值比
注意：这也是logistic回归本身作为分类器，却又带着回归后缀的原因
第二部分 模型理论
1 前提
1）假定数据集中目标属性为二分类（y=1或者y=0）
2）目标属性的分布律（伯努利分布）
2 建立模型
注意：损失函数采用对数（交叉熵）损失函数