最大似然估计与逻辑回归
逻辑回归与最大似然估计
机器学习中用最大似然估计法根据样本来估计给定模型的最佳参数
逻辑回归(LR)用于二分类问题，主要思想就是用最大似然概率方法构建出方程，最大化方程，利用梯度下降法求解方程参数。
先来看下Sigmoid函数
逻辑回归借助于Sigmoid函数
为了与大部分人的写法一致，将β换成θ，令
则
则事件发生的总概率为
y只能为0或1，当y=0，第一项就没了。当y=1时，第二项就没了。
然后转化成似然函数
我们目的求L(θ)的最大值，先求一阶偏导数
可以求自然对数来简化方程，令
则
求偏导数
则
…
此时用梯度下降求解方程参数，梯度下降法参考上篇文章
参考连接
http://blog.****.net/bingduanlbd/article/details/24384771
http://blog.****.net/csqazwsxedc/article/details/69690655