机器学习------逻辑回归(算法详解)

一、概念

        线性回归模型中,输出一般是连续的,例如y=f(x)=ax+b,对于每一个输入的x,都有一个对应的y输出。模型的定义域和值域都可以是[-∞, +∞]。
        但是对于逻辑回归,输入可以是连续的[-∞, +∞],但输出一般是离散的,即只有有限多个输出值。例如,其值域可以只有两个值{0, 1},这两个值可以表示对样本的某种分类,高/低、患病/健康、阴性/阳性等,这就是最常见的二分类逻辑回归。因此,从整体上来说,通过逻辑回归模型,我们将在整个实数范围上的x映射到了有限个点上,这样就实现了对x的分类。因为每次拿过来一个x,经过逻辑回归分析,就可以将它归入某一类y中。
机器学习------逻辑回归(算法详解)

二、算法

2.1、LR代价函数

机器学习------逻辑回归(算法详解)

2.2、逻辑回归与线性回归的关系

        逻辑回归也被称为广义线性回归模型,它与线性回归模型的形式基本上相同,都具有 ax+b,其中a和b是待求参数,其区别在于他们的因变量不同,多重线性回归直接将ax+b作为因变量,即y = ax+b,而logistic回归则通过函数S将ax+b对应到一个隐状态p,p = S(ax+b),然后根据p与1-p的大小决定因变量的值。
机器学习------逻辑回归(算法详解)

三、公式

机器学习------逻辑回归(算法详解)
数学上的意义

机器学习------逻辑回归(算法详解)
机器学习------逻辑回归(算法详解)

推导过程

机器学习------逻辑回归(算法详解)

四、优缺点

机器学习------逻辑回归(算法详解)