线性回归,逻辑回归,梯度下降法的笔记(浅谈)

本人最近也在学习机器学习,结合一些资料,我把一些笔记分享给大家.

 

线性回归（Linear Regression）：假设你在纸上画了一堆点，然后打算画一条线，这些点到这条线的距离尽一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=bx+a的直线量得短。怎么找这条线呢？方法就是Linear Regression。在线性回归中，数据使用线性预测函数来建模，并且未知的模型参数也是通过数据来估计。这些模型被叫做线性模型线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回.归

 

一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=bx+a的直线

 

 

逻辑回归

 

 

逻辑回归最大的好处就是它的y值是在0和1之间

它是这样的过程:面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数

 

因为参数z是回归函数，所以叫做逻辑回归。

逻辑函数的值全部在（0， 1）之间，并且是正相关的函数，在横坐标为0处函数为1/2 。

也因此对应的线性方程y>=0时候，逻辑函数值大于0.5，规定结果为通过。所以y<=0规定结果为不通过。所以问题就简化为线性方程的零值问题。

Logistic回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于两分类问题（即输出只有两种，分别代表两个类别）

 

梯度下降法

 

在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

它的意义从几何意义上讲，就是函数变化增加最快的地方。具体来说，对于函数f(x,y),在点(x0,y0)，沿着梯度向量的方向就是(∂f/∂x0, ∂f/∂y0)T的方向是f(x,y)增加最快的地方。或者说，沿着梯度向量的方向，更加容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，也就是 -(∂f/∂x0, ∂f/∂y0)T的方向，梯度减少最快，也就是更加容易找到函数的最小值。

梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。