关于线性回归和逻辑回归的宏观记录以及机器学习的建议
--------不记录具体的知识的具体细节，只记录宏观情况-------
细节请转：http://www.ai-start.com/ml2014/
文章目录
一、线性回归
回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析（单特征）)。如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析（多特征）。
1、一元简单线性回归
模型拟合函数为：
梯度下降算法和线性回归算法比较如图：
2、一元复杂线性回归
模型拟合函数为：
3、多元简单线性回归
模型拟合函数为：
4、多元复杂线性回归
模型拟合函数为：
模型拟合函数为：
二、逻辑回归
logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相同之处。它们的模型形式基本上相同，都具有 w‘x+b，其中w和b是待求参数，其区别在于他们的因变量不同，多重线性回归直接将w‘x+b作为因变量，即y =w‘x+b，而logistic回归则通过函数L将w‘x+b对应一个隐状态p，p =L(w‘x+b),然后根据p 与1-p的大小决定因变量的值。如果L是logistic函数，就是logistic回归，如果L是多项式函数就是多项式回归。
1、线性回归和逻辑回归的区别：
1）、使用的模型函数不同
2）、代价函数不同
- 逻辑回归使用似然损失函数
- 线性回归使用均方误差函数（最小二乘法）
3）、梯度下降的原理类似
- 逻辑回归
- 线性回归
2、逻辑回归的概念
为什么逻辑回归不使用均方误差函数作为代价函数？
逻辑回归的代价函数及理解：
逻辑回归中theta的更新：
3、逻辑回归做多分类
4、正则化问题
到现在为止，我们已经学习了几种不同的学习算法，包括线性回归和逻辑回归，它们能够有效地解决许多问题，但是当将它们应用到某些特定的机器学习应用时，会遇到过拟合(over-fitting)的问题，可能会导致它们效果很差。
线性回归的正则化：
逻辑回归的正则化：
三、机器学习的建议
在懂机器学习的人当中依然存在着很大的差距，我们需要掌握怎样高效有力地运用这些学习算法。
1、特征和模型复杂度对模型误差的影响
特征多和模型复杂度高容易导致过拟合，特征低容易导致欠拟合。
2、正则化对模型误差的影响
3、样本对模型误差的影响
- 如果模型不够复杂或者训练特征不够导致的欠拟合的话，无脑的增加样本数量不能减小偏差
- 增加样本集的大小可以减少方差
建议：
四：模型训练为什么要引入偏差(bias)和方差(variance)？
直通车：https://zhuanlan.zhihu.com/p/38853908
在机器学习中，我们用训练数据集去训练一个模型，通常的做法是定义一个误差函数，通过将这个误差的最小化过程，来提高模型的性能。然而我们学习一个模型的目的是为了解决训练数据集这个领域中的一般化问题，单纯地将训练数据集的损失最小化，并不能保证在解决更一般的问题时模型仍然是最优，甚至不能保证模型是可用的。这个训练数据集的损失与一般化的数据集的损失之间的差异就叫做泛化误差（generalization error）。
1、偏差、方差、噪声的理解
而泛化误差可以分解为偏差（Biase）、方差（Variance）和噪声（Noise）。
要进一步理解偏差、方差、噪声，我们需要看看它们的数学公式。
以回归任务为例，学习算法的期望预测为：
这里的期望预测也就是针对不同数据集D，模型f对样本x的预测值取其期望，也叫做平均预测（average predicted）。
1、Variance是不同的训练数据集训练出的模型输出值之间的差异。
使用样本数相同的不同训练集产生的方差为：
方差的含义：方差度量了同样大小的训练集的变动所导致的学习性能的变化，即刻画了数据扰动所造成的影响。
2、Bias是用所有可能的训练数据集训练出的所有模型的输出的平均值与真实模型的输出值之间的差异。
期望输出与真实标记的差别称为偏差（bias），即：
偏差的含义：偏差度量了学习算法的期望预测与真实结果的偏离程度，即刻画了学习算法本身的拟合能力。
3、噪声的存在是学习算法所无法解决的问题，数据的质量决定了学习的上限。假设在数据已经给定的情况下，此时上限已定，我们要做的就是尽可能的接近这个上限。
噪声为：
噪声的含义：噪声则表达了在当前任务上任何学习算法所能达到的期望泛化误差的下界，即刻画了学习问题本身的难度。
**我的理解：**偏差度量的是单个模型的学习能力，而方差度量的是同一个模型在不同数据集上的稳定性。
“偏差-方差分解”说明，泛化性能是由学习算法的能力、数据的充分性以及学习任务本身的难度所共同决定的。给定学习任务，为了取得好的泛化性能，则需使偏差较小，即能够充分拟合数据，并且使方差较小，即使得数据扰动产生的影响小。
一般来说，偏差与方差是有冲突的，这称为偏差-方差窘境（bias-variance dilemma）。下图给出了一个示意图。给定学习任务，假定我们能控制学习算法的训练程度，则在训练不足时，学习器的拟合能力不够强，训练数据的扰动不足以使学习器产生显著变化，此时偏差主导了泛化错误率；随着训练程度的加深，学习器的拟合能力逐渐增强，训练数据发生的扰动渐渐能被学习器学到，方差逐渐主导了泛化错误率；在训练程度充足后，学习器的拟合能力已经非常强，训练数据发生的轻微扰动都会导致学习器发生显著变化，若训练数据自身的、非全局的特性被学习器学到了，则将发生过拟合。
一般来说，简单的模型会有一个较大的偏差和较小的方差，复杂的模型偏差较小方差较大。
2、关于欠拟合、过拟合、模型复杂度和泛化误差之间的关系
欠拟合：模型不能适配训练样本，有一个很大的偏差。
举个例子：我们可能有本质上是多项式的连续非线性数据，但模型只能表示线性关系。在此情况下，我们向模型提供多少数据不重要，因为模型根本无法表示数据的基本关系，模型不能适配训练样本，有一个很大的偏差，因此我们需要更复杂的模型。那么，是不是模型越复杂拟合程度越高越好呢？也不是，因为还有方差。
过拟合：模型很好的适配训练样本，但在测试集上表现很糟，有一个很大的方差。
方差就是指模型过于拟合训练数据，以至于没办法把模型的结果泛化。而泛化正是机器学习要解决的问题，如果一个模型只能对一组特定的数据有效，换了数据就无效，我们就说这个模型过拟合。这就是模型很好的适配训练样本，但在测试集上表现很糟，有一个很大的方差。
偏差、方差与bagging、boosting的关系？
Bagging算法是对训练样本进行采样，产生出若干不同的子集，再从每个数据子集中训练出一个分类器，取这些分类器的平均，所以是降低模型的方差（variance）。Bagging算法和Random Forest这种并行算法都有这个效果。
Boosting则是迭代算法，每一次迭代都根据上一次迭代的预测结果对样本进行权重调整，所以随着迭代不断进行，误差会越来越小，所以模型的偏差（bias）会不断降低。
偏差、方差和K折交叉验证的关系？
K-fold Cross Validation的思想：将原始数据分成K组(一般是均分)，将每个子集数据分别做一次验证集，其余的K-1组子集数据作为训练集，这样会得到K个模型，用这K个模型最终的验证集的分类准确率的平均数作为此K-CV下分类器的性能指标。
对于一系列模型, 我们使用Cross Validation的目的是获得预测误差的无偏估计量CV，从而可以用来选择一个最优的Theta*,使得CV最小。假设K-folds cross validation，CV统计量定义为每个子集中误差的平均值，而K的大小和CV平均值的bias和variance是有关的：
其中，m = N/K 代表每个子集的大小， N是总的训练样本量，K是子集的数目。
当K较大时，m较小，模型建立在较大的N-m上，经过更多次数的平均可以学习得到更符合真实数据分布的模型，Bias就小了，但是这样一来模型就更加拟合训练数据集，再去测试集上预测的时候预测误差的期望值就变大了，从而Variance就大了；k较小的时候，模型不会过度拟合训练数据，从而Bias较大，但是正因为没有过度拟合训练数据，Variance也较小。
3、如何解决偏差、方差问题？
**整体思路：**首先，要知道偏差和方差是无法完全避免的，只能尽量减少其影响。
（1）在避免偏差时，需尽量选择正确的模型，一个非线性问题而我们一直用线性模型去解决，那无论如何，高偏差是无法避免的。
（2）有了正确的模型，我们还要慎重选择数据集的大小，通常数据集越大越好，但大到数据集已经对整体所有数据有了一定的代表性后，再多的数据已经不能提升模型了，反而会带来计算量的增加。而训练数据太小一定是不好的，这会带来过拟合，模型复杂度太高，方差很大，不同数据集训练出来的模型变化非常大。
（3）最后，要选择合适的模型复杂度，复杂度高的模型通常对训练数据有很好的拟合能力。
针对偏差和方差的思路：
**偏差：**实际上也可以称为避免欠拟合。
1、寻找更好的特征 – 具有代表性。
2、用更多的特征 – 增大输入向量的维度。（增加模型复杂度）
**方差：**避免过拟合
1、增大数据集合 – 使用更多的数据，减少数据扰动所造成的影响
2、减少数据特征 – 减少数据维度，减少模型复杂度
3、正则化方法
4、交叉验证法