线性模型

非线性变换的代价

非线性变换回顾

在之前的文章中我们说过了非线性变换，我们有一个输入x=(x0,…,xd)，通过一个Φ变化，我们将之投影到一个新的平面上去，得到z=(z0,……,zd~)。例如，z=(1,x1,x2,x1x2,x21,x22)。

变化函数为

最终的近似函数在X所表示的空间，则变成了

非线性变换对泛化的影响

对于两式而言，我们分别得到了d+1和d~+1个参数（同时也表示着两个输入的参数*度），显然后者会比前者大不少，那么根据VC分析，则可以知道:

同时我们也可以得到两个权重向量w和w~，显然后者也比前者长不少。

如果根据上述的变化可以知道的是，尽管我们从理论上可以处理维度比较大的数据，但是根据VC分析，在经过非线性变换之后，很可能我们没有能力去让其泛化。

实际上，我们如果能够精确地对z里的数据进行组合，则必然会达到VC维分析的上限。但是实际上有些点集是无法进行*组合的，因为它们是从左侧的同一个点转化而来的。所以准确的VC分析是：

样例1

图1中基本可以进行线性分类了，除了个别的几个点，当然也有人说可以将之忽略，这样就可以不用使用非线性变换了。这样做的结果就是需要接受Ein>0的误差。

如果我们坚持Ein=0，那么我们就需要将之转化到了更加高维的空间。我们需要用4维的空间才能够合理地分类，如下图所示：

非常明显，这样的泛化结果将是非常糟糕的。

这个例子告诉我们，如果我们不想要设计一个非常复杂的假设集，我们就必须接受由此带来的微小训练误差。

样例2

这是一个真正的无法线性分类的例子。

我们将之转化为z=(1,x1,x2,x1x2,x21,x22)，使用一个一般二次曲面。

一般来说，如果我们只考虑x，则我们只需要考虑前三个元素，则付出三个元素的代价，则更容易解决问题。如果我们考虑全部元素，则需要付出六个元素的代价。基本上我们认为，想要达到同等的性能水平，至少需要使用二倍数量的样本。

那我们使用一个小小的技巧，我们将之转化为

z=(1,x21,x22)

因为我们只需要x21表示一个方向，x22表示一个方向，其他元素在整个过程之中并没有发挥作用。
让我们再使用一个小小的技巧，我们将之简化为

z=(1,x21+x22)

最终我们可以将之简化为

z=(x21+x22−0.6)

这样我们就得到了一个VC维只有1的变化方式，同时这样也可以得到非常优秀的泛化。

我们明确地知道上面的分析是有一定问题的。对于一个未知的学习函数而言，我们需要将整个参数都进行训练，才能知道，哪一些是需要的，哪一些是不需要的。

如果在选择模型之前，先看到了数据，会对最终的Eout起到非常坏的作用。
因为实际上我们已经收到了数据的影响，用于描述泛化的量将会在这个过程中变得非常模糊。这被称为data snooping。

逻辑回归

对于不同的线性模型，相当于处理的时候方式不同

感知器就是通过阈值来进行正负判断，而线性回归则是保持原有的输入，逻辑回归则是介于两者之间的一种方式。

感觉讲逻辑回归的东西非常多，就不写了。