一、 感知器（perceptron）

      感知器（Perceptron）属于判别模型（Discriminative model），从样本中直接学习判别函数，所有类别的样本放在一起学习。它是神经网络和SVM的基础。

      感知器准则函数被定义为

       式中的 Y(a) 是被当前 a 错分的样本（即满足 y ≤ 0 的全部 y ）构成的集合。也就是说，感知器算法是错误驱动（error-correcting procedure）的：被正确分类的样本对准则函数没有贡献，不产生误差。

二、 线性判别函数

       1.  线性判别函数的形式为：g(x) =  + 

        x∈Rd 是给定的样本，w=(w1,w2,⋯,wd)w=(w1,w2,⋯,wd) 是权重向量，w0是偏置。对于多类分类问题，如果有 c 个类，那么有 c个判别函数，将样本的类别判定为各判别函数取值最大的一个（实际上这是一种one-vs-all的方式，因为一个判别函数只可以解决二类的分类问题

       2.  二分类问题的线性判别函数

       如果是二分类问题，则可以只有一个判别函数，当 g(x) > 0 时判为正类，g(x) < 0时判为负类，g(x) = 0时任意。因此，g(x) =  0就是决策面，对于线性判别函数来说，这是一个超平面（Hyperplane，直线的高维推广）。对于一组来源于两类的样本来说，如果存在一个超平面可以将它们完全正确地分开，则称它们是线性可分的。

        更多内容请访问（转载）：http://www.cnblogs.com/Determined22/p/6507329.html