线性分类

概述

感知机

求解步骤

1. 将数据表示为增广向量形式 eg.$x_1(1,1,1)$x1​(1,1,1)，最后一位表示类别
2. 初始话$w_0={0,0,0}$w0​=0,0,0
3. 迭代计算
   对于正样本，$w_0x_i^T>0$w0​xiT​>0，否则更新$w_0 = w_0+x_i$w0​=w0​+xi​
   对于负样本，$w_0x_i^T\leq 0$w0​xiT​≤0，否则更新$w_0 = w_0-x_i$w0​=w0​−xi​
4. 直至迭代$w_i$wi​使得无误分点

决策函数$g(x) = wx^T$g(x)=wxT

Fisher鉴别方法

求解步骤

1. 求出两类质心 $\mu_1, \mu_2$μ1​,μ2​
2. 求出类间散度矩阵$S_w = \sum_{x\in C1}(x - \mu_1)(x-\mu_1)^T + \sum_{x\in C2}(x - \mu_2)(x-\mu_2)^T$Sw​=∑x∈C1​(x−μ1​)(x−μ1​)T+∑x∈C2​(x−μ2​)(x−μ2​)T
3. 求出$S_w^{-1}$Sw−1​
4. $w = S_w^{-1}(\mu_1 -\mu_2)$w=Sw−1​(μ1​−μ2​)
5. 求出两类投影中心 $u_1 = w^T\mu_1, u_2 = w^T\mu_2$u1​=wTμ1​,u2​=wTμ2​
6. $b=-\frac{1}{2}(u_1+u_2)$b=−21​(u1​+u2​)

决策函数$g(x) = wx^T + b$g(x)=wxT+b

最小距离分类

求解步骤

1. 求出两类质心 $\mu_1, \mu_2$μ1​,μ2​
2. $w = m_1 - m_2$w=m1​−m2​
3. $b=-\frac{1}{2}(m_1-m_2)^T(m_1-m_2)$b=−21​(m1​−m2​)T(m1​−m2​)

决策函数$g(x) = wx^T + b$g(x)=wxT+b

最小均方误差

求解步骤

1. $w = (X^TX)^{-1}X^Ty$w=(XTX)−1XTy

决策函数$g(x) = wx^T$g(x)=wxT

以上，当$g(x)>0$g(x)>0时，判定为第一类样本；$g(x)\leq 0$g(x)≤0时，判定为第二类样本。