分类

目标：给定数据数据 x$x$,为其分配一个离散的类标签Ck$C_k$这里k=1,...,K$k=1,...,K$
将输入空间分为不同的区域。

如何表示二值类标签

类型标签不再是实数，而是离散集。
两类：t∈{0,1}$t\in \{0,1\}$
t=1$t=1$表示类C1$C_1$,t=0$t=0$表示类C2$C_2$

当类型标签数量大于2时，类如何表示

常用：one-hot 编码，是长度为K的向量，除了位为1外，其他位都为0
例如：给定五类，{C1,C2,...C5},C2$\{C_1,C_2,...C_5\},C_2$可以表示为以下形式

广义线性模型

想法：仍然使用上一章回归中用到的线性模型

但是y(xn,w)∈$y({\mathbf{\text{x}}}_n,\mathbf{\text{w}})\in$ R
当y(xn,w)=0.71623$y({\mathbf{\text{x}}}_n,\mathbf{\text{w}})=0.71623$时，属于哪一类
使用映射函数f$f$将线性模型映射到离散的类型标签
广义线性模型为

**函数:f(.)$f(.)$
链接函数:f−1(.)$f^{-1}(.)$

推理和决策

辨别函数

找到一个辨别函数f(x)$f(\mathbf{\text{x}})$直接将输入映射到类标签

生成模型

1、使用贝叶斯理论推断后验分布p(Ck|x)$p(C_k|x)$,需要考虑先验分布p(Ck)$p(C_k)$和p(X|Ck)$p(X|C_k)$
也可以对联合分布p(X,Ck)$p(X,C_k)$建模
2、使用决策论对x分配类
例子：

辨别模型（discriminative model）

辨别模型是确定一个函数，这个函数能直接将输入向量X,映射到K类别中的一类，表示为Ck$C_k$
1、直接计算p(Ck|X)$p(C_k|X)$
2、使用决策理论（decision theory）为每一个新的X分配一个类型标签

判别函数

两类

先来考虑类型有两类的情况（K=2$K=2$）
建一个关于输入x$\mathbf{\text{x}}$的线性函数

当y(x)>0$y(\mathbf{\text{x}})>0$时，x$\mathbf{\text{x}}$属于C1$C_1$否则属于C2$C_2$
决策边界y(x)=0$y(\mathbf{\text{x}})=0$是D维度输入空间的（D-1）维超平面
w$\mathbf{\text{w}}$正交于决策平面上的任意向量
证明：令xA${\mathbf{\text{x}}}_A$和xB${\mathbf{\text{x}}}_B$是决策平面上的两点，则

原点到超平面的距离为

为了让概念更加经凑，给输入空间添加一个额外的维度x0=1$x_0=1$
接着定义w~=(w0,w)$\widetilde{\mathbf{\text{w}}}=(w_0,\mathbf{\text{w}})$和x~=(w0,x)$\widetilde{\mathbf{\text{x}}}=(w_0,\mathbf{\text{x}})$

决策平面现在为D+1维输入空间的，D维超平面。

多类

当类型多余2的时候
能否组合K-1个 one-versus-the-rest分类器

能否组合K（K-1）个one-versus-one个分类器

正确的方法：
使用K个线性函数

输入x$\mathbf{\text{x}}$属于Ck$C_k$当yk(x)>yj(x)$y_k(\mathbf{\text{x}})>y_j(\mathbf{\text{x}})$对于任何j≠k$j\ne k$
决策平面为

最小二乘

在第一章里面使用最小二乘解决回归问题，分类问题能不能使用这个方法呢，答案是可以的。
给定输入数据x$\mathbf{\text{x}}$属于K类中的一类Ck$C_k$
使用one-hot编码
判别函数为

对于一个新输入的x$\mathbf{\text{x}}$，它的类型由值最大的y(x)$y(\mathbf{\text{x}})$决定。

如何求W~$\widetilde{\mathbf{\text{W}}}$

给定训练集{xn,t${\mathbf{\text{x}}}_n,\mathbf{\text{t}}$}其中t$\mathbf{\text{t}}$是one-hot编码。
定义矩阵T$\mathbf{\text{T}}$其中第n行对应tTn$t_n^T$
误差和可以写为

当

时候误差取到最小值

上图中绿线是逻辑回归的决策平面，紫线是最小二乘线性回归的决策平面，可以看到二小二乘的决策平面容易受到离群点扰动。
为什么会这样呢？
这是因为最小二乘训练的时候每一个训练数据对决策平面都具有相同的影响，而逻辑回归通过sigmoid**函数降低了离群点对决策平面的影响。