一、决策面(Decision Surfaces)

1.1 概念

如果输入的数据是一个 $L$ 维空间特征，考虑一个 $M$ 分类问题，那么分类器将会把这个 $L$ 维空间的特征点分为 $M$ 个区域。每个区域显然就属于一个类别，如果输入一个点 $x$ 落在第 $i$ 个区域，那么 $x$ 就属于第 $i$ 类。分割成这些区域的边界就称为决策面。

1.2 例子

下面是一个简答的例子：

[贝叶斯三]之决策函数和决策面

输入是一维，决策函数是 $p (x | w)$ ，将两个类别的函数取值画出(如图的高斯函数图形)。如图虚线部分就是决策面(该决策面其实就是一个点 $x_{0}$ )，点的左边因为 $w_{1}$ 函数值大，所以判定为第一类。

1.3 数学化

对于两个相邻的区域 $R_{i}$ 和 $R_{j}$ 来说，如果输入样本 $x$ ，我们分别计算该样本属于第 $i$ 的概率 $P (w_{i} | x)$ 和第 $j$ 类的概率 $P (w_{j} | x)$ ，并定义函数 $g (x) = P (w_{i} | x) - P (w_{j} | x)$ , 那么此时 $g (x)$ 有如下三种情况。

$g (x) = 0$ 就是分割区域 $R_{i}$ 和 $R_{j}$ 的决策面。

二、判决函数

如果 $f$ 函数是单调递增函数，那么判决函数可以定义为如下：

g_{i} (x) = f (p (w_{i} | x))

决策规则和之前所阐述的一致。

i f g_{i} (x) > g_{j} (x), \forall i \neq j \to x \in w_{i}

常用的判决函数有如下几种。

\begin{aligned} (1) & g_{i} (x) & = p (w_{i} | x) \\ (2) & g_{i} (x) & = p (x | w_{i}) p (w_{i}) \\ (3) & g_{i} (x) & = l n p (x | w_{i}) + l n p (w_{i}) \\ (4) & g_{i} (x) & = f (p (x | w_{i})) + h (x) \end{aligned}

三、小节

1维特征空间：决策面是一个点
2维特征空间：决策面是一条线
3维特征空间：决策面是超平面(Hyperplane)
决策区域是由决策面决定的

<个人网页blog已经上线，一大波干货即将来袭：https://faiculty.com/>