统计学习 最小错误率与最小风险的贝叶斯决策

【最小错误率的贝叶斯决策】

贝叶斯定理：   

以两类问题为例，已知两类别和的先验概率   和    以及类别特征的条件概率  和  

现给定一个样本的特征x  分析其属于何种类别？

判别函数：

           

若      则 X属于    

若      则 X属于    

最小错误率的贝叶斯决策即求解最大的类别后验概率

进一步，针对多类问题，其判别函数形式化表达为：

决策面方程即符合决策面方程的样本可以等可能的判定为不同类别

两类分类问题决策面方程：

         即        

多类分类问题决策面方程：

             i,j =0,1....  同时 i 不等于j

 

【最小风险的贝叶斯决策】

最小错误率的贝叶斯决策可以找到正确率最高的分类结果，但实际问题中，不同类别分类错误的代价可能不同，例如将有毒蘑菇分类成无毒蘑菇的代价远远大于将无毒蘑菇分类成有毒蘑菇的代价。因此根据实际情况人为的引入分类错误风险，使得贝叶斯决策更加科学。

风险损失矩阵：   表示将实际为i的样本划分到j类别的风险系数，特别的当i等于j时，通常 

将一个样本X将其划分到 类别的风险的计算表达式为：

将一个样本X将其划分到 类别的风险的计算表达式为：

判别依据：

    则X判定为

    则X判定为

特别地，当也就是判别错误的风险一样大，那么转变为最小错误率的贝叶斯决策

同理决策面方程为对应判定为不同类别风险一样大时样本满足的方程：

 

【实际案例】