对朴素贝叶斯法后验概率最大化含义的一些思考

看李航的《统计学习方法》朴素贝叶斯章节中4.1.2后验概率对大化的含义时,对这里的理解有些困扰,参考另一篇博客在这里写下自己对这一个问题的个人见解,烦请指正。

                                           对朴素贝叶斯法后验概率最大化含义的一些思考

如上图所示,书中从期望风险函数直接跳到条件取值期望,这里的推导过程如下:

对朴素贝叶斯法后验概率最大化含义的一些思考

在这里,设:

对朴素贝叶斯法后验概率最大化含义的一些思考

那么上式可以改为:

对朴素贝叶斯法后验概率最大化含义的一些思考

对于上式的期望风险求最小化,可以发现这是一个积分,积分中的对朴素贝叶斯法后验概率最大化含义的一些思考中的各项以及对朴素贝叶斯法后验概率最大化含义的一些思考都大于0,所以积分过程中不存在积分域内的两块积分相减的情况,因此求最小值就是求对朴素贝叶斯法后验概率最大化含义的一些思考的最小值。对于任意的一个对朴素贝叶斯法后验概率最大化含义的一些思考对朴素贝叶斯法后验概率最大化含义的一些思考为常数,那么最小值一定是在对朴素贝叶斯法后验概率最大化含义的一些思考取最小值的时候取到。因此对期望风险函数的求解可以转为所谓的求条件期望的最小值:

对朴素贝叶斯法后验概率最大化含义的一些思考

对于离散型随机变量,对朴素贝叶斯法后验概率最大化含义的一些思考可以变换为:

对朴素贝叶斯法后验概率最大化含义的一些思考

(这是我对这里的理解,书写方式和书中不一致,不知是否有错误,烦请指正)

在书中还有一句就是对对朴素贝叶斯法后验概率最大化含义的一些思考逐个极小化,还是由于对朴素贝叶斯法后验概率最大化含义的一些思考对朴素贝叶斯法后验概率最大化含义的一些思考都是大于0的,那么要求对朴素贝叶斯法后验概率最大化含义的一些思考的最小化就要使其中的每一项取最小值。

随后的化简过程就比较简单了,这里不再赘述。

参考博客:

https://blog.****.net/rea_utopia/article/details/78881415