机器学习(二)贝叶斯分类(下)


                                机器学习(二)贝叶斯分类(下)
                            最小错误率贝叶斯<=>最大后验分类规则: w=argmax{P(wix)}w^{*}=argmax\left \{P(w_{i}|x)\right \} = argmax{P(xwi)P(wi)}argmax\left \{P(x|w_{i})P(w_{i})\right \}
 


 

1. 朴素贝叶斯核心理解

        对已知类别,假设所有属性相互独立。换言之,假设每个属性独立地对分类结果发生影响,那么得出朴素贝叶斯核心假设:
                        机器学习(二)贝叶斯分类(下)

                        朴素贝叶斯判决规则:w=argmax{k=1KP(xwi)P(wi)}w^{*}=argmax\left \{\prod_{k=1}^{K}P(x|w_{i})P(w_{i})\right \}

Eg: 用个例子来辅助理解:
                        机器学习(二)贝叶斯分类(下)
解答:
                        机器学习(二)贝叶斯分类(下)
                        机器学习(二)贝叶斯分类(下)


 

2. 拉普拉斯平滑处理

 

        Q1: 回看到上述例子,发现一个问题,若将测试改成 “云 热 高 是”, 那么就如下图所示:
                        机器学习(二)贝叶斯分类(下)

        发现只要因子出现了0,不管后面是什么情况、什么条件,最后得到的结果仍旧是0(假设w=0,得到的结果为0),那就肯定会选择w=1,选择打网球,不管此时环境有多恶劣,这就是所谓的 Zero-Frequency Problem
 
        解决方法:使用拉普拉斯平滑处理

具体用法如下:
                        机器学习(二)贝叶斯分类(下)
                                ={α=1Lidstone0α<1类型 =\left\{\begin{matrix} &拉普拉斯平滑 &\alpha =1 \\ &Lidstone平滑 &0\leq \alpha < 1 \end{matrix}\right.