ML:naive bayes
基于特征相互独立,强假设。
典型的生成模型(生成模型还有隐马尔可夫链)
生成模型还原联合概率分布P(X,Y),学习和收敛速度更快。
判别模型直接学习条件概率P(X|Y)或决策函数f(X),往往准确率更高。
根据贝叶斯公式:
学习:
先验概率P(Y)
条件概率P(X|Y)
得出:
后验概率P(Y|X)
朴素贝叶斯将实例分到后验概率最大的类中,等价于期望风险最小化。
先验概率计算:
条件概率计算:
贝叶斯估计:
通常在后验概率分子和分母上加一个正常数,避免出现概率为0的时候。