李航统计学习方法之朴素贝叶斯法（含python及tensorflow实现）

朴素贝叶斯法数学表达式

       朴素贝叶斯是一个生成模型。有一个强假设：条件独立性。我们先看下朴素贝叶斯法的思想，然后看下条件独立性具体数学表达式是什么样的。

       条件独立性数学表达式为：

       我们都知道贝叶斯法计算后验概率是依据先验概率和贝叶斯公式得来的，我们有：${P(Y=y_k|X=x)= \frac {P(X=x|Y=y_k)*P(Y=y_k)}{\sum_{k}P(X=x|Y=y_k)*P(Y=y_k)}} {(4.4)}$P(Y=yk​∣X=x)=∑k​P(X=x∣Y=yk​)∗P(Y=yk​)P(X=x∣Y=yk​)∗P(Y=yk​)​(4.4)将式(4.3)带入(4.4)中有：
$P(Y=y_k|X=x)=\frac {P(Y=y_k) \prod_j {P(X^{(j)} = x^{(j)}|Y=y_k)}}{\sum_kP(Y=y_k) \prod_j {P(X^{(j)} = x^{(j)}|Y=y_k)}},k=1,2,...,K(4.5)$P(Y=yk​∣X=x)=∑k​P(Y=yk​)∏j​P(X(j)=x(j)∣Y=yk​)P(Y=yk​)∏j​P(X(j)=x(j)∣Y=yk​)​,k=1,2,...,K(4.5)
式(4.5)即为朴素贝叶斯基本公式。朴素贝叶斯分类器可以表示为：
$y=f(x)=argmax_{y_k}\frac {P(Y=y_k) \prod_j {P(X^{(j)} = x^{(j)}|Y=y_k)}}{\sum_kP(Y=y_k) \prod_j {P(X^{(j)} = x^{(j)}|Y=y_k)}},k=1,2,...,K(4.6)$y=f(x)=argmaxyk​​∑k​P(Y=yk​)∏j​P(X(j)=x(j)∣Y=yk​)P(Y=yk​)∏j​P(X(j)=x(j)∣Y=yk​)​,k=1,2,...,K(4.6)       注意(4.6)对所有$c_k$ck​都相同，则可以简化为：$y=f(x)=argmax_{y_k} {P(Y=y_k) \prod_j {P(X^{(j)} = x^{(j)}|Y=y_k)}},k=1,2,...,K(4.7)$y=f(x)=argmaxyk​​P(Y=yk​)j∏​P(X(j)=x(j)∣Y=yk​),k=1,2,...,K(4.7)       这里可能会产生一个疑问，为什么是$argmax$argmax化呢，一般我们通常都是最小化风险函数，这个$argmax$argmax和风险函数又有什么关系呢？后验最大化概率的含义又是什么呢？别急，且听慢慢道来。

后验概率最大化的含义

贝叶斯法参数估计

       
Ref[2-5为markdown写作语法Ref]：
1、李航统计学习方法
2、https://blog.****.net/soindy/article/details/50426362
3、https://blog.****.net/ly890700/article/details/73131657
4、https://blog.****.net/bat67/article/details/72858409
5、https://blog.****.net/tearsky253/article/details/78968221