最大熵模型学习优化案例
分类:
文章
•
2023-11-13 18:11:22
最大熵模型
最大熵模型的学习等价于约束最优化问题：
案例：
已知有A,B,C,D,E五种可能出现的情况，已知A,B出现的概率之和是3/10，所有五个出现概率之和为1，使用最大熵模型进行优化获得这五种情况的概率分布。
该问题主要通过使用拉格朗日的对偶性，然后通过求解对偶最优化问题得到解。
所以我们有：
第一步，求解原始问题：
第二步，利用拉格朗日乘子法：
第三步：对偶问题求解：
最终结果为：
这里我们先固定w0和w1，然后对L(P,w)求偏导数，可以带入得到
后我们可以通过另这些偏导为0，解得：
然后将P（y1）-- P（y5）全部代入L（P,w）,然后可以获得最小值,再去求解极大化问题：
再去对这个函数进行对w0、w1的求偏导并=0，可以得到
所以得到：
就得到最后的结果了。
