原文作者：@qiuhlee
本文转载自：https://www.cnblogs.com/qiuhlee/p/9298877.html

MM算法是一种迭代优化方法，利用函数的凸性来寻找它们的最大值或最小值。 MM表示 “majorize-minimize MM 算法” 或“minorize-maximize MM 算法”，取决于需要的优化是最小化还是最大化。实际上，MM本身不是算法，而是一种如何构造优化算法的描述。

MM算法是一种迭代优化方法，它利用函数的凸性来找到原函数的最大值或最小值。当原目标函数$f(\theta)$f(θ)较难优化时，算法不直接对原目标函数求最优解，而去求解逼近于原目标函数的一个易于优化的目标函数$g(\theta)$g(θ)，通过对这个替代函数求解，使得$g(\theta)$g(θ)的最优解逼近于$f(\theta)$f(θ)的最优解。每迭代一次，根据所求解构造用于下一次迭代的新的替代函数，然后对新的替代函数最优化求解得到下一次迭代的求解。通过多次迭代，可以得到越来越接近目标函数最优解的解。

目标函数最小化问题：

• 此时，MM算法具体为Majorize-Minimization：每次迭代找到原非凸目标函数的一个上界函数，求上界函数的最小值。

目标函数最大化问题：

• 此时，MM算法具体为Minorize-Maximization：每次迭代找到原非凸目标函数的一个下界函数，求下界函数的最大值。

期望最大化(EM)算法可以被视为MM算法的特殊情况，在机器学习中经常用到。MM算法与EM算法有联系但是又有区别，在EM算法中通常涉及条件期望，而在MM算法中，凸性和不等式是主要焦点。

以Minorize-Maximization为例, 使目标函数$f(\theta)$f(θ)最大化。

在算法的第$m(m=0,1...)$m(m=0,1...)步，若满足以下条件，则目标函数$f(\theta_m)$f(θm​)可用构造函数$g_m(\theta_m)$gm​(θm​)代替。

$g_m(\theta) \leq f(\theta_m) \ \ \ \ \ \forall \theta \ \ \ \ \\ g_m(\theta_m) = f(\theta_m)$gm​(θ)≤f(θm​)     ∀θ    gm​(θm​)=f(θm​)

MM算法步骤

1. 使$m = 1$m=1，并初始化$\theta_0$θ0​。
2. 构造$g_m(\theta)$gm​(θ)满足条件$(1)$(1)和$(2)$(2)。
3. 令$\theta_{m+1}=\arg\underset{\theta }{\mathop{\min }} \ g_m(\theta)$θm+1​=argθmin​ gm​(θ)。
4. 使$m=m+1$m=m+1，返回步骤2。

$\theta_m$θm​和目标函数的替代函数的迭代步骤如下图所示。

由以上条件可得如下不等式：

$f(\theta_{m+1}) \geq g_m(\theta_{m+1}) \geq g(\theta_m|\theta_m) = f(\theta_m)$f(θm+1​)≥gm​(θm+1​)≥g(θm​∣θm​)=f(θm​)

---

  博主不定期发布『保研/推免、C/C++、5G移动通信、Linux、生活随笔』系列文章，如果觉得本文对你有帮助，可以『点赞＋关注』支持一下哦！