Image Retargeting: IMAGE RETARGETING BASED ON GLOBAL ENERGY OPTIMIZATION

ICME09的论文：IMAGE RETARGETING BASED ON GLOBAL ENERGY OPTIMIZATION
一、【Abstract】：
提出了一种基于全局能量优化的图像重定位方法。
现有的方法：大多是通过预先定义的策略或基于局部优化的迭代来增强原始图像的高能量部分。它们不能达到能量保持的全局最优效果。
为了解决这一问题，我们的方法将图像重定位定义为一个全局能量优化问题。
【步骤】：
首先计算原始图像的能量图。
然后，利用约束线性规划来最大化重定目标的保留能量。
最后，提出了一种基于像素融合的重定位图像生成方法。

为了使该方法在实际应用中更具可行性，本文进一步提出了两种策略来降低该方法的时间成本。通过与典型的图像重定位方法的比较，证明了该方法的有效性。

二、【介绍】：
现有的典型的基于内容的图像重定位方法大致可以分为两类。
第一种方法通过预先定义的策略增强原始图像的高能量部分。：crop
第二种将图像重定目标视为一个能量优化问题，即通过优化算法保留高能量像素。：seam carving
缺点：耗时
【再次核心介绍】：
本文提出了一种新的图像重定目标方法，实现了重定目标图像的全局最优能量重定**。该方法的核心是对一个约束0-1整数规划问题的能量保持公式化。**为了在多项式时间内解决这一问题，我们将其简化为线性规划问题，并提出了相应的基于像素融合的重定目标图像生成方法。此外，通过结合初步缩放和放松像素位置约束，进一步提高了该方法在实现中的可行性。

三、全局能量优化的图像重定位方法
图2说明了方法的过程。首先，计算原始图像的能量图（图2（b）），其中从低到高的能量由蓝色到红色着色。然后，通过线性规划计算每个像素的最佳新宽度（图2（c）），其中从0到1的新宽度由从黑到白表示。最后，提出了一种基于像素融合的方法来生成重定目标图像（图2（d））。

能量的计算：考虑了saliency和face的存在。
0-1规划：
Based on the energy map, we retarget the original image by removing the pixels with low energy.

根据上述分析，可以将图像重定目标作为一个问题来处理，以使方程（3）的值最大化。然而，基于在没有任何约束的情况下计算出的最大值，生成的重定目标图像可能是不可读的（图3（b））。为了获得可读的重定目标图像，添加了一些约束。
首先，每行中保留的像素数应等于重定目标图像所需的宽度，这可以保持结果的规则形状（图3（c））。
其次，原始图像同一列中的像素的新位置应该相似，这样可以避免重定目标图像中的严重失真（图3（d））。

【详细过程】：
基于线性规划的结果，生成重定目标图像如下：
首先，将原始图像中的每个像素作为其宽度可以改变的分量（图4（a））；
其次，在线性规划的结果中将每个分量的新宽度分配给xij（图4（b））；
第三，将同一行中的组件连接在一起（图4（c））；
最后，通过计算其在RGB空间中的颜色值以及其范围（图4（d））中的组件（或组件）的线性组合来生成新组件，并将其视为重定目标图像中的对应像素。

四、两个优化时间的策略
1): Combination with preliminary scaling(下采样)
2): Relaxation in pixel position constraint（减少约束）
由于边缘是图像中至关重要的视觉特征，认为位置约束对边缘中的像素更为重要。因此，论文计算每个像素的梯度，只保留高梯度值像素的位置约束。

五、实验

六、总结
提出了一种基于全局能量优化的图像重定位方法。将图像重定目标转化为能量受限的0-1整数规划，并利用相应的像素融合方法将其转化为线性规划，生成最终的重定目标图像。此外，还提出了两种策略，通过减少优化过程中的变量和约束数目，提高了该方法在实际应用中的可行性。

七：其他
暂无