图像显著性区域提取[1]——研究现状

1.Itti算法

《A Model of Saliency-Based Visual Attention for Rapid Scene Analysis》

Step1：对输入图片1/2采样，重复八次，最小尺度的图片I8大小是原图片I0的1/256，共计8个尺度；
Step2：分别提取不同尺度下的图像特征，颜色特征R、G、B、Y，亮度特征I，方向特征（0,45,90,135四个方向），共计9个特征；

Step3：计算中央周边差，中央c包括2,3,4；周边s包括5,6,7,8；要求c-s等于3,4，所以共有2-5，2-6， 3-6，3-7，4-7，4-8六种尺度差。特征差值包括I，RG，BY，O(四种方向)七种特征，共计42幅特征图。取差的时候的时候需要向上差值，使其具有相同的尺度；
Step4：归一化，不同特征得到的显著值不同；然后分别尺度间求和，包括Im（亮度和），Cm（RG、BY），Om（四个方向和），求和与上面取差类似，先插值，后求和。
Step5：显著图融合，均值融合的方法。
评价：频繁的差值处理导致分辨率差，显著边缘效果不好。

2.SR算法

《Saliency Detection: A Spectral Residual Approach》
该算法认为图像信息都存在于幅度谱信息中，从图像的幅度谱中减去先验知识的幅度谱，剩下的就是显著部分的幅度谱。图像由两部分组成背景信息和先验信息。
H(Image)=H(Innovation)+H(PriorKnowledge)
图像的log频谱减去频谱的平均值剩余的就是图像显著性区域。（对图像进行傅里叶变换转换到频域取对数值得到的频谱就是log频谱）。R(f)=L(f)-A(f)；其中L(f)就是图像f的log振幅谱，A(f)是平均log振幅谱，作者就是将L(f)进行3*3的均值滤波得到的A(f)。R(f)就是图像f的Spectral Residual。

其中I(x)输入图像，经过傅里叶变换后实部表示幅度，虚部为相位。hn(x)是一个3*3的均值滤波器，g(x)是一个高斯滤波器。

评价：算法简单但只能一定程度上给出显著性区域的位置。
matlab代码：
myFFT = fft2(inImg);
myLogAmplitude = log(abs(myFFT));
myPhase = angle(myFFT);
mySpectralResidual = myLogAmplitude - imfilter(myLogAmplitude, fspecial(‘average’, 3), ‘replicate’);
saliencyMap = abs(ifft2(exp(mySpectralResidual + i*myPhase))).^2;

3.FT算法

《Frequency-tuned Salient Region Detection》
在频域空间下，图像可以分为高频和低频部分，其中高频部分主要对应于图像的细节部分以及一些不希望的高频噪声，低频部分对应于图像的基本区域等整体信息，显而易见，低频部分是显著性区域检测主要研究的地方。定义 为计算显著性所需要的最低频率， 为计算显著性需要的最高频率，研究显著性区域将集中在区间 中。为了提高显著性区域的完整性以及体现出一些细节，需要将这一区间向两端扩大。

Iu表示全图的CIELab空间下颜色均值， I(p)为p点经过滤波后的颜色特征， || ||表示在Lab空间下的欧式距离。

4.PCA算法

《What Makes a Patch Distinct?》

该算法将形态与Lab颜色空间下两种描述相结合。
Step1：形态显著性计算，利用PCA(Principal Component Analysis)对基础部分进行降维，找到最具有代表性的特征作为显著性计算的依据。利用超像素分割将图像分割为不同的区域，计算各区域与全图平均值的对比度，得到显著图。
Step2：颜色显著性计算，计算在CIELab空间下，各个区域间的颜色对比度。
Step3：加入先验信息，融合形态显著图和颜色显著图的基础上，找到图像中显著性区域，加入一个o=1000的Gaussian滤波器，凸出显著性区域增加亮度。