一种新的具有多尺度结构感知的全色锐化方法

一种新的具有多尺度结构感知的全色锐化方法

原文：https://ieeexplore.ieee.org/abstract/document/8518250

摘要
    卫星提供的遥感图像通常包含不同尺度的复杂地球物体。在这些图像的融合中，由于细节提取的不准确性，大多数现有的基于滤波的全色锐化方法经常遭受光谱和/或空间信息失真。在此动机的推动下，我们一种有效且简单的多尺度结构感知全色锐化方法，该方法使用具有良好结构感知能力的结构保持滤波器逐步感知结构并准确提取细节。该实验在GeoEye-1卫星图像上进行。视觉和客观分析表明，我们的方法可以产生高质量的全色锐化结果，并优于现有的一些方法。

关键字：全色锐化、结构保留滤波器、全色、多光谱

1 介绍
    地球观测卫星提供的遥感图像数据，如IKONOS，QuickBird，GeoEye-1，WorldView-2，通常由高空间分辨率全色（PAN）信道和几个低空间分辨率多光谱（MS）信道组成[1] 。 全色锐化旨在利用PAN图像的空间信息来提高MS图像的空间分辨率。到目前为止，已经开发了各种各样的pansharpening方法，其中基于过滤的方法演变成该领域的重要分支。 2004年，Petschnigg [2]等。提出联合双边滤波器（JBF）试图将来自一个图像的高频和来自另一个图像的低频相结合。利用JBF的边缘保留和细节传递能力，Joshi [3]等。提出了一种基于JBF的多阶段图像融合算法。 2005年，Buades等人。 [4]提出了归一化的非局部均值滤波器去噪图像。尹等人。 [5]使用多尺度归一化非局部均值滤波器开发了两步扫描方法。 2013年，何等人。 [6]提出了一种新的边缘保持平滑滤波器，称为导向滤波器。然后是Upla等人。 [7]设计了一种基于多级导向滤波器的pansharpening方法。 Qu等人。 [8]最近将导向滤波器引入高光谱图像pansharpening。然而，大多数现有的基于过滤的方法仅关注捕获边缘特征，并且很少从结构感知的角度描述空间细节，这可能导致不令人满意的细节提取。 2013年，Karacan [9]等。提出了一种新的 结构保持滤波器，它取决于区域协方差，隐式捕获局部结构和纹理信息。该滤波器在图像处理应用中显示出巨大的潜力，例如图像抽象，图像合成，纹理和细节增强等。据我们所知，文献中没有利用结构保持滤波器的融合方法。
    由于遥感图像通常包含复杂的地球物体，而PAN和MS图像具有不同的空间分辨率，因此在细节提取过程中识别不同尺寸的物体或各种尺度的结构是很重要的，这是一个关键的过程。受此启发，我们提出了一种多尺度结构感知的pansharpening方法，其中感知结构并通过多尺度滤波分解捕获相应的细节。为了验证其有效性，在GeoEye-1数据集上进行实验。主观和客观评估表明，所提出的方法可以产生高质量的结果，并且优于其他一些基于过滤器的方法。

2 结构保留滤波器
    结构保持滤波（SPF）是一种简单的图像平滑方法，旨在通过区域协方差从纹理中提取结构[10]。使用二阶统计量作为补丁描述符可以隐式地捕获局部结构和纹理信息，并使该方法对于从纹理的结构提取特别有效。由于其出色的结构感知能力，它有益于各种图像处理应用。

2.1. 基本结构保留过滤
    首先，让F表示从输入图像G中提取的7维特征图像：

    其中G(x,y)表示像素的强度,第2、3、4、5项分别表示强度在x、y方向的一阶和二阶导数，(x,y)表示像素位置。然后，F内的k×k大小的区域R可以用特征点的7×7协方差矩阵CR表示：

    用Zi表示R内的每个7维特征向量，μ是这些特征向量的平均值。对于两个图像像素p和q，相应的距离测量定义为：

    这里，μp，μq和Cp，Cq分别表示从以像素p和q为中心的图像块提取的特征的均值和协方差。根据这个方法，像素p和q的自适应权重可以定义如下：

    像素p的结构分量是：

    其中N(p,r)表示以p为中心并且具有大小(2r + 1)×(2r + 1)像素的平方邻域，并且Bp是归一化因子。

2.3. 多尺度分解
    SPF包含三个主要参数：r，k和σ。空间参数σ控制平滑程度。 k控制从中捕获局部结构信息的块的大小。当计算结构组件S时，r控制窗口大小。可以通过迭代地分解输入图像G来获取多尺度结构Si和细节层Ti。具体地，我们通过在每次迭代时增加块大小k和窗口大小r并且通过在每次迭代时使用提取的结构组件作为后续迭代中的提取过程的输入来平滑输入图像。在n次迭代之后，这会产生分解：


    这里，T1，T2 … Tn-1表示在粗糙度增加的情况下提取的纹理分量，而Sn是最粗糙的结构分量。
    图1显示了GeoEye-1卫星图像的2层多尺度表示。可以看出，多尺度分解成功地将结构与纹理区分开来。通过逐步平滑输入图像（图1（a）），可以逐步提取小型和大型结构。此外，纹理分量中显示的精细细节和粗细节从每层的原始图像中平滑。它说明了多尺度结构保持滤波可以有效地捕获非常高分辨率的卫星图像中的结构，有助于提高pansharpening中细节提取的准确性。

（图1: GeoEye-1卫星图像的2层多尺度分解（a）输入图像G.（b）第一层结构分量S1。 （c）第一层纹理分量T1。 （d）第二级结构分量S2。 （e）第二级纹理分量T2。）

3 提出方法
    所提出的方法在图2中概述。我们通过SPF以感知多尺度结构迭代地分解输入图像并提取足够的细节信息。此外，注入增益矩阵旨在提高融合质量。该方法包括以下4个步骤。
    步骤1.使用双三次插值技术将原始MS图像上采样到PAN图像P的大小。升级的N波段低分辨率MS图像表示为LRMi，其中i = 1 … N。
    步骤2.直方图匹配。
    1）使图像P与每个MS波段LRMi匹配以获得MRMi，λ和μ分别表示方差和相应下标图像的均值：

    2）将图像P与LRM平均的强度分量I匹配以获得MP：

    步骤3.多尺度分解。
    用SPF生成第一级和第二级结构分量图像，k1 = 7，r1 = 18，σ1= 0.2; k2 = 15，r2 = 23，σ2= 0.2。然后如下提取细节成分图像D：


    步骤4.细节注入。
    计算注入增益矩阵如下:

    通过以下方法得到融合带:


(图2:所提出方法的原理图。)

4 实验结果
    我们使用GeoEye-1图像作为测试数据，包括2.0 m MS波段(波段1:蓝色，波段2:绿色，波段3:红色，波段4:近红外)和0.5 m PAN波段。2009年2月的数据覆盖了澳大利亚霍巴特的部分地区。图3 (a)和(b)分别显示了PAN和MS图像。

（图3： (a) PAN图像。(b)上采样MS图像。© MGF方法。(d) GFAIHS方法。(e) GFP的方法。(f)本文提出的方法。）
    计算性能的性能指标为合成中的相对无量纲全局误差(ERGAS)、Q4、光谱角映射器(SAM)和空间相关系数(SCC)[11]。为了便于比较，我们还实现并测试了MGF[7]、GFAIHS[12]和GFP[8]方法。

4.1 主观的分析
    图3 （c)-(f)分别显示了MGF、GFAIHS、GFP和所提出方法的可视化结果。可以看出，GFP和GFAIHS方法存在明显的细节失真。与原始MS图像相比(图3 (b))， MGF屋顶和土壤底面颜色由亮到暗变化不大。与这些方法相比，该方法在融合结果的光谱保真度和空间保真度方面均有较好的视觉效果。

4.2 客观的分析
    表1给出了融合图像的质量指标。从图中可以看出，GFP方法在SAM、SCC和Q4指标中表现最差，这与可视化结果是一致的。与其他方法相比，该方法在所有选定的指标中得分最高。实验结果表明，该方法能有效地提高空间分辨率，较好地保存光谱信息。

5. 结论
    本文提出了一种多尺度结构感知的聚锐化方法。利用SPF的多尺度分解，可以有效地感知各种尺度的结构，并容易获得相应的细节。然后通过注入增益矩阵来注入足够的空间信息，以减小光谱畸变。本文对GeoEye-1卫星图像进行了测试。实验结果表明，该方法在图像锐度、光谱保真度等视觉效果以及一些质量指标方面都有较好的效果，与现有的一些泛锐化方法相比，可以保存更多的光谱和空间信息。