基于多类空间光谱生成式对抗网络的高光谱图像分类

《Classification of Hyperspectral Images Based on Multiclass Spatial–Spectral Generative Adversarial Networks》阅读笔记

摘要：对于高光谱图像分类，样本的采集总是很困难。然而，直接将GAN应用于高光谱图像分类存在两个问题。一个是生成的样本缺乏判别信息。同时，鉴别器对多分类没有判别能力。另一个是需要在高光谱图像分类中同时考虑空间和光谱信息。为了解决这些问题，提出了一种新颖的多类空间光谱GAN（MSGAN）方法。在MSGAN中，设计了两个发生器以分别生成包含空间和光谱信息的样本，并且设计鉴别器以提取联合空间光谱特征并输出多类概率。此外，还定义了多类的新颖对抗目标。设计鉴别器以预测属于真实类别的训练样本，并以相同的概率生成属于所有类别的样本。通过鉴别器和发生器之间的对抗性学习，在有区别的生成样本的帮助下促进鉴别器的分类性能。

引言

​ 传统的GAN方法，它们的鉴别器缺乏多类判别能力，因此这些方法不能直接用于分类。为了实现高光谱图像的分类，提出了一些基于GAN的网络[44] - [46]。在[44]中，提出了一种基于GAN的半监督学习方法。它缩写为HSGAN。在HSGAN中，未标记的训练样本首先用于训练1DGAN。然后，通过使用标记的训练样本来训练训练的鉴别器以进行分类。但HSGAN基于1DGAN，它没有充分利用空间信息。在[45]中，提出了一种用于高光谱图像分类的3DGAN方法。 3DGAN [45]以简化的方式实现。仅保留三个主要组件作为3DGAN的输入。卷积实际上不会在光谱中滑动。在3DGAN中，尽管sigmoid和soft-max分类器都应用于鉴别器D.G和D的目标函数仅在二进制S形分类器的分支中是对抗的，并且在soft-max分类器的分支中不是相互对抗的。对抗性学习不能有效地促进D的多元判别能力。因此，应用GAN提取空间光谱特征并同时实现高光谱图像的多类分类仍然是一个具有挑战性的课题。

​ 本文提出了一种新的多光谱空间光谱GAN（MSGAN）方法用于高光谱图像分类。在MSGAN中，两个发生器G1和G2被设计成分别通过1-D转置卷积网络（1D-TCN）和2D-TCN的空间patch生成光谱。鉴别器被设计为通过使用来自光谱和空间斑块的1-D CNN和2-D CNN来提取联合空间光谱特征，并通过软 - 最大分类器输出多类概率。鉴别器的目的是定义来预测来自属于真实类别之一的训练样本的输入，以及来自属于具有相同概率的所有类别的发生器G1和G2的输入。在生成器中，对抗性目标旨在使鉴别器出错。多类中的对抗性学习在辨别生成样本的帮助下提高了鉴别器的分类性能。最后，训练有素的鉴别器直接用作分类器。此外，条件标签信息被附加到生成器的输入，批量标准化策略[47]用于避免模式崩溃并提高MSGAN的稳定性。

​ 本文的主要贡献可归纳如下:

​ 1）MSGAN实现了基于GAN的端到端多分类。它可以生成空间和光谱样本，联合空间光谱特征提取和分类结合到一个统一的优化过程中。

​ 2）MSGAN为生成器器和鉴别器之间的多类定义了对抗性异议。与3DGAN [40]相比，MSGAN在多类中使用对抗性学习来进一步提高鉴别器的多类判别能力。

​ 3）对于高光谱图像中三维数据立方体的特征，MSGAN不仅生成具有一维光谱和二维空间斑块的样本，还提取联合空间光谱特征。与HSGAN [44]相比，MSGAN实现了端到端的基于GAN的分类，并利用空间信息来提升分类性能。

​ 4）MSGAN通过充分利用多类生成的样本和对抗性学习来缓解高光谱图像的小尺寸问题。

MULTICLASS SPATIAL–SPECTRAL GAN

​ MSGAN由三部分组成：基于1D-TCN的生成器通过生成器G1生成，基于2D-TCN的空间patch生成通过生成器G2，联合空间光谱特征提取，以及通过鉴别器D的分类。

MSGAN的网络结构：

G1的网络结构：

G2的网络结构：

D的网络结构：

实验

所提出的MSGAN在Indian Pines, Pavia University, 和 Salinas三个数据集上验证有效性。对比方法有：RBF-SVM、SAE、DBN、CNN、PPF-CNN和3-D CNN。对于MSGAN，主要的网络结构和参数如表II所示。 在表II中，G1和G2表示两个发生器，D表示MSGAN的鉴别器。 “BN？”表示是否使用批量标准化。 m表示联合空间光谱特征的数量，n_classes表示类的数量。 鉴别器和发生器的学习率分别设置为0.002和0.01。epoch设定为1500。

总结

​ 本文提出了一种新的MSGAN方法用于高光谱图像分类。针对HSI中三维数据立方体的特点，在MSGAN中设计了两个生成器来生成HSI的光谱和空间斑块，并设计了一个鉴别器来提取联合空间光谱特征并输出多类概率。为了处理有限训练样本的多分类，MSGAN在发生器和多类鉴别器之间设定了新的对抗目标。对抗性目标使鉴别器预测生成的样本不属于任何类，并使生成器产生多类实际样本。通过充分利用多类生成的样本和对抗性学习，MSGAN提高了多类判别能力。同时，它减轻了HSI的小样本问题。

​ 实验结果表明，所提出的MSGAN方法在分类性能，运行时间和对训练样本数量的敏感性方面的有效性。对于高光谱图像，某些类通常比其他类具有更少的样本。这种不平衡现象可能对分类产生负面影响。将来，MSGAN将考虑集成学习来处理不平衡问题并进一步提高分类性能。