李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

转载自:

https://blog.****.net/taoyafan/article/details/81298907#2.1%C2%A0%E7%AC%AC%E4%B8%80%E7%A7%8D%E6%96%B9%E6%B3%95

 

目录

0 概述

1 直接转换

1.1 第一种方法

1.2 第二种方法

1.3 第三种方法

1.4 StarGAN

2 基于特征转换

2.1 第一种方法

2.2 第二种方法

 2.3 第三种方法

 2.4 第四种方法

3 其他应用 


0 概述

两种方法,如图1所示,方法一是直接转换,方法二是先得到特征再解码。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图1 两种方法简介

1 直接转换

1.1 第一种方法

如图一所示,判别网络判断生成图片是否是第二类,但是容易出现生成图像与输入图像不相关,不过可以通过设计生成网络来解决,简单的生成网络则可以使得输入与输出相关。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图2 方法一示意图

1.2 第二种方法

如图 3 所示,可以通过一个预训练的编码器得到生成网络的输入与输出的特征,使其越接近越好。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图3 第二种方法示意图

1.3 第三种方法

如图4所示,是一种类似环形的形式,叫做 Cycle GAN。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图4 第三种方法示意图

1.4 StarGAN

是一种可以生成各种多种类别的网络,由于只使用了一个生成网络,所以类似星星的形状,如图5所示,其结构图如图6所示,示例如图7所示。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图5 StartGAN

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图6 StarGAN 结构图

 

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图7 StarGAN 示例

2 基于特征转换

理想效果如图8所示,下面也是介绍各种方法。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图8 基于特征转换理想效果

2.1 第一种方法

共享编码网络和解码网络的部分权值。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图9 第一种方法示意图

2.2 第二种方法

在特征出加判别网络,判断为哪一类输出的特征,期望两种类别输出特征相同。如图10所示。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图10 第二种方法示意图

 2.3 第三种方法

叫做ComboGAN,是一种循环结构,要求最终还原图像与输入图像相同,如图 11 所示。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图11 第三种方法示意图

 2.4 第四种方法

与第三种类似,只不过是要求最终两种类别输出特征相同。如图12所示。

李弘毅老师GAN笔记(三),Unsupervised Conditional GAN

图12 第四种方法示意图

3 其他应用 

除了可以用作图像领域,也可以用作其他领域,比如声音领域,输入是一个人的声音,输出是另一种人的声音。在过去用传统的监督学习的话,需要获得两个人说相同的句子的录音,而学习了今天的内容,获得不同内容录音也可以了。