李弘毅老师GAN笔记(三),Unsupervised Conditional GAN
转载自:
目录
0 概述
两种方法,如图1所示,方法一是直接转换,方法二是先得到特征再解码。
图1 两种方法简介
1 直接转换
1.1 第一种方法
如图一所示,判别网络判断生成图片是否是第二类,但是容易出现生成图像与输入图像不相关,不过可以通过设计生成网络来解决,简单的生成网络则可以使得输入与输出相关。
图2 方法一示意图
1.2 第二种方法
如图 3 所示,可以通过一个预训练的编码器得到生成网络的输入与输出的特征,使其越接近越好。
图3 第二种方法示意图
1.3 第三种方法
如图4所示,是一种类似环形的形式,叫做 Cycle GAN。
图4 第三种方法示意图
1.4 StarGAN
是一种可以生成各种多种类别的网络,由于只使用了一个生成网络,所以类似星星的形状,如图5所示,其结构图如图6所示,示例如图7所示。
图5 StartGAN
图6 StarGAN 结构图
图7 StarGAN 示例
2 基于特征转换
理想效果如图8所示,下面也是介绍各种方法。
图8 基于特征转换理想效果
2.1 第一种方法
共享编码网络和解码网络的部分权值。
图9 第一种方法示意图
2.2 第二种方法
在特征出加判别网络,判断为哪一类输出的特征,期望两种类别输出特征相同。如图10所示。
图10 第二种方法示意图
2.3 第三种方法
叫做ComboGAN,是一种循环结构,要求最终还原图像与输入图像相同,如图 11 所示。
图11 第三种方法示意图
2.4 第四种方法
与第三种类似,只不过是要求最终两种类别输出特征相同。如图12所示。
图12 第四种方法示意图
3 其他应用
除了可以用作图像领域,也可以用作其他领域,比如声音领域,输入是一个人的声音,输出是另一种人的声音。在过去用传统的监督学习的话,需要获得两个人说相同的句子的录音,而学习了今天的内容,获得不同内容录音也可以了。