笔记:在本实验pix2pix比AAE差在哪
对于pix2pix代替AAE方式不成功的原因分析
由于按照文献中AAE+resnet+wgan_gp方案模型搭建的失败,莫名我觉得可能使用pix2pix可以实现(究竟还是too young too simple)花了很久试错~~
最后结果就是效果太好,是的太好(苦笑),无论什么图像进去还原的特别好,基本无差异,包括我希望能得到有区别的结果的图像。
结果一出来分析了原因,以下:
AAE中间encoder后的分布限制在一个正态分布,而pix2pix则没有限制
AAE中间将特征分布在一个固定范围之内,而pix2pix生成器则相当于简单的encode+decode。
如果输入输出都为图片A,后者在特征个数足够的情况下必定能生成更加真实细致(u_net跳跃连接作用应该很大)的还原图像。而AAE由于特征层逼近正态分布的时候肯定会损失掉一些信息。因此如果输入的测试图像有瑕疵(希望去除),用pix2pix是会将瑕疵还原的,AAE却可以将这些信息给丢失掉得到与训练图像相同的正态分布。解码器不会知道这个是坏的图像的分布,它就憨憨地直接按照正常还原。这个才是我希望的呀~
所以饶了一圈我还是得重新去用AAE吗。。。可是那边的坑我还填不上啊呜呜呜~有没有大神小哥哥小姐姐救救命一步步挖的另一个坑(可能只有自己看得懂)