文章信息：

D. An, Y. Guo, N. Lei, Z. Luo, S.-T. Yau, and X. Gu, “AE-OT: A NEW GENERATIVE MODEL BASED ON EX- TENDED SEMI-DISCRETE OPTIMAL TRANSPORT,” 2020, p. 19.

发表于2020年ICLR(International Conference on Learning Representations)

 
AE-OT笔记:

《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文笔记-1: 总述与简介

《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文笔记-2: AE-OT算法

《AE-OT: A NEW GENERATIVE MODEL BASED ON EXTENDED SEMI-DISCRETE OPTIMAL TRANSPORT》中文笔记-3: 实验与结果
 

4. Experiments

实验一：explores the influence of the angle thresholds，合成数据集；

实验二：聚焦在toy sets上以方便控制任务复杂度并精确计算模式和质量；

(on the same benchmark dataset as Lin et al. (2018) and make the comparison)

实验三：在四个公开数据集(MNIST,MNIST-Fashion,CIFAR-10,CelebA)上运行提出的方法

（decoder和encoder和 Lucic et al. (2018)的一样）

 

4.1 Single Parameter Selective Interpolation

随着θ阈值的提高，the number of mode也会单调增长。合成数据集模式清晰，阈值比较容易选取(如下图所示)；复杂的数据集就要根据数据进行手动调整。

 

4.2 Mitigation of Mode Collapse and Mode Mixture Synthetic Dataset

衡量指标：

Modes数量：数量越多表示生成器覆盖的模式数越多；

recerse KL散度：生成器生成的不同模式样本之间的平衡程度；

测试结果：

 

可见，AE-OT生成器能够覆盖的模式最多，且生成模式的质量最好。

 

4.3 Quantitative Comparison With FID

FID的计算：

通过网络提取生成图像和真实图片具有视觉意义的特征；

使用高斯分布对生成的特征空间和实际的特征空间中的特征进行匹配；

用下面的公式计算两个高斯分布之间的距离

其中，μr和μg表示真实特征和生成特征的均值，Σr和Σg表示它们的方差。

 

可见，除了CelebA数据集外，AE-OT的效果是最好的；

图像生成效果如下：

其中，

 The first row shows some of the real images in each dataset. The second row corresponds to the best results of Lucic et al. (2018); The third row gives the results of Hoshen & Malik (2019); then we display our generating results in the last row. 

 

总结

1. 这篇文章给出了mode collapse/mixture的理论解释；(基于 Brenier’s theory and Figalli’s regularity theory)

2. 提出的方法分开了manifold embedding和measure transformation，分别代表AE和OT；AE由一个autoencoder完成，OT则通过拓展semi-discrete OT map并找到singular set完成；

3. 通过大量的实验验证证明了所提方法的有效性。