生成模型——NVAE: A Deep Hierarchical Variational Autoencoder——arxiv2020.07
VAE相关改进
VAE的相关改进:1)VAE和GAN结合,GAN的缺点是训练不稳定;2)VAE和flow模型结合;3)VQ-VAE
NVAE
Nouveau VAE,包含了多尺度架构、可分离卷积、swish **函数、flow 模型等
自回归分布
将隐变量分组,针对组间
多尺度设计
其他性能提升技巧
BN层改进(改成Instance Normalization或Weight Normalization);谱正则化的应用(在每一个卷积层加谱正则化);flow模型增强分布;节省显存的技巧
扩展阅读
论文标题:Training Generative Adversarial Networks with Limited Data
论文链接
参考材料