AttGAN: Facial Attribute Editing by Only Changing What You Want（TIP19）

III. ATTRIBUTE GAN (ATTGAN)

前提：所有attribute都是binary型的

A. Testing Formulation

定义输入图像为$\mathbf{x^a}$xa，包含$n$n个attribute $\mathbf{a}=\left [ a_1, \cdots, a_n \right ]$a=[a1​,⋯,an​]

encoder网络$G_{enc}$Genc​将$\mathbf{x^a}$xa编码为latent representation $\mathbf{z}$z
$\mathbf{z} = G_{enc}(\mathbf{x^a}) \qquad(3)$z=Genc​(xa)(3)

target attribute记为$\mathbf{b}=\left [ b_1, \cdots, b_n \right ]$b=[b1​,⋯,bn​]

decoder网络$G_{dec}$Gdec​将$\mathbf{z}$z和$\mathbf{b}$b作为输入，生成图像$\mathbf{x^{\hat{b}}}$xb^
$\mathbf{x^{\hat{b}}} = G_{dec}(\mathbf{z}, \mathbf{b}) \qquad(4)$xb^=Gdec​(z,b)(4)

综合公式(3)和(4)，有
$\mathbf{x^{\hat{b}}} = G_{dec}(G_{enc}(\mathbf{x^a}), \mathbf{b}) \qquad(5)$xb^=Gdec​(Genc​(xa),b)(5)

B. Training Formulation

整个训练过程是无监督的，因为ground truth $\mathbf{x^b}$xb是未知的

Reconstruction Loss

我们希望只编辑attribute改变的部分，同时保留其它attribute不变，因此引入reconstruction learning（文章给出了2个理由，感觉略显牵强）

令$\mathbf{b}=\mathbf{a}$b=a，得到生成图像$\mathbf{x^{\hat{a}}}$xa^
$\mathbf{x^{\hat{a}}} = G_{dec}(\mathbf{z}, \mathbf{a}) \qquad(6)$xa^=Gdec​(z,a)(6)
那么$\mathbf{x^{\hat{a}}}$xa^与$\mathbf{x^a}$xa应该比较近似，于是关于生成器$G$G的Reconstruction Loss定义如下
$\underset{G_{enc},G_{dec}}{\min}\ \mathcal{L}_{rec}=\mathbb{E}_{\mathbf{x^a}\sim p_{data}} \left \| \mathbf{x^a}-\mathbf{x^{\hat{a}}} \right \|_1 \qquad(11)$Genc​,Gdec​min​ Lrec​=Exa∼pdata​​∥∥​xa−xa^∥∥​1​(11)
使用$\ell_1$ℓ1​ loss相较于$\ell_2$ℓ2​ loss不容易模糊

Attribute Classification Constraint

生成图像$\mathbf{x^{\hat{b}}}$xb^应该确保包含属性$\mathbf{b}$b，因此引入一个attribute classifier $C$C

于是关于生成器$G$G的Attribute Classification Constraint定义如下
$\underset{G_{enc}, G_{dec}}{\min}\mathcal{L}_{cls_g}=\mathbb{E}_{\mathbf{x^a}\sim p_data, \mathbf{b}\sim p_{attr}}\left [ \ell_g\left ( \mathbf{x^a}, \mathbf{b} \right ) \right ] \qquad(7)$Genc​,Gdec​min​Lclsg​​=Exa∼pd​ata,b∼pattr​​[ℓg​(xa,b)](7)
$\ell_g(\mathbf{x^a}, \mathbf{b})=\sum_{i=1}^{n}-b_i\log C_i\left ( \mathbf{x^{\hat{b}}} \right )-(1-b_i)\log\left ( 1-C_i\left ( \mathbf{x^{\hat{b}}} \right ) \right ) \qquad(8)$ℓg​(xa,b)=i=1∑n​−bi​logCi​(xb^)−(1−bi​)log(1−Ci​(xb^))(8)

attribute classifier $C$C的训练目标如下
$\underset{C}{\min}\ \mathcal{L}_{cls_c}=\mathbb{E}_{\mathbf{x^a}\sim p_data}\left [ \ell_r(\mathbf{x^a}, \mathbf{a}) \right ] \qquad(9)$Cmin​ Lclsc​​=Exa∼pd​ata​[ℓr​(xa,a)](9)
$\ell_r(\mathbf{x^a}, \mathbf{a})=\sum_{i=1}^{n}-a_i\log C_i\left ( \mathbf{x^a} \right )-(1-a_i)\log\left ( 1-C_i\left ( \mathbf{x^a} \right ) \right ) \qquad(10)$ℓr​(xa,a)=i=1∑n​−ai​logCi​(xa)−(1−ai​)log(1−Ci​(xa))(10)

Adversarial Loss

使用WGAN-GP版本的adversarial Loss，判别器$D$D和生成器$G$G的目标函数分别如下

$\underset{\left \| D \right \|_L\leqslant 1}{\min} \mathcal{L}_{adv_{d}}=-\mathbb{E}_{\mathbf{x^a}\sim p_{data}}D(\mathbf{x^a})+\mathbb{E}_{\mathbf{x^a}\sim p_{data},\mathbf{b}\sim p_{attr}}D\left ( \mathbf{x^{\hat{b}}} \right ) \qquad(12)$∥D∥L​⩽1min​Ladvd​​=−Exa∼pdata​​D(xa)+Exa∼pdata​,b∼pattr​​D(xb^)(12)
$\underset{G_{enc},G_{dec}}{\min}\mathcal{L}_{adv_g}=-\mathbb{E}_{\mathbf{x^a}\sim p_{data},\mathbf{b}\sim p_{attr}}D\left ( \mathbf{x^{\hat{b}}} \right ) \qquad(13)$Genc​,Gdec​min​Ladvg​​=−Exa∼pdata​,b∼pattr​​D(xb^)(13)

Overall Objective

生成器$G$G的目标函数如下
$\underset{G_{enc},G_{dec}}{\min}\mathcal{L}_{enc,dec}=\lambda_1\mathcal{L}_{rec}+\lambda_2\mathcal{L}_{cls_g}+\mathcal{L}_{adv_g} \qquad(14)$Genc​,Gdec​min​Lenc,dec​=λ1​Lrec​+λ2​Lclsg​​+Ladvg​​(14)

判别器$D$D和attribute classifier $C$C的目标函数如下
$\underset{D,C}{\min}\ \mathcal{L}_{dis,cls}=\lambda_3\mathcal{L}_{cls_c}+\mathcal{L}_{adv_d} \qquad(15)$D,Cmin​ Ldis,cls​=λ3​Lclsc​​+Ladvd​​(15)

C. Why are attribute-excluding details preserved?

AttGAN执行了multi-task learning，一个是face reconstruction task，另一个是attribute editing task

作者认为这两个task是高度相似的，它们之间的transferability gap非常小，因此the detail preservation ability learned from the face reconstruction task can be easily transfered to the attribute editing task

D. Extension for Attribute Style Manipulation

参考文献[28]和[26]，引入一组style controllers $\theta=\left [ \theta_1, \cdots, \theta_i, \cdots, \theta_n \right ]$θ=[θ1​,⋯,θi​,⋯,θn​]，然后maximize the mutual information between the controllers and the output images to make them highly correlated

具体来说，如Figure 3所示，额外引入一个style predictor $Q$Q，encoder网络$G_{dec}$Gdec​额外接收$\theta$θ作为输入，生成具备target attribute $\mathbf{b}$b和style controller$\theta$θ的图像$\mathbf{x^{\hat{\theta}\hat{b}}}$xθ^b^
$\mathbf{x^{\hat{\theta}\hat{b}}}=G_{dec}\left ( G_{enc}(\mathbf{x^a}), \theta, \mathbf{b} \right ) \qquad(16)$xθ^b^=Gdec​(Genc​(xa),θ,b)(16)

style controller $\theta$θ与生成图像$x^*$x∗之间的mutual information定义如下
$I\left ( \theta;x^* \right )=\underset{Q}{\max}\ \mathbb{E}_{\theta\sim p(\theta), x^*\sim p(x^*|\theta)}\left [ \log Q(\theta|x^*) \right ] + const \qquad(17)$I(θ;x∗)=Qmax​ Eθ∼p(θ),x∗∼p(x∗∣θ)​[logQ(θ∣x∗)]+const(17)

故生成器$G$G新增一项损失函数如下
$\underset{G_{enc}, G_{dec}}{\max}I\left ( \theta;x^* \right ) \qquad(18)$Genc​,Gdec​max​I(θ;x∗)(18)