Geometric GAN

Jae Hyun Lim, Jong Chul Ye, Geometric GAN.

概

很有趣, GAN的训练过程可以分成

1. 寻找一个超平面区分real和fake;
2. 训练判别器, 使得real和fake分得更开;
3. 训练生成器, 使得real趋向错分一侧.

主要内容

McGAN

本文启发自McGAN, 在此基础上, 有了下文.

结合SVM

设想, GAN的判别器$D(x) = S(\langle w, \Phi_{\zeta}(x) \rangle)$D(x)=S(⟨w,Φζ​(x)⟩), 其中$S$S是一个**函数, 常见如sigmoid, 先假设其为identity(即$D(x)=\langle w, \Phi_{\zeta}(x) \rangle$D(x)=⟨w,Φζ​(x)⟩).

McGAN 是借助$\langle w, \Phi_{\zeta}(x)\rangle$⟨w,Φζ​(x)⟩来构建IPM, 并通过此来训练GAN. 但是，注意到， 若将$\Phi_{\zeta}(x)$Φζ​(x)视作从$x$x中提取出来的特征, 则$\langle w, \Phi_{\zeta}(x)\rangle$⟨w,Φζ​(x)⟩便是利用线性分类器进行分类，那么很自然地可以将SVM引入其中(训练判别器的过程.

$\begin{array}{rcl} \min_{w, b} & \frac{1}{2} \|w\|^2 + C \sum_i (\xi_i + \xi_i') & \\ \mathrm{subject \: to} & \langle w, \Phi_{\zeta}(x_i) \rangle + b \ge 1-\xi_i & i=1,\ldots, n\\ & \langle w, \Phi_{\zeta}(g_{\theta}(z_i)) \rangle + b \le \xi_i'-1 & i=1,\ldots,n \\ & \xi_i, \xi_i' \ge 0, \: i=1,\ldots,n. \end{array}$minw,b​subjectto​21​∥w∥2+C∑i​(ξi​+ξi′​)⟨w,Φζ​(xi​)⟩+b≥1−ξi​⟨w,Φζ​(gθ​(zi​))⟩+b≤ξi′​−1ξi​,ξi′​≥0,i=1,…,n.​i=1,…,ni=1,…,n​

类似于
$\tag{13} \min_{w,b} \: R_{\theta}(w,b;\zeta),$w,bmin​Rθ​(w,b;ζ),(13)
其中
$\tag{14} \begin{array}{ll} R_{\theta}(w,b;\zeta) = & \frac{1}{2C n} \|w\|^2 + \frac{1}{n} \sum_{i=1}^n \max (0, 1-\langle w, \Phi_{\zeta} (x_i) \rangle -b) \\ & + \frac{1}{n} \sum_{i=1}^n \max (0, 1+ \langle w, \Phi_{\zeta}(g_{\theta}(z_i))\rangle+b). \end{array}$Rθ​(w,b;ζ)=​2Cn1​∥w∥2+n1​∑i=1n​max(0,1−⟨w,Φζ​(xi​)⟩−b)+n1​∑i=1n​max(0,1+⟨w,Φζ​(gθ​(zi​))⟩+b).​(14)

进一步地， 用以训练$\zeta$ζ:
$\tag{15} \min_{w,b,\zeta} \: R_{\theta}(w,b;\zeta).$w,b,ζmin​Rθ​(w,b;ζ).(15)

SVM关于$w$w有如下最优解
$w^{SVM} := \sum_{i=1}^n \alpha_i \Phi_{\zeta}(x_i) - \sum_{i=1}^n \beta_i \Phi_{\zeta} (g_{\theta}(z_i)),$wSVM:=i=1∑n​αi​Φζ​(xi​)−i=1∑n​βi​Φζ​(gθ​(zi​)),
其中$\alpha_i, \beta_i$αi​,βi​只有对支持向量非零.

定义
$\mathcal{M} = \{\phi \in \Xi | |\langle w^{SVM}, \phi \rangle + b | \le 1\}$M={ϕ∈Ξ∣∣⟨wSVM,ϕ⟩+b∣≤1}
为margin上及其内部区域的点.

于是
$\tag{18} \begin{array}{ll} R_{\theta}(w,b;\zeta) = \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \Phi_{\zeta} (g_{\theta}(z_i))-t_i \Phi_{\zeta}(x_i) \rangle + \mathrm{constant}, \end{array}$Rθ​(w,b;ζ)=n1​∑i=1n​⟨wSVM,si​Φζ​(gθ​(zi​))−ti​Φζ​(xi​)⟩+constant,​(18)
其中
$\tag{19} t_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(x_i) \in \mathcal{M} \\ 0, & \mathrm{otherwise} \end{array} \right. , \quad s_i = \left \{ \begin{array}{ll} 1, & \Phi_{\zeta}(g_{\theta}(z_i)) \in \mathcal{M}\\ 0, & \mathrm{otherwise}. \end{array} \right.$ti​={1,0,​Φζ​(xi​)∈Motherwise​,si​={1,0,​Φζ​(gθ​(zi​))∈Motherwise.​(19)

训练$\zeta$ζ

于是$\zeta$ζ由此来训练
$\zeta \leftarrow \zeta +\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, t_i \nabla_{\zeta} \Phi_{\zeta}(x_i) - s_i \nabla_{\zeta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle .$ζ←ζ+ηn1​i=1∑n​⟨wSVM,ti​∇ζ​Φζ​(xi​)−si​∇ζ​Φζ​(gθ​(zi​))⟩.

训练$g_{\theta}$gθ​

就是固定$w,b,\zeta$w,b,ζ训练$\theta$θ.

所以
$\min_{\theta} \: L_{w, b, \zeta}(\theta),$θmin​Lw,b,ζ​(θ),
其中
$L_{w,b,\zeta}(\theta)= -\frac{1}{n} \sum_{i=1}^n D(g_{\theta}(z_i)),$Lw,b,ζ​(θ)=−n1​i=1∑n​D(gθ​(zi​)),
于是
$\theta \leftarrow \theta+\eta \frac{1}{n} \sum_{i=1}^n \langle w^{SVM}, s_i \nabla_{\theta}\Phi_{\zeta} (g_{\theta}(z_i)) \rangle .$θ←θ+ηn1​i=1∑n​⟨wSVM,si​∇θ​Φζ​(gθ​(zi​))⟩.

理论分析

$n \rightarrow \infty$n→∞的时候

定理1： 假设$(D^*,g^*)$(D∗,g∗)是(24), (25)交替最小化解, 则$p_{g^*}(x)=p_x(x)$pg∗​(x)=px​(x)几乎处处成立, 此时$R(D^*,G^*）=2$R(D∗,G∗）=2.

注: 假体最小化是指在固定$g^*$g∗下, $R(D^*,g^*)$R(D∗,g∗)最小，在固定$D^*$D∗下$L(D^*,g^*)$L(D∗,g∗)最小.

证明

注：文中附录分析了各种GAN的超平面分割解释, 挺有意思的.