You know maize mean?
Wasserstein GAN
0. Summary
기본 정보 : ArXiv,2017.01.26 (ICML 2017), Wasserstein GAN
연구 배경
확률 분포를 학습한다는 것의 고전적 답은 확률 밀도를 학습하는 것, 즉 매개변수족 $P_{\theta}$ 를 정의하고 데이터의 우도를 최대화하는 것이다. 이는 점근적으로 $KL(P_{r}|P_{\theta})$ 최소화와 같지만, 저차원 다양체에 지지된 분포에서는 모델 밀도가 존재하지 않거나 KL 이 무한대가 된다. 그래서 거의 모든 고전 생성 모델은 잡음 항을 더해 지지집합을 덮었고, 이 잡음이 이미지를 흐리게 만들었다. 밀도 대신 잠재 변수 $Z$ 를 함수 $g_{\theta}$ 에 통과시켜 샘플을 직접 생성하는 VAE 와 GAN 은 저차원 다양체 위의 분포를 표현할 수 있지만, GAN 은 학습이 섬세하고 불안정하기로 악명 높았다. 저자들은 그 원인을 “모델 분포와 실제 분포가 얼마나 가까운지를 어떤 거리로 재는가“에서 찾는다. 거리의 선택은 분포열의 수렴 여부, 나아가 손실 함수 $\theta\mapsto\rho(P_{\theta},P_{r})$ 의 연속성을 결정하기 때문이다.
제안 방법
Total Variation(TV), KL, Jensen-Shannon(JS), Earth-Mover(EM, Wasserstein-1) 거리를 비교해, EM 거리만이 저차원 다양체 위의 분포열에 대해 연속이며 거의 모든 곳에서 미분 가능함을 보인다(Theorem 1, 2). 원시 정의의 하한(infimum)은 다루기 어렵지만 Kantorovich-Rubinstein 쌍대성에 의해 $W(P_{r},P_{\theta})=\sup_{|f|{L}\leq1}\mathbb{E}{P_{r}}[f(x)]-\mathbb{E}{P{\theta}}[f(x)]$ 로 쓸 수 있고, 1-Lipschitz 함수 $f$ 를 비평가(critic) 신경망 $f_{w}$ 로 근사한다. Lipschitz 제약은 가중치를 $[-0.01,0.01]$ 상자로 클리핑해 강제하며, 비평가를 생성기 갱신당 $n_{critic}=5$ 회 학습하고 RMSProp 을 쓰는 Algorithm 1 을 제안한다. 판별기와 달리 비평가에는 시그모이드가 없고, 기울기는 Theorem 3 에 따라 $-\mathbb{E}{z}[\nabla{\theta}f(g_{\theta}(z))]$ 로 얻는다.
발견 사실
| 평행선 예제(Example 1)에서 $W(P_{0},P_{\theta})= | \theta | $ 는 연속이지만 JS 는 $\log2$, KL 은 $+\infty$, TV 는 1 로 $\theta\neq0$ 에서 상수여서 기울기를 주지 못한다. 두 가우시안을 구별하는 실험(Figure 2)에서 GAN 판별기는 포화해 기울기가 사라지는 반면 WGAN 비평가는 선형 함수로 수렴해 공간 전체에서 깨끗한 기울기를 제공했다. LSUN 침실에서 WGAN 의 손실(EM 추정치)은 샘플 품질과 뚜렷이 상관되어 감소했고(Figure 3), 표준 GAN 의 JS 추정치는 $\log2\approx0.69$ 근처에서 포화하거나 샘플과 무관하게 오르내렸다(Figure 4). 배치 정규화를 제거하고 필터 수를 일정하게 한 DCGAN 생성기와 4 층 512 유닛 ReLU-MLP 생성기에서 표준 GAN 은 학습에 실패하거나 심한 모드 붕괴를 보였지만 WGAN 은 샘플을 생성했으며(Figure 5–7), 어떤 실험에서도 WGAN 의 모드 붕괴 증거는 관찰되지 않았다. 다만 Adam($\beta_{1}>0$) 같은 모멘텀 최적화기나 높은 학습률에서는 WGAN 도 불안정해졌다. |
핵심 기여
- 거리 선택의 이론적 분석 : EM 거리가 TV·KL·JS 보다 약한 위상을 유도하여, 생성기가 연속이면 $W(P_{r},P_{\theta})$ 도 연속이고 국소 Lipschitz 이면 거의 모든 곳에서 미분 가능함을 증명했다(Theorem 1, Corollary 1). KL → JS/TV → W 순의 수렴 강도 위계도 정리했다(Theorem 2).
- WGAN 알고리즘 : Kantorovich-Rubinstein 쌍대성과 가중치 클리핑으로 EM 거리의 효율적 근사를 최적화하는 절차를 정의하고, 최적 비평가의 기울기가 EM 거리의 기울기임을 보였다(Theorem 3).
- 경험적 안정성과 의미 있는 손실 : 판별기·생성기 용량 균형과 구조 설계에 덜 민감하고, 모드 붕괴가 크게 줄며, 비평가를 최적까지 학습해 얻는 손실 곡선이 샘플 품질과 상관되어 디버깅·하이퍼파라미터 탐색에 쓸 수 있음을 보였다.
관련 개념
네 가지 확률 거리와 위상의 강약 (Section 2)
확률 거리의 비교는 이 논문의 이론적 토대입니다. $\mathcal{X}$ 를 (이미지 공간 $[0,1]^{d}$ 같은) 콤팩트 거리 공간, $\Sigma$ 를 그 Borel 부분집합, $\mathrm{Prob}(\mathcal{X})$ 를 확률측도 공간이라 할 때, 두 분포 $P_{r},P_{g}$ 사이의 기본 거리와 발산은 다음과 같습니다.
📏 1. 정의
| 이름 | 정의 | 성질 |
|---|---|---|
| Total Variation (TV) | $\delta(P_{r},P_{g})=\sup_{A\in\Sigma}\lvert P_{r}(A)-P_{g}(A)\rvert$ | 대칭, 유계 |
| Kullback-Leibler (KL) | $KL(P_{r}|P_{g})=\int\log\big(\frac{P_{r}(x)}{P_{g}(x)}\big)P_{r}(x)\,d\mu(x)$ | 두 분포가 같은 측도 $\mu$ 에 대해 절대연속이어야 함. 비대칭이며 $P_{g}(x)=0$, $P_{r}(x)>0$ 인 점이 있으면 무한대 |
| Jensen-Shannon (JS) | $JS(P_{r},P_{g})=KL(P_{r}|P_{m})+KL(P_{g}|P_{m})$, $P_{m}=(P_{r}+P_{g})/2$ | 대칭이고 $\mu=P_{m}$ 을 택할 수 있어 항상 정의됨 |
| Earth-Mover (EM, Wasserstein-1) | $W(P_{r},P_{g})=\inf_{\gamma\in\Pi(P_{r},P_{g})}\mathbb{E}_{(x,y)\sim\gamma}[|x-y|]$ | $\Pi$ 는 주변분포가 $P_{r}$, $P_{g}$ 인 모든 결합분포. $\gamma(x,y)$ 는 $x$ 에서 $y$ 로 옮겨야 할 “질량”, EM 은 최적 수송 계획의 비용 |
📐 2. Example 1: 평행선 학습
$Z\sim U[0,1]$, $P_{0}$ 를 $(0,Z)\in\mathbb{R}^{2}$ 의 분포(원점을 지나는 수직선 위의 균등분포), $g_{\theta}(z)=(\theta,z)$ 라 합시다.
| 거리 | 값 |
|---|---|
| $W(P_{0},P_{\theta})$ | $\lvert\theta\rvert$ |
| $JS(P_{0},P_{\theta})$ | $\theta\neq0$ 이면 $\log2$, $\theta=0$ 이면 0 |
| $KL(P_{\theta}|P_{0})=KL(P_{0}|P_{\theta})$ | $\theta\neq0$ 이면 $+\infty$, $\theta=0$ 이면 0 |
| $\delta(P_{0},P_{\theta})$ | $\theta\neq0$ 이면 1, $\theta=0$ 이면 0 |
Wasserstein-GAN-translation/Figure-1.JPG)
$\theta_{t}\to0$ 일 때 분포열은 EM 거리에서는 $P_{0}$ 로 수렴하지만 JS, KL, 역 KL, TV 어느 것에서도 수렴하지 않습니다. 이 예제는 EM 거리에 경사하강을 하면 저차원 다양체 위의 분포를 학습할 수 있지만 다른 거리로는 손실 함수가 연속조차 아니어서 불가능함을 보여줍니다. 지지집합이 서로소인 단순 예이지만, 지지집합의 교집합이 측도 0 집합에 포함될 때도 같은 결론이 성립하며, 이는 두 저차원 다양체가 일반 위치에서 교차할 때 실제로 일어나는 상황입니다.
🪜 3. 위상의 위계 (Theorem 2)
콤팩트 공간 $\mathcal{X}$ 위의 분포 $P$ 와 분포열 $(P_{n})$ 에 대해 $n\to\infty$ 극한에서
| 번호 | 내용 |
|---|---|
| 1 | $\delta(P_{n},P)\to0$ 과 $JS(P_{n},P)\to0$ 은 동치 |
| 2 | $W(P_{n},P)\to0$ 과 $P_{n}\xrightarrow{D}P$ (분포 수렴) 는 동치 |
| 3 | $KL(P_{n}|P)\to0$ 또는 $KL(P|P_{n})\to0$ 이면 (1) 이 성립 |
| 4 | (1) 이 성립하면 (2) 가 성립 |
즉 KL 이 가장 강하고, JS 와 TV 가 그 다음, EM 이 가장 약한 위상을 유도합니다. 약한 위상일수록 분포열이 수렴하기 쉽고, 따라서 $\theta\mapsto P_{\theta}$ 를 연속 사상으로 만들기 쉽습니다. KL, JS, TV 는 저차원 다양체에 지지된 분포를 학습할 때 합리적인 비용 함수가 아니지만 EM 은 합리적입니다.
💡 Key Takeaway 지지집합이 겹치지 않으면 JS 는 $\log2$ 로 포화해 기울기가 0 이 됩니다. EM 거리는 “얼마나 멀리 떨어져 있는가”를 재므로 겹치지 않아도 기울기가 살아 있습니다.
EM 거리의 연속성과 미분 가능성 (Theorem 1, Corollary 1)
Theorem 1 은 EM 거리가 생성기 파라미터 $\theta$ 에 대해 좋은 손실 함수가 되는 조건을 밝힙니다. $P_{r}$ 를 $\mathcal{X}$ 위의 고정 분포, $Z$ 를 다른 공간 $\mathcal{Z}$ 위의 확률변수(예: 가우시안), $g:\mathcal{Z}\times\mathbb{R}^{d}\to\mathcal{X}$ 를 $g_{\theta}(z)$ 로 쓰는 함수, $P_{\theta}$ 를 $g_{\theta}(Z)$ 의 분포라 합니다.
📜 1. Theorem 1 의 세 진술
| 번호 | 진술 |
|---|---|
| 1 | $g$ 가 $\theta$ 에 대해 연속이면 $W(P_{r},P_{\theta})$ 도 연속 |
| 2 | $g$ 가 국소 Lipschitz 이고 정칙성 가정 1 을 만족하면 $W(P_{r},P_{\theta})$ 는 모든 곳에서 연속이고 거의 모든 곳에서 미분 가능 |
| 3 | 진술 1–2 는 $JS(P_{r},P_{\theta})$ 와 모든 KL 에 대해 거짓 |
🧠 2. Corollary 1: 신경망에서의 보장
$g_{\theta}$ 가 $\theta$ 로 매개변수화된 임의의 피드포워드 신경망이고, $p(z)$ 가 $\mathbb{E}{z\sim p(z)}[|z|]<\infty$ 인 사전분포(가우시안, 균등 등)라면 가정 1 이 만족되어 $W(P{r},P_{\theta})$ 는 모든 곳에서 연속이고 거의 모든 곳에서 미분 가능합니다. 즉 EM 거리 최소화로 신경망 생성기를 학습하는 것은 적어도 이론적으로 타당합니다.
🔑 3. 왜 이것이 중요한가
$\rho$ 가 분포 간 거리라면 손실 $\theta\mapsto\rho(P_{\theta},P_{r})$ 가 연속이기를 원하며, 이는 거리 $\rho$ 아래에서 사상 $\theta\mapsto P_{\theta}$ 가 연속인 것과 동치입니다. 거리가 약할수록 이 연속성을 얻기 쉽습니다. Theorem 1 과 Corollary 1 은 EM 이 JS 보다 훨씬 합리적인 비용 함수임을 보장합니다.
💡 Key Takeaway 생성기가 보통의 신경망이기만 하면 EM 손실은 연속이고 거의 모든 곳에서 미분 가능합니다. JS 와 KL 에는 이런 보장이 없습니다.
Kantorovich-Rubinstein 쌍대성과 비평가 (Section 3)
쌍대성(duality) 은 다루기 어려운 EM 거리의 하한 문제를 함수 공간 위의 상한 문제로 바꿉니다. 이 변환 덕분에 신경망으로 EM 거리를 근사할 수 있습니다.
🔄 1. 쌍대 형식 (Eq. 2, 3)
Kantorovich-Rubinstein 쌍대성에 의해
\[W(P_{r},P_{\theta})=\sup_{\|f\|_{L}\leq1}\mathbb{E}_{x\sim P_{r}}[f(x)]-\mathbb{E}_{x\sim P_{\theta}}[f(x)]\]이며 상한은 모든 1-Lipschitz 함수 $f:\mathcal{X}\to\mathbb{R}$ 에 대해 취합니다. $|f|{L}\leq1$ 을 $|f|{L}\leq K$ 로 바꾸면 $K\cdot W(P_{r},P_{g})$ 가 됩니다. 따라서 어떤 $K$ 에 대해 모두 $K$-Lipschitz 인 매개변수족 ${f_{w}}_{w\in\mathcal{W}}$ 가 있다면
\[\max_{w\in\mathcal{W}}\mathbb{E}_{x\sim P_{r}}[f_{w}(x)]-\mathbb{E}_{z\sim p(z)}[f_{w}(g_{\theta}(z))]\]를 풀어 상수배까지 $W(P_{r},P_{\theta})$ 를 계산할 수 있습니다.
📐 2. Theorem 3: 기울기
$P_{r}$ 를 임의의 분포, $P_{\theta}$ 를 밀도 $p$ 를 가진 $Z$ 에 대한 $g_{\theta}(Z)$ 의 분포, $g_{\theta}$ 가 가정 1 을 만족한다고 하면, 문제 $\max_{|f|{L}\leq1}\mathbb{E}{P_{r}}[f(x)]-\mathbb{E}{P{\theta}}[f(x)]$ 의 해 $f$ 가 존재하고
\[\nabla_{\theta}W(P_{r},P_{\theta})=-\mathbb{E}_{z\sim p(z)}[\nabla_{\theta}f(g_{\theta}(z))]\]가 (두 항이 잘 정의될 때) 성립합니다. 즉 최적 비평가를 통해 역전파하면 EM 거리의 기울기를 얻습니다.
✂️ 3. 가중치 클리핑과 “비평가”
최적 $f$ 를 찾기 위해 콤팩트 공간 $\mathcal{W}$ 에 놓인 가중치 $w$ 의 신경망을 학습합니다. $\mathcal{W}$ 가 콤팩트하면 모든 $f_{w}$ 는 개별 가중치가 아니라 $\mathcal{W}$ 에만 의존하는 어떤 $K$ 에 대해 $K$-Lipschitz 가 되므로, 최적화와 무관한 스케일 인자와 비평가 $f_{w}$ 의 용량까지 (2) 를 근사합니다. 가장 단순한 방법은 각 기울기 갱신 뒤 가중치를 고정 상자 $\mathcal{W}=[-0.01,0.01]^{l}$ 로 클램핑하는 것입니다.
| 클리핑 파라미터 | 문제 |
|---|---|
| 크면 | 가중치가 한계에 도달하는 데 오래 걸려 비평가를 최적까지 학습하기 어려움 |
| 작으면 | 층이 많거나 배치 정규화가 없을 때(RNN 등) 기울기 소실 |
저자들은 가중치 클리핑이 Lipschitz 제약을 강제하는 “명백히 끔찍한(clearly terrible)” 방법이라고 스스로 적습니다. 가중치를 구로 사영하는 변형도 시도했지만 차이가 거의 없어 단순성과 이미 좋은 성능 때문에 클리핑을 유지했고, 신경망에서 Lipschitz 제약을 강제하는 문제를 후속 연구로 열어 두었습니다.
$f_{w}$ 를 판별기(discriminator)가 아니라 비평가(critic) 라 부르는 이유는, 진짜/가짜를 분류하도록 학습되지 않고 시그모이드 출력도 없기 때문입니다.
💡 Key Takeaway 쌍대성은 “최적 수송 계획 찾기”를 “1-Lipschitz 함수로 두 기댓값의 차를 최대화하기“로 바꿉니다. 가중치 클리핑은 그 Lipschitz 조건의 조잡하지만 작동하는 근사입니다.
Algorithm 1 과 비평가를 최적까지 학습하는 이유
WGAN 알고리즘은 표준 GAN 의 교대 갱신과 형태는 비슷하지만, 비평가를 여러 번 학습하고 클리핑하며 RMSProp 을 쓴다는 점이 다릅니다.
🔁 1. 절차와 기본값
Wasserstein-GAN-translation/Algorithm-1.JPG)
| 하이퍼파라미터 | 기본값 | 의미 |
|---|---|---|
| $\alpha$ | 0.00005 | 학습률 |
| $c$ | 0.01 | 클리핑 파라미터 |
| $m$ | 64 | 배치 크기 |
| $n_{critic}$ | 5 | 생성기 1 회 갱신당 비평가 갱신 횟수 |
| 단계 | 내용 |
|---|---|
| 비평가 ($n_{critic}$ 회) | 실제 배치와 사전분포 배치를 뽑아 $g_{w}\leftarrow\nabla_{w}\big[\frac1m\sum f_{w}(x^{(i)})-\frac1m\sum f_{w}(g_{\theta}(z^{(i)}))\big]$ 를 RMSProp 으로 상승, 이후 $w\leftarrow\mathrm{clip}(w,-c,c)$ |
| 생성기 (1 회) | 사전분포 배치를 뽑아 $g_{\theta}\leftarrow-\nabla_{\theta}\frac1m\sum f_{w}(g_{\theta}(z^{(i)}))$ 를 RMSProp 으로 하강 |
논문의 모든 실험은 이 기본값을 사용했습니다.
🏔️ 2. 비평가를 끝까지 학습해도 되는 이유 (Figure 2)
Wasserstein-GAN-translation/Figure-2.JPG)
EM 거리가 연속이고 거의 모든 곳에서 미분 가능하다는 사실은 비평가를 최적까지 학습할 수 있고, 또 그래야 한다는 뜻입니다. 비평가를 더 학습할수록 Wasserstein 의 기울기가 더 신뢰할 만해지기 때문입니다.
| GAN 판별기 | WGAN 비평가 | |
|---|---|---|
| 최적에 가까워지면 | 기울기는 더 신뢰할 만해지지만 JS 가 국소적으로 포화해 참 기울기가 0 | 포화할 수 없고 선형 함수로 수렴해 어디서나 깨끗한 기울기 |
| 두 가우시안 실험 | 진짜·가짜를 매우 빨리 구별하고 신뢰할 기울기 정보를 주지 못함 | 가중치 제약이 함수 성장을 기껏해야 선형으로 제한해 최적 비평가가 이 거동을 가짐 |
🧲 3. 모드 붕괴가 사라지는 이유
더 중요하게, 비평가를 최적까지 학습할 수 있다는 사실은 그렇게 할 때 모드 붕괴가 불가능하게 만듭니다. 모드 붕괴는 고정된 판별기에 대한 최적 생성기가 판별기가 가장 높은 값을 주는 점들 위의 델타 함수의 합이라는 데서 비롯되기 때문입니다. 비평가가 최적이면 생성기는 그런 지름길을 쓸 수 없습니다.
💡 Key Takeaway 표준 GAN 에서 “판별기를 너무 잘 학습시키면 안 된다”는 규칙은 JS 의 포화 때문입니다. WGAN 에서는 반대로 비평가를 잘 학습시킬수록 좋습니다.
경험적 결과: 의미 있는 손실과 향상된 안정성 (Section 4)
실험은 LSUN-Bedrooms 에서 $64\times64$ 3 채널 이미지를 생성하며, 베이스라인은 표준 GAN 절차와 $-\log D$ 트릭으로 학습한 DCGAN 입니다. 논문은 두 가지 주요 이점을 주장합니다. 생성기의 수렴 및 샘플 품질과 상관되는 의미 있는 손실 지표, 그리고 최적화 과정의 향상된 안정성입니다.
📉 1. 의미 있는 손실 지표 (Figure 3, 4)
Wasserstein-GAN-translation/Figure-3.JPG)
WGAN 은 각 생성기 갱신 전에 비평가 $f$ 를 비교적 잘 학습하므로, 그 시점의 손실은 Lipschitz 상수 제약 방식에 관련된 상수 인자까지 EM 거리의 추정치입니다.
| 구성 | 관찰 (Figure 3) |
|---|---|
| MLP 생성기 (4 은닉층, 512 유닛) + DCGAN 비평가 | 손실이 일관되게 감소하고 샘플 품질 상승 |
| DCGAN 생성기 + DCGAN 비평가 | 손실이 빠르게 감소하고 샘플 품질 상승 |
| 생성기·비평가 모두 MLP, 높은 학습률 (학습 실패) | 손실 일정, 샘플도 일정 |
저자들이 아는 한 GAN 의 손실이 수렴 성질을 보이는 것은 GAN 문헌 최초이며, 실패 모드를 알아내거나 어떤 모델이 더 나은지 판단하려고 샘플을 응시할 필요가 없어집니다. 다만 비평가 구조에 따른 상수 스케일 때문에 다른 비평가를 쓴 모델끼리 비교하기 어렵고, 비평가 용량이 유한해 추정치가 실제 EM 거리에 얼마나 가까운지 알기 어려우므로 새로운 정량 평가 방법이라고 주장하지는 않습니다.
Wasserstein-GAN-translation/Figure-4.JPG)
대조군으로 표준 GAN 학습 중 판별기가 최대화하는 $L(D,g_{\theta})=\mathbb{E}{P{r}}[\log D(x)]+\mathbb{E}{P{\theta}}[\log(1-D(x))]$ 는 $2JS(P_{r},P_{\theta})-2\log2$ 의 하한이므로, JS 의 하한인 $\frac12L(D,g_{\theta})+\log2$ 를 그렸습니다. 이 양은 샘플 품질과 상관이 나쁘고, 보통 일정하거나 올라가며, JS 의 최댓값 $\log2\approx0.69$ 에 매우 가깝게 머뭅니다. 즉 JS 가 포화해 판별기 손실이 0 이 되는데도 샘플은 의미 있거나(DCGAN 생성기) 하나의 무의미한 이미지로 붕괴합니다(MLP). $-\log D$ 트릭의 생성기 손실로 그려도(Appendix E, Figure 8) 결론은 같습니다.
🛡️ 2. 향상된 안정성 (Figure 5–7)
비평가를 최적까지 학습하면 비평가는 생성기에 손실을 제공할 뿐이고, 생성기는 다른 신경망처럼 학습하면 됩니다. 따라서 생성기와 판별기의 용량을 균형 맞출 필요가 없어집니다. 세 생성기 구조로 실험했고 비평가/판별기는 모두 DCGAN 합성곱 구조를 유지했습니다. 샘플은 체리피킹하지 않았습니다.
| 생성기 | WGAN | 표준 GAN |
|---|---|---|
| DCGAN 생성기 (Figure 5) | 고품질 샘플 | 고품질 샘플 |
| 배치 정규화 없음 + 일정 필터 수 (Figure 6, 파라미터가 한 자릿수 이상 감소) | 샘플 생성 | 학습 실패 |
| 4 층 512 유닛 ReLU-MLP (Figure 7, 이미지 생성에 대한 귀납 편향 부재) | DCGAN 보다 낮지만 GAN MLP 보다 높은 품질 | 심한 모드 붕괴 |
Wasserstein-GAN-translation/Figure-5.JPG)
Wasserstein-GAN-translation/Figure-6.JPG)
Wasserstein-GAN-translation/Figure-7.JPG)
어떤 실험에서도 WGAN 알고리즘의 모드 붕괴 증거는 관찰되지 않았습니다.
⚠️ 3. 부정적 결과: 모멘텀과 학습률
Adam($\beta_{1}>0$) 같은 모멘텀 기반 최적화기를 비평가에 쓰거나 높은 학습률을 쓰면 WGAN 학습이 때때로 불안정해집니다. 비평가의 손실이 비정상(nonstationary) 이라 모멘텀 방법이 더 나쁘게 작동하는 것으로 보입니다. 손실이 폭발하고 샘플이 나빠질 때 Adam 스텝과 기울기 사이의 코사인이 보통 음수가 되었고, 코사인이 음수인 유일한 경우가 이런 불안정 상황이었습니다. 그래서 매우 비정상적인 문제에서도 잘 작동하는 RMSProp 으로 전환했습니다.
💡 Key Takeaway WGAN 의 두 실용적 선물은 “손실 곡선을 믿어도 된다“와 “구조를 덜 가려도 된다“입니다. 대신 모멘텀 없는 최적화기와 낮은 학습률이 필요합니다.
적분 확률 거리(IPM)와 관련 연구 (Section 5)
적분 확률 거리(Integral Probability Metric, IPM) 는 WGAN 을 더 넓은 맥락에 놓는 틀입니다. $\mathcal{F}$ 를 $\mathcal{X}$ 에서 $\mathbb{R}$ 로 가는 함수의 집합이라 할 때
\[d_{\mathcal{F}}(P_{r},P_{\theta})=\sup_{f\in\mathcal{F}}\mathbb{E}_{x\sim P_{r}}[f(x)]-\mathbb{E}_{x\sim P_{\theta}}[f(x)]\]를 함수족 $\mathcal{F}$ 에 연관된 IPM 이라 합니다. 모든 $f\in\mathcal{F}$ 에 대해 $-f\in\mathcal{F}$ 이면 $d_{\mathcal{F}}$ 는 비음수이고 삼각부등식을 만족하며 대칭인 유사거리(pseudometric) 입니다. 공식은 비슷해 보여도 함수족에 따라 근본적으로 다른 거리가 나옵니다.
🗂️ 1. 함수족에 따른 IPM
| $\mathcal{F}$ | 결과 거리 | 비고 |
|---|---|---|
| 1-Lipschitz 함수 | $W(P_{r},P_{\theta})$ | Kantorovich-Rubinstein. $K$-Lipschitz 면 $K\cdot W$ |
| $[-1,1]$ 로 유계인 가측(또는 연속) 함수 | TV 거리 $\delta(P_{r},P_{\theta})$ | 1-Lipschitz 에서 1-유계로 가면 위상과 손실의 정칙성이 극적으로 바뀜 (Theorem 1, 2) |
| RKHS $\mathcal{H}$ 의 단위 공 ${f\in\mathcal{H}:|f|_{\infty}\leq1}$ | Maximum Mean Discrepancy (MMD) | 보편 커널이면 유사거리가 아닌 진짜 거리 |
🔋 2. EBGAN, MMD, GMMN 과의 관계
| 방법 | WGAN 관점의 해석 |
|---|---|
| Energy-based GAN (EBGAN) | TV 거리에 대한 생성 접근. 판별기가 $0$ 과 $m$ 사이로만 제한된 채 (4) 를 최대화하는 $f$ 역할을 하므로, 최적에 가까워지면 생성기 비용은 TV 거리를 근사. TV 는 JS 와 같은 정칙성을 가지므로 판별기를 최적까지 학습할 수 없고 불완전한 기울기에 머무는 고전 GAN 의 문제를 공유 (Appendix D) |
| MMD | $\mathcal{H}=L^{2}(\mathcal{X},m)$ 인 극단적 경우 $d_{\mathcal{F}}\leq\delta$ 이므로 손실의 정칙성이 TV 만큼 나쁠 수 있음. 가우시안 커널도 미세한 잡음 패턴을 감지하므로 특히 저대역폭 커널에서는 TV·JS 와 비슷한 포화 영역에 가까울 수 있음. 커널 트릭으로 별도 네트워크가 필요 없지만 샘플 수에 이차적인 계산 비용 |
| Generative Moment Matching Networks (GMMN) | MMD 의 생성 대응물. 가우시안 MMD 검정이 신뢰할 만하려면 샘플 수가 차원에 선형으로 늘어야 하므로 $64\times64$ 이미지라면 미니배치가 최소 4096 이고 반복당 비용이 $4096^{2}$, 표준 배치 64 의 GAN 반복보다 5 자릿수 이상 큼. 원 논문은 실제로 배치 1000 을 사용 |
🔗 3. 그 밖의 관련 연구
- 이산 공간의 제한 볼츠만 머신 학습에 Wasserstein 거리를 쓴 연구가 있습니다. 유한 이산 공간에서는 약한 위상(W)과 강한 위상(JS)이 일치하므로 동기가 달라 보이지만, 기저 공간의 기하를 활용해 분포를 비교한다는 점에서 공통됩니다.
- 서로 다른 분포 사이의 Wasserstein 거리를 계산하는 새 알고리즘들은 생성 모델을 평가하는 새 방법으로 이어질 수 있다고 저자들은 봅니다.
💡 Key Takeaway IPM 틀에서 보면 GAN 계열의 차이는 비평가가 속한 함수족의 차이입니다. 1-Lipschitz(WGAN)냐, 1-유계(TV, EBGAN)냐, RKHS 공(MMD)이냐가 손실의 정칙성을 결정합니다.
한계와 열린 방향
WGAN 의 한계는 저자들이 본문에서 가장 솔직하게 밝힌 가중치 클리핑 문제를 중심으로, 손실 해석과 최적화기 제약까지 이어집니다. 이 한계들은 곧바로 후속 연구의 출발점이 되었습니다.
⚠️ 1. 명시된 한계
| 항목 | 내용 |
|---|---|
| 가중치 클리핑 | Lipschitz 제약을 강제하는 “명백히 끔찍한” 방법. 클리핑 값이 크면 비평가 학습이 느리고, 작으면 기울기 소실. 구 사영 변형도 큰 차이 없음 |
| 손실의 절대값 | 비평가 구조에 의존하는 상수 스케일 때문에 다른 비평가를 쓴 모델 간 비교 불가. 비평가 용량이 유한해 실제 EM 거리와의 거리도 불명 |
| 최적화기 제약 | Adam($\beta_{1}>0$) 등 모멘텀 기반 최적화기와 높은 학습률에서 불안정. RMSProp 과 $\alpha=0.00005$ 로 우회 |
| 계산 비용 | 생성기 1 회당 비평가 $n_{critic}=5$ 회 학습으로 반복당 비용 증가 |
| 가정의 강도 | Theorem 3 와 쌍대 근사는 상한이 어떤 $w\in\mathcal{W}$ 에서 달성된다는, 추정량의 일치성을 증명할 때 가정하는 것에 준하는 꽤 강한 가정에 의존 |
🔬 2. 평가의 한계
- 샘플 품질은 육안 비교와 손실 곡선의 상관으로만 평가되었고 정량 지표는 없습니다.
- 실험은 LSUN-Bedrooms $64\times64$ 한 데이터셋에 국한됩니다.
🔗 3. 후속 연구로의 연결
| 방향 | 내용 |
|---|---|
| Lipschitz 제약의 개선 | 저자들이 명시적으로 후속 연구자에게 권한 주제. 이후 기울기 페널티(WGAN-GP), 스펙트럼 정규화 등이 가중치 클리핑을 대체 |
| 손실 기반 모델 선택 | WGAN 손실은 디버깅·하이퍼파라미터 탐색 도구로 쓸 수 있으며, 이후 샘플 기반 지표(FID 등)와 병행 사용 |
| Wasserstein 거리 계산 | 분포 간 Wasserstein 거리의 새 계산 알고리즘이 생성 모델 평가로 이어질 가능성 |
| IPM 관점의 통합 | 함수족 선택에 따른 GAN 변형들의 체계적 비교 |
💡 Key Takeaway WGAN 이 남긴 가장 큰 숙제는 “Lipschitz 제약을 어떻게 제대로 강제할 것인가“입니다. 저자들 스스로 클리핑을 임시방편으로 규정했고, 그 자리를 채운 것이 기울기 페널티와 스펙트럼 정규화입니다.