0. Summary

기본 정보 : ArXiv,2016.09.11 (ICLR 2017), Energy-based Generative Adversarial Network

연구 배경

Goodfellow et al. (2014)의 원조 GAN은 판별기(discriminator)를 “진짜일 확률”을 출력하는 이진 로지스틱 분류기로 정의한다. 이 확률적 해석은 이론적으로 깔끔하지만 두 가지 실질적 제약을 낳는다. 첫째, 판별기의 구조와 손실 함수가 “시그모이드 출력 + 교차 엔트로피” 한 가지 형태에 묶여 있어 다양한 아키텍처를 시도하기 어렵다. 둘째, 판별기가 미니배치 안의 모든 샘플에 대해 0 또는 1이라는 단 한 비트의 목표값만 받기 때문에 샘플별 기울기가 서로 비슷해져 학습이 비효율적이고, 학습률·층 수·옵티마이저 선택에 따라 학습이 쉽게 불안정해진다. 한편 LeCun et al. (2006)의 에너지 기반 모델(energy-based model, EBM) 은 입력 공간의 각 점에 스칼라 “에너지”를 부여하고 원하는 구성에는 낮은 에너지, 잘못된 구성에는 높은 에너지를 주도록 에너지 표면을 빚는다는 일반적 틀을 제공한다. 이 틀 안에서는 정규화 상수(partition function)가 필요 없고 손실 함수군을 자유롭게 고를 수 있지만, 에너지를 끌어올릴 대조 샘플(contrastive sample) 을 어떻게 공급할지가 늘 문제였다. 두 분야를 잇는 시각, 즉 “GAN의 판별기를 에너지 함수로, 생성기를 대조 샘플 공급기로” 보는 통합 관점이 비어 있었다.

제안 방법

EBGAN은 판별기 $D$ 를 확률 해석 없이 입력에 에너지 $E\in\mathbb{R}$ 를 부여하는 함수로 정의한다. $D$ 는 실제 데이터에 낮은 에너지를, 생성 샘플에는 높은 에너지를 주도록 마진 손실(margin loss) $L_D(x,z)=D(x)+[m-D(G(z))]^{+}$ 로 학습하고, 생성기 $G$ 는 자신이 만든 샘플의 에너지 $L_G(z)=D(G(z))$ 를 낮추도록 학습한다(Eq. 1–2). 저자들은 무한 용량 가정 아래 이 게임의 Nash 균형에서 $p_G=p_{data}$ 가 성립하고 판별기 손실이 정확히 $m$ 이 됨을 증명한다(Theorem 1–2). 구체적 인스턴스로는 판별기를 오토인코더로 두고 재구성 오차 $D(x)=\lVert Dec(Enc(x))-x\rVert$ 를 에너지로 쓰는 구조를 제안한다(Section 2.3). 또한 생성 샘플이 몇 개 모드로 뭉치는 것을 막기 위해 인코더 표현의 쌍별 코사인 유사도를 벌점으로 주는 반발 정규화기(repelling regularizer), 즉 Pulling-away Term(PT) 을 생성기 손실에 더한 EBGAN-PT 를 제안한다(Section 2.4).

발견 사실

MNIST에서 완전연결 아키텍처의 층 수·폭·드롭아웃·옵티마이저·학습률을 전수 탐색(EBGAN 512개, GAN 6,144개 실험)한 결과, 수정 인셉션 점수 $I’$ 의 히스토그램은 EBGAN이 하이퍼파라미터 전반에서 훨씬 안정적으로 학습됨을 보여주었다(Figure 2–3). 준지도 학습에서는 래더 네트워크(Ladder Network)를 EBGAN 판별기로 삼고 마진 $m$ 을 점진적으로 0까지 줄이는 EBGAN-LN 이 PI-MNIST에서 100·200·1000 레이블 각각 1.04%, 0.99%, 0.89% 오류율을 기록해, 같은 코드로 재현한 LN 대비 23.5%, 20.2%, 14.4% 의 상대 개선을 보였다(Table 2). LSUN 침실·CelebA 64×64 에서는 DCGAN과 동일 설정으로 비교해 대등하거나 더 깔끔한 생성을 보였고(Figure 5–6), 다중 스케일 구조 없이 단일 스케일 아키텍처만으로 ImageNet-1k 128×128, 개 품종 부분집합 256×256 이미지를 생성해 전경 객체와 배경 구성을 학습함을 보였다(Figure 7–8).

핵심 기여

GAN의 에너지 기반 재정식화 : 판별기를 확률 출력기가 아니라 에너지 함수로 보는 관점을 제시하고, 이로써 이진 로지스틱 분류기 외의 다양한 판별기 아키텍처와 손실 함수군(LeCun et al., 2006)을 적대적 학습에 쓸 수 있게 했다.
힌지 마진 손실 아래의 수렴 증명 : 간단한 마진 손실에서 시스템이 Nash 균형에 도달하면 생성 분포가 데이터 분포와 거의 모든 곳에서 일치하고($p_G=p_{data}$), 판별기는 $[0,m]$ 사이의 상수 에너지 표면이 됨을 보였다(Theorem 1–2, Appendix A).
오토인코더 판별기와 PT 정규화기 : 재구성 오차를 에너지로 쓰는 오토인코더 판별기가 정규화된 오토인코더의 일반화임을 논하고, 표현 공간에서 샘플들을 서로 직교시키는 Pulling-away Term으로 모드 붕괴를 완화했다.
체계적 실험과 고해상도 생성 : MNIST 전수 그리드 탐색으로 안정성을 정량화하고, 준지도 MNIST·LSUN·CelebA·ImageNet 128/256 에서 EBGAN 프레임워크의 확장성을 입증했다.

관련 개념

에너지 기반 모델(Energy-Based Model)과 GAN의 재해석

에너지 기반 모델(EBM) 은 입력 공간의 각 점을 하나의 스칼라 “에너지”로 사상하는 함수를 만들고, 학습을 통해 원하는 구성에는 낮은 에너지가, 잘못된 구성에는 높은 에너지가 할당되도록 에너지 표면을 빚는 틀입니다(LeCun et al., 2006). EBGAN은 GAN의 판별기를 바로 이 에너지 함수로 보고, 생성기를 에너지를 끌어올려야 할 대조 샘플의 공급원으로 해석합니다.

🔋 1. 에너지, 대조 샘플, 그리고 비지도 학습

설정	낮은 에너지를 받는 것	높은 에너지를 받는 것(대조 샘플)
지도 학습	올바른 레이블 쌍 $(X, Y_{correct})$	잘못된 레이블 쌍 $(X, Y_{wrong})$
비지도 학습	데이터 매니폴드 위의 점	데이터 밀도가 낮은 영역의 점
EBGAN	실제 데이터 $x\sim p_{data}$	생성기가 만든 $G(z)$

비지도 학습에서 EBM의 고질적 난점은 “어디의 에너지를 끌어올릴 것인가”, 즉 대조 샘플을 어떻게 구할 것인가였습니다. 잡음 추가(Vincent et al., 2010)나 대조 발산(Carreira-Perpiñán & Hinton, 2005)이 그 답이었는데, EBGAN은 학습 가능한 생성기가 현재 에너지 함수가 가장 속기 쉬운 지점의 대조 샘플을 적응적으로 생산하도록 합니다(Section 1.3).

🔄 2. 확률적 GAN과의 차이

항목	확률적 GAN (Goodfellow et al., 2014)	EBGAN
판별기 출력	진짜일 확률 $D(x)\in(0,1)$	에너지 $D(x)\in\mathbb{R}$ (아래로 유계)
판별기 구조	시그모이드 출력의 이진 분류기	임의 구조(본 논문은 오토인코더)
손실	이진 교차 엔트로피	마진(힌지) 손실 등 EBM 손실군
확률 해석	명시적	없음(필요하면 Gibbs 분포로 변환 가능)
정규화 상수	불필요	불필요

에너지를 확률로 바꾸려면 Gibbs 분포 $p(x)\propto e^{-\beta E(x)}$ 와 분배 함수가 필요하지만, EBGAN은 이 정규화를 아예 요구하지 않기 때문에 판별기 아키텍처와 학습 절차 선택에서 더 큰 자유를 얻습니다. 같은 시기 Kim & Bengio (2016)의 확률적 GAN은 Gibbs 분포로 에너지 밀도 추정기를 만들었지만 분배 함수 계산이 남아 에너지 함수가 적분 가능해야 한다는 제약이 있었습니다(Section 3).

🧭 3. “판별기 = 생성기를 위한 학습 가능한 비용 함수”

EBGAN의 관점에서 판별기가 계산하는 에너지 함수는 생성기를 위한 학습 가능한 비용 함수입니다. 판별기는 데이터 밀도가 높은 영역에 낮은 에너지를, 그 밖에는 높은 에너지를 주도록 학습되고, 생성기는 판별기가 낮은 에너지를 주는 영역에서 샘플을 만들어 내는 매개변수화된 함수가 됩니다. 원조 GAN의 확률적 이진 판별기는 LeCun et al. (2006)과 Ranzato et al. (2007)이 정리한 수많은 대조 함수·손실 함수 조합 중 하나의 특수한 선택일 뿐이라는 것이 이 논문의 핵심 주장입니다.

💡 Key Takeaway EBGAN은 “진짜/가짜 확률”이라는 좁은 해석을 버리고 판별기를 에너지 표면으로 봅니다. 그 순간 GAN은 생성기가 대조 샘플을 공급하는 에너지 기반 모델이 되고, 판별기 구조와 손실 함수의 선택지가 크게 넓어집니다.

마진 손실 목적 함수와 Nash 균형의 최적성

마진 손실(margin loss) 은 EBGAN이 에너지 표면을 빚기 위해 택한 손실입니다. 판별기와 생성기에 서로 다른 두 손실을 쓰는 것은 원조 GAN과 같은 이유, 즉 생성기가 수렴에서 멀 때도 좋은 기울기를 얻기 위함입니다(Section 2.1).

📐 1. 두 손실의 정의 (Eq. 1–2)

양의 마진 $m$, 실제 샘플 $x$, 생성 샘플 $G(z)$ 에 대해

\[L_D(x,z)=D(x)+\big[m-D(G(z))\big]^{+}\] \[L_G(z)=D(G(z))\]

여기서 $[\cdot]^{+}=\max(0,\cdot)$ 입니다.

항	역할
$D(x)$	실제 데이터의 에너지를 아래로 민다
$[m-D(G(z))]^{+}$	생성 샘플의 에너지를 마진 $m$ 까지만 위로 민다. 이미 $m$ 이상이면 기울기 0
$L_G=D(G(z))$	생성기는 자기 샘플의 에너지를 낮춘다

$L_G$ 를 $G$ 에 대해 최소화하는 것은 $L_D$ 의 두 번째 항을 최대화하는 것과 최솟값은 같지만, $D(G(z))\geq m$ 인 영역에서도 0이 아닌 기울기를 준다는 점이 다릅니다. 판별기가 생성 샘플을 이미 마진 밖으로 밀어낸 상황에서도 생성기는 계속 학습 신호를 받습니다.

🎯 2. Nash 균형과 Theorem 1

$p_G$ 를 $G(z),\ z\sim p_z$ 의 밀도라 두고, 두 플레이어의 기대 손실을

\[V(G,D)=\int_{x,z}L_D(x,z)\,p_{data}(x)\,p_z(z)\,dx\,dz,\qquad U(G,D)=\int_z L_G(z)\,p_z(z)\,dz\]

로 정의합니다. Nash 균형 $(G^{\ast},D^{\ast})$ 는 $V(G^{\ast},D^{\ast})\leq V(G^{\ast},D)\ \forall D$ 와 $U(G^{\ast},D^{\ast})\leq U(G,D^{\ast})\ \forall G$ 를 동시에 만족하는 쌍입니다(Eq. 3–4).

Theorem 1. $(D^{\ast},G^{\ast})$ 가 Nash 균형이면 거의 모든 곳에서 $p_{G^{\ast}}=p_{data}$ 이고, $V(D^{\ast},G^{\ast})=m$ 이다.

증명의 뼈대는 다음과 같습니다(Section 2.2, Appendix A).

$V(G^{\ast},D)=\int_x\big(p_{data}(x)D(x)+p_{G^{\ast}}(x)[m-D(x)]^{+}\big)dx$ 로 고쳐 쓰면, 각 점 $x$ 에서 $\phi(y)=ay+b(m-y)^{+}$ 꼴의 함수를 최소화하는 문제가 됩니다(Lemma 1).
$D^{\ast}(x)\leq m$ 이 거의 모든 곳에서 성립합니다. $m$ 을 넘는 영역이 있다면 $\tilde D=\min(D^{\ast},m)$ 이 더 작은 $V$ 를 주어 균형 조건에 모순이기 때문입니다.
$\phi$ 는 $a<b$ 이면 $y=m$ 에서, 아니면 $y=0$ 에서 최소가 됩니다. 이를 대입하면

\[V(G^{\ast},D^{\ast})=m+m\int_x \mathbf{1}_{p_{data}(x)<p_{G^{\ast}}(x)}\big(p_{data}(x)-p_{G^{\ast}}(x)\big)\,dx\ \leq\ m\]

반대로 $p_{data}$ 를 그대로 생성하는 이상적 생성기를 Eq. 4 에 넣으면 $m\leq V(G^{\ast},D^{\ast})$ 를 얻습니다.
따라서 $V(G^{\ast},D^{\ast})=m$ 이고, 위 적분의 두 번째 항이 0이 되려면 $p_{G^{\ast}}=p_{data}$ 가 거의 모든 곳에서 성립해야 합니다(Lemma 2).

🧊 3. Theorem 2: 균형의 존재와 평평한 에너지 표면

Theorem 2. 이 시스템의 Nash 균형은 존재하며, (a) 거의 모든 곳에서 $p_{G^{\ast}}=p_{data}$ 이고 (b) 어떤 상수 $\gamma\in[0,m]$ 에 대해 거의 모든 곳에서 $D^{\ast}(x)=\gamma$ 인 것으로 특징지어진다.

(b)는 중요한 함의를 갖습니다. 수렴 시 판별기는 데이터 영역 위에서 평평한 에너지 표면이 되어, 실제 데이터와 생성 데이터를 더 이상 구분하지 못합니다. 이는 원조 GAN에서 수렴 시 $D=1/2$ 가 되는 것과 같은 현상이며, 뒤에서 보듯 준지도 학습에서 판별기를 분류기로 재활용할 때 “마진을 0으로 붕괴시키는” 설계 결정의 근거가 됩니다(Section 4.2). 한편 $p_{data}(x)=0$ 인 영역에서는 $D^{\ast}$ 가 $[0,m]$ 안의 어떤 값이든 가질 수 있습니다.

💡 Key Takeaway 힌지 마진 손실 하나만으로도 “균형 = 분포 일치”가 증명됩니다. 그리고 그 균형에서 판별기 손실은 정확히 $m$, 에너지 표면은 상수 $\gamma$ 가 됩니다. 마진 $m$ 은 단순한 하이퍼파라미터가 아니라 균형점의 값 자체를 정합니다.

오토인코더 판별기와 정규화된 오토인코더의 관계

오토인코더 판별기는 EBGAN 프레임워크의 구체적 인스턴스로, 판별기를 인코더–디코더로 구성하고 재구성 오차를 에너지로 씁니다(Section 2.3).

\[D(x)=\big\lVert Dec(Enc(x))-x\big\rVert\]

🧱 1. 왜 이진 분류기보다 오토인코더가 매력적인가

관점	이진 로지스틱 판별기	오토인코더 판별기
목표 정보량	샘플당 1비트(진짜/가짜)	샘플당 재구성 대상 전체(픽셀 단위)
미니배치 내 기울기	두 가지 목표뿐이라 샘플 간 기울기가 서로 비슷함(직교에서 멂)	샘플마다 다른 기울기 방향 → 큰 미니배치에서도 효율 유지
생성기 없이 학습 가능?	불가능(음성 예 없으면 무의미)	가능(정규화된 오토인코더로서 매니폴드를 스스로 학습)

첫째 논점은 효율입니다. 이진 손실에서는 목표값이 두 개뿐이라 미니배치 안 샘플들의 기울기가 거의 같은 방향을 가리키고, 그렇다고 하드웨어 사정상 미니배치를 줄일 수도 없습니다. 재구성 손실은 샘플마다 전혀 다른 기울기 방향을 만들어 큰 미니배치를 효율 손실 없이 쓸 수 있게 합니다. 둘째 논점은 자율성입니다. 오토인코더는 전통적으로 에너지 기반 모델을 표현하는 데 쓰여 왔고, 적절한 정규화와 함께라면 음성 예 없이도 에너지 매니폴드를 학습합니다. 따라서 EBGAN 판별기는 실제 샘플 재구성만으로도 데이터 매니폴드 발견에 스스로 기여합니다.

🔗 2. 정규화된 오토인코더와의 연결 (Section 2.3.1)

오토인코더 학습의 고전적 문제는 항등 함수를 배워 전체 공간에 0 에너지를 부여해 버리는 것입니다. 이를 막기 위해 잡음 제거(Vincent et al., 2010), 수축(Rifai et al., 2011), 희소 코딩(Ranzato & Chopra, 2007; Kavukcuoglu et al., 2010) 같은 정규화가 잠재 표현을 제약해 “입력 공간의 작은 부분에만 낮은 에너지를 줄 수 있도록” 재구성 능력을 제한해 왔습니다.

EBGAN에서는 생성기 자체가 정규화기 역할을 합니다. 생성기가 만든 대조 샘플에 판별기가 높은 재구성 오차를 주어야 하므로 항등 함수로 붕괴할 수 없습니다. 저자들은 이 관점에서 EBGAN이 더 유연하다고 주장합니다.

(i) 정규화기(생성기)가 수작업 설계가 아니라 완전히 학습 가능하다.
(ii) 적대적 학습 패러다임이 “대조 샘플 생산”과 “에너지 함수 학습”이라는 이중성 사이의 직접적 상호작용을 가능하게 한다.

⚙️ 3. 실험에 쓰인 아키텍처 (Appendix C)

표기 (c)kcs 는 채널 $c$, 커널 $k\times k$, 스트라이드 $s$ 의 합성곱을 뜻합니다.

실험	인코더	디코더	마진 $m$
LSUN / CelebA 64×64	(64)4c2s-(128)4c2s-(256)4c2s	(128)4c2s-(64)4c2s-(3)4c2s	80 / 20
ImageNet 128×128	(64)4c2s-(128)4c2s-(256)4c2s-(512)4c2s	(256)4c2s-(128)4c2s-(64)4c2s-(3)4c2s	40
ImageNet 256×256 (개 품종)	128×128 과 동일	128×128 과 동일	80

공통 설정으로 생성기 출력과 판별기 입력을 제외한 모든 가중치 층 뒤에 배치 정규화를 두고, 이미지를 $[-1,1]$ 로 스케일한 뒤 Tanh 출력을 사용하며, 판별기 가중치는 $\mathcal{N}(0,0.002)$, 생성기 가중치는 $\mathcal{N}(0,0.02)$ 로 초기화합니다. 데이터셋과 해상도가 커질수록 마진을 키운 점이 눈에 띕니다. 재구성 오차의 스케일이 이미지 크기에 따라 달라지기 때문입니다.

💡 Key Takeaway 재구성 오차를 에너지로 쓰면 판별기는 “1비트 심판”이 아니라 픽셀 단위 피드백을 주는 정규화된 오토인코더가 되고, 생성기는 그 오토인코더의 학습 가능한 정규화기가 됩니다. 두 모델 계열이 하나의 틀로 합쳐집니다.

반발 정규화기(Repelling Regularizer)와 Pulling-away Term

반발 정규화기는 생성기가 $p_{data}$ 의 한두 모드에만 뭉친 샘플을 내놓는 모드 붕괴(mode collapse) 를 막기 위해 EBGAN 오토인코더 모델에 맞춰 설계한 항입니다(Section 2.4). 같은 철학에서 Salimans et al. (2016)이 만든 미니배치 판별(minibatch discrimination) 과 목적은 같지만, 구현 위치가 다릅니다.

🧲 1. PT의 정의

인코더 출력층에서 뽑은 미니배치 표현을 $S\in\mathbb{R}^{s\times N}$ ($N$ 은 배치 크기, $S_i$ 는 $i$ 번째 열)이라 할 때

\[f_{PT}(S)=\frac{1}{N(N-1)}\sum_{i}\sum_{j\neq i}\left(\frac{S_i^{T}S_j}{\lVert S_i\rVert\,\lVert S_j\rVert}\right)^{2}\]

설계 선택	이유
쌍별 코사인 유사도의 제곱	유클리드 거리와 달리 아래로 유계이고 표현의 크기(scale)에 불변
표현 공간(인코더 출력)에서 계산	Rasmus et al. (2015), Zhao et al. (2015) 등 오토인코더류 모델의 인코더 표현력에 착안
생성기 손실에만 추가	판별기가 아니라 생성기가 다양한 샘플을 내도록 유도. 가중치 $\lambda_{PT}=0.1$

PT는 미니배치 안의 샘플 표현들을 서로 직교시키려 합니다. 생성 샘플들이 비슷하면 인코더 표현도 비슷해져 코사인 유사도가 커지므로, 이를 줄이는 방향은 곧 샘플을 서로 밀어내는 방향입니다. 이렇게 학습한 모델을 EBGAN-PT 라 부릅니다.

🆚 2. 미니배치 판별과의 비교

항목	미니배치 판별 (Salimans et al., 2016)	PT (EBGAN)
작용 위치	판별기에 배치 통계 특징을 추가	생성기 손실에 정규화 항 추가
추가 파라미터	있음(투영 텐서)	없음
메커니즘	판별기가 “배치가 너무 비슷하다”를 감지	생성기가 표현 공간에서 직접 다양성을 최대화

🖼️ 3. PT의 효과 (Appendix F, Figure 12–14)

LSUN 침실 전체 이미지, 96×96 원본에서 64×64 패치를 잘라 증강한 LSUN, CelebA 세 설정에서 Section 4.3 과 동일한 아키텍처·하이퍼파라미터로 EBGAN과 EBGAN-PT를 비교했습니다.

정량 지표는 제시되지 않았지만, 시각적으로 EBGAN-PT 쪽이 더 다양하고 반복이 적은 샘플을 내놓는다는 것이 저자들의 관찰입니다.

💡 Key Takeaway PT는 “생성 샘플의 인코더 표현을 서로 직교시켜라”는 단순한 항으로, 추가 파라미터 없이 생성기 쪽에서 모드 붕괴를 억제합니다. 오토인코더 판별기가 표현 공간을 제공하기에 가능한 설계입니다.

MNIST 전수 그리드 탐색: 학습 안정성의 정량화

전수 그리드 탐색(exhaustive grid search) 은 EBGAN의 핵심 주장인 “더 안정적으로 학습된다”를 수치로 뒷받침하기 위한 실험입니다(Section 4.1). 완전연결 네트워크로 MNIST 숫자를 생성하는 단순한 과제에서 GAN과 EBGAN 양쪽의 아키텍처·하이퍼파라미터 격자를 빠짐없이 돌렸습니다.

🔬 1. 탐색 격자 (Table 1)

Table 1

설정	EBGAN	GAN
nLayerG	2, 3, 4, 5	2, 3, 4, 5
nLayerD	2, 3, 4, 5	2, 3, 4, 5
sizeG	400, 800, 1600, 3200	400, 800, 1600, 3200
sizeD	128, 256, 512, 1024	128, 256, 512, 1024
dropoutD	true, false	true, false
optimD / optimG	Adam	Adam, SGD
lr	0.001	0.01, 0.001, 0.0001
실험 수	512	6,144

EBGAN 쪽에는 몇 가지 제한을 두었습니다. (i) $G$, $D$ 모두 Adam, 학습률 0.001 고정, (ii) nLayerD 는 Enc와 Dec을 합친 층 수이며 Dec은 1층으로 고정하고 Enc 층 수만 조절, (iii) 마진 $m=10$ 고정, 튜닝하지 않음. GAN 쪽은 옵티마이저와 학습률까지 탐색해 12배 많은 실험을 돌렸습니다.

📊 2. 평가 지표: 수정 인셉션 점수 $I’$

생성 품질의 수치 척도로 Salimans et al. (2016)의 인셉션 점수를 쓰되, 그림을 보기 쉽게 하려고 식을 약간 바꾼

\[I'=\mathbb{E}_x\,KL\big(p(y)\,\|\,p(y\mid x)\big)\]

를 MNIST 분류기로 계산합니다(Appendix C). 원래 점수의 의미는 유지되며, $I’$ 가 높을수록 생성 품질이 좋다고 해석합니다.

📈 3. 히스토그램이 말하는 것 (Figure 2–3)

Figure 2 는 모든 모델의 $I’$ 히스토그램을 (a) 전체, (b) nLayer[GD] $\leq 4$, (c) nLayer[GD] $\leq 3$ 세 조건으로 보여 줍니다. x축은 $I’$, y축은 해당 구간에 떨어진 모델의 비율(%)입니다. Figure 3 은 GAN 격자를 optimD·optimG·lr 조합별 하위 격자로 나눠, 각각 512개씩 EBGAN과 같은 실험 수로 맞춘 뒤 비교합니다. 어느 조건에서든 GAN은 낮은 $I’$ 구간에 두터운 꼬리를 가지는 반면 EBGAN은 높은 점수 쪽에 몰려 있어, 저자들은 “히스토그램이 EBGAN이 더 신뢰성 있게 학습됨을 분명히 보여 준다” 고 결론짓습니다. 논문은 중앙값 같은 요약 통계를 따로 보고하지 않으므로 이 비교는 분포 모양에 근거합니다.

Figure 4 는 격자에서 최고 $I’$ 를 낸 GAN, EBGAN, EBGAN-PT 모델의 생성 결과입니다.

🎚️ 4. 마진 $m$ 의 영향 (Appendix E, Figure 9)

nLayerG=5, nLayerD=2, sizeG=1600, sizeD=1024, dropoutD=0, Adam, lr=0.001 설정을 고정하고 $m$ 을 1, 2, 4, 6, 8, 12, 16, 32 로 바꿔 생성한 결과입니다. 저자들의 경험 법칙은 다음과 같습니다.

마진	증상
너무 큼	학습 불안정, 생성기가 쫓아갈 수 없는 과도한 벌점
너무 작음	모드 드롭(mode dropping), 판별기가 생성 샘플을 충분히 밀어내지 못함

💡 Key Takeaway 6,656개의 실험이 보여 주는 결론은 “EBGAN은 하이퍼파라미터를 대충 골라도 잘 되는 비율이 높다”는 것입니다. 안정성은 평균 품질이 아니라 실패 확률의 분포로 측정되었습니다.

준지도 학습: EBGAN-LN과 마진 감쇠

EBGAN-LN 은 래더 네트워크(Ladder Network, LN; Rasmus et al., 2015)를 EBGAN의 판별기(에너지 함수)로 삼은 준지도 학습 모델입니다(Section 4.2). LN의 하위 계층 재구성 비용(bottom-layer cost)이 자연스럽게 에너지 역할을 하며, 생성기가 공급하는 대조 샘플이 분류기의 정규화기로 작용한다는 가설을 검증합니다.

📉 1. 핵심 기법: 마진을 0으로 붕괴시키기

EBGAN을 준지도 학습에 쓰기 위한 결정적 기법은 Eq. 1 의 마진 $m$ 을 점진적으로 줄이는 것입니다. 근거는 두 가지입니다.

$p_G$ 가 데이터 매니폴드에 가까워질수록 판별기가 생성기를 덜 벌해야 합니다. 극단적으로 대조 샘플이 데이터 매니폴드 위에 정확히 놓이면 “더 이상 대조적이지 않은” 상태가 되고, 이는 $m=0$ 에서 EBGAN-LN 이 보통의 LN으로 되돌아가는 경우에 해당합니다.
Theorem 2 가 보여 주듯 수렴 시 판별기는 평평한 에너지 표면이 되는데, 이는 판별기를 분류기로 재활용하려는 목적에는 바람직하지 않습니다. 하지만 학습 궤적 동안 LN이 대조 샘플을 보는 것은 더 많은 정보를 주므로, 가장 좋은 전략은 Nash 균형에 도달할 즈음 $m$ 이 0으로 붕괴해 있도록 만드는 것입니다.

설정 (Appendix D)	값
마진 스케줄	16 에서 시작해 처음 60,000 스텝 동안 0 까지 감쇠
학습률	판별기 0.0005, 생성기 0.00025
생성기 종료 후	판별기만 120,000 스텝 추가 학습, 이 시점부터 학습률 감쇠
기준 LN	미니배치 100, 총 120,000 스텝, Adam $\beta_1=0.5$, lr 0.0002, $\lambda_{L2}=1000/784$

🏆 2. PI-MNIST 결과 (Table 2)

Table 2

오류율(%), 15개 랜덤 시드 평균입니다.

모델	100 레이블	200 레이블	1000 레이블
LN bottom-layer-cost (Pezeshki et al., 2015)	1.69 ± 0.18	–	1.05 ± 0.02
LN bottom-layer-cost (Rasmus et al., 2015)	1.09 ± 0.32	–	0.90 ± 0.05
LN, 본 논문 재현	1.36 ± 0.21	1.24 ± 0.09	1.04 ± 0.06
EBGAN-LN	1.04 ± 0.12	0.99 ± 0.12	0.89 ± 0.04
상대 개선(재현 LN 대비)	23.5%	20.2%	14.4%

Rasmus et al. 과 Pezeshki et al. 이 보고한 수치가 서로 어긋나기 때문에, 저자들은 두 결과를 모두 적고 같은 설정으로 직접 재현한 LN 을 기준으로 개선율을 계산했습니다. 레이블이 적을수록 개선 폭이 커지는 것이 눈에 띕니다. 대조 샘플이 “데이터셋의 확장”으로서 분류기에 더 많은 정보를 공급한다는 해석과 일치합니다.

🧪 3. 해석: 적대적 대조 샘플 = 효과적인 정규화기

저자들의 가설은 EBGAN 프레임워크 안에서 생성기가 만든 적대적 대조 샘플을 에너지 함수에 반복적으로 공급하는 것 자체가 정규화기로 작용한다는 것입니다. 생성기는 현재 분류기가 가장 헷갈려 하는 매니폴드 근처의 점을 만들어 내고, 분류기는 그 점들에 높은 에너지를 주도록 배우면서 결정 경계를 데이터 밀도가 낮은 영역으로 밀어냅니다. Figure 10 은 EBGAN-LN 모델이 생성한 MNIST 샘플(28×28, 비증강 버전)을 보여 줍니다.

💡 Key Takeaway 판별기를 “분류기 + 에너지 함수”로 겸용하려면 수렴 시 평평해지는 성질(Theorem 2)을 역이용해야 합니다. 마진을 0으로 감쇠시켜 균형에 도달할 때 EBGAN-LN이 깨끗한 LN으로 귀착되게 한 것이 핵심입니다.

자연 이미지 생성: LSUN, CelebA, ImageNet

고해상도 단일 스케일 생성은 EBGAN의 확장성을 보이는 실험입니다(Section 4.3–4.4). 당시 고해상도 GAN 생성은 LAPGAN(Denton et al., 2015)처럼 다중 스케일 피라미드에 의존하는 것이 보통이었는데, EBGAN은 하나의 네트워크로 256×256 까지 올라갑니다.

🛏️ 1. LSUN 침실과 CelebA 64×64 (Section 4.3)

DCGAN(Radford et al., 2015)과 동일한 구성으로 두 모델을 학습해 나란히 비교했습니다.

데이터셋	해상도	마진 $m$	비교 대상
LSUN bedroom	64×64 RGB	80	DCGAN
CelebA (aligned)	64×64 RGB	20	DCGAN

Appendix F 에서는 LSUN 96×96 원본에서 64×64 패치를 잘라 증강한 버전으로도 학습해 DCGAN과 비교했습니다(Figure 11). 정량 지표(예: FID)는 논문 발표 시점에 보편화되지 않았기 때문에 비교는 시각적 품질에 의존합니다.

🐕 2. ImageNet 128×128 과 256×256 (Section 4.4)

실험	데이터	생성기 구조	잡음 평면	마진
128×128	ImageNet-1k 전체(약 130만 장, 1000 클래스)	(1024)4c-(512)4c2s-(256)4c2s-(128)4c2s-(64)4c2s-(64)4c2s-(3)3c	100-64-32-16-8-4	40
256×256	ImageNet 개 품종 부분집합(Vinyals et al., 2016 의 WordNet ID 사용)	(2048)4c-(1024)4c2s-(512)4c2s-(256)4c2s-(128)4c2s-(64)4c2s-(64)4c2s-(3)3c	100-64-32-16-8-4-2	80

“잡음 평면(noise planes)”은 생성기의 각 해상도 단계마다 잡음 채널을 추가로 주입하는 구조입니다. 두 실험 모두 EBGAN-PT 로 학습했습니다.

👀 3. 무엇을 배웠는가

ImageNet 은 앞선 데이터셋보다 훨씬 크고 다양해 생성 모델링이 매우 어렵습니다. 그럼에도 128×128 생성물은 전경에 객체가 놓이고 배경이 풀밭, 수평선 아래의 바다, 물에 비친 산, 건물 같은 구성 요소로 채워지는 장면 구조를 학습했습니다. 256×256 개 품종 생성물은 사실적이라 하기엔 멀지만 몸통, 털, 눈 같은 개의 외형 지식을 반영합니다. 저자들은 이를 “다중 스케일 접근 없이도 EBGAN 프레임워크가 고해상도 이미지를 합리적으로 생성할 수 있다”는 증거로 제시합니다.

💡 Key Takeaway 2016년 시점에서 단일 네트워크로 ImageNet 256×256 을 생성한 것은 에너지 기반 손실과 오토인코더 판별기가 주는 학습 안정성이 해상도 확장에 직접 도움이 됨을 시사합니다. 다만 평가가 정성적이라는 한계는 분명합니다.

한계와 열린 방향

EBGAN의 한계는 이론과 실험 양쪽에 있으며, 이후 GAN 연구가 어디로 갔는지와 맞물려 읽으면 그 위치가 분명해집니다.

⚠️ 1. 이론과 실험 사이의 간극

한계	내용
무한 용량 가정	Theorem 1–2 는 $D$, $G$ 의 용량이 무한한 비모수 설정에서만 성립하며, 유한 네트워크와 교대 경사 하강이 실제로 그 균형에 도달하는지는 말하지 않습니다.
평평한 에너지 표면	균형에서 $D^{\ast}=\gamma$ 상수가 되므로, 수렴 후 판별기는 아무 정보도 주지 않습니다. 준지도 학습에서 마진 감쇠라는 우회가 필요했던 이유입니다.
마진 $m$ 의 민감성	데이터셋·해상도마다 10, 20, 40, 80 처럼 다른 값을 손으로 골라야 했고, 너무 크면 불안정, 너무 작으면 모드 드롭이 생깁니다(Appendix E).
정량 평가 부재	LSUN·CelebA·ImageNet 비교는 모두 시각적이며, MNIST 에서도 수정 인셉션 점수의 분포 모양만 보고합니다.

🔭 2. 후속 연구와의 연결

BEGAN (Berthelot et al., 2017)은 EBGAN의 오토인코더 판별기를 이어받되, 재구성 오차 분포 사이의 Wasserstein 거리와 균형 항(equilibrium term)을 도입해 마진 대신 다양성–품질 비율을 제어하고 수렴 척도까지 제공했습니다.
WGAN / WGAN-GP (Arjovsky et al., 2017; Gulrajani et al., 2017)는 판별기를 확률이 아닌 실수 출력의 critic 으로 보는 점에서 EBGAN과 같은 방향에 있으며, 립시츠 제약으로 안정성을 확보하는 다른 길을 택했습니다.
힌지 손실 GAN (Lim & Ye, 2017; Tran et al., 2017)과 이를 채택한 SAGAN, BigGAN 은 EBGAN이 쓴 마진 기반 손실이 대규모 생성에서도 표준 선택지가 될 수 있음을 보여 주었습니다.
저자들이 Section 5 에서 제안한 조건부 설정(Denton et al., 2015; Mathieu et al., 2015)으로의 확장과, LeCun et al. (2006)의 다른 EBM 손실 함수군을 적대적 학습에 적용하는 방향은 이후 에너지 기반 생성 모델 연구(예: JEM, Grathwohl et al., 2020)로 이어졌습니다.

❓ 3. 열린 질문

오토인코더 판별기의 표현 공간이 생성 품질에 어떤 귀납 편향을 주는지, 특히 PT가 다양성 외에 품질에도 영향을 주는지는 정량적으로 검증되지 않았습니다.
마진을 데이터 스케일에 따라 자동으로 정하는 방법, 혹은 마진 없는 EBM 손실(예: 로그 손실, 제곱–제곱 손실)이 같은 안정성을 주는지는 열려 있습니다.
“판별기를 에너지 함수로 본다”는 관점은 GAN을 넘어 확산 모델이나 스코어 기반 모델과 어떻게 연결되는지, 즉 학습된 에너지 함수로부터의 샘플링이라는 더 큰 그림에서 EBGAN의 자리는 무엇인지가 남은 질문입니다.

💡 Key Takeaway EBGAN의 가장 오래 남은 유산은 특정 아키텍처가 아니라 “판별기는 확률이 아니라 에너지” 라는 관점입니다. BEGAN, WGAN, 힌지 손실 GAN은 모두 그 관점의 서로 다른 구현으로 읽을 수 있습니다.