You know maize mean?
StarGAN v2: Diverse Image Synthesis for Multiple Domains
0. Summary
기본 정보 : ArXiv,2019.12.04 (CVPR 2020), StarGAN v2: Diverse Image Synthesis for Multiple Domains
연구 배경
좋은 이미지-이미지 변환 모델은 생성 이미지의 다양성(diversity) 과 여러 도메인에 대한 확장성(scalability) 을 모두 갖추어야 한다. 그러나 2019년까지의 방법들은 둘 중 하나만 만족했다. MUNIT, DRIT, MSGAN처럼 저차원 잠재 코드를 주입해 다양한 출력을 내는 모델은 두 도메인만 다루므로 도메인 $K$ 개에는 $K(K-1)$ 개 생성기가 필요했고, StarGAN처럼 단일 생성기로 여러 도메인을 다루는 모델은 도메인마다 결정론적 출력 하나만 내어 같은 도메인 안의 다양한 스타일(예: 여러 종류의 금발)을 표현하지 못했다. 또한 도메인 간·도메인 내 변동이 모두 큰 상황에서 모델을 평가할 수 있는 데이터셋도 부족했다.
제안 방법
StarGAN v2는 StarGAN을 출발점으로 삼아 도메인 라벨을 도메인별 스타일 코드 $s$ 로 대체한다. 네 개의 모듈로 구성된다. 생성기 $G(x,s)$ 는 AdaIN으로 스타일 코드를 주입받아 입력 이미지를 변환하고, 매핑 네트워크 $F$ 는 잠재 벡터 $z$ 와 도메인 $y$ 로부터 스타일 코드 $s=F_y(z)$ 를 만들며, 스타일 인코더 $E$ 는 참조 이미지에서 스타일 코드 $s=E_y(x)$ 를 추출하고, 판별기 $D$ 는 도메인별 출력 분기를 가진 다중 과제 판별기로 “도메인 $y$ 의 진짜 이미지인가”를 판정한다. $F$, $E$, $D$ 는 모두 도메인 수만큼의 출력 분기를 가진다. 손실은 적대 손실(Eq. 1), 생성 이미지에서 스타일 코드를 다시 추출할 수 있어야 하는 스타일 재구성 손실(Eq. 2), 서로 다른 스타일 코드가 서로 다른 이미지를 내도록 하는 스타일 다양화 손실(Eq. 3), 원본 스타일로 되돌리는 순환 일관성 손실(Eq. 4)로 구성되며, 다양화 손실의 가중치는 학습 중 0으로 선형 감소시킨다.
발견 사실
CelebA-HQ ablation(Table 1)에서 StarGAN 기준선 FID 98.4는 다중 과제 판별기(91.4), R1 정규화와 AdaIN 튜닝(80.5), 잠재 코드 주입(32.3), 스타일 코드로 교체(17.1), 다양성 정규화(13.7)를 차례로 더하며 내려갔고 LPIPS는 0.312에서 0.452로 올랐다. 잠재 기반 합성(Table 2)에서 StarGAN v2는 CelebA-HQ FID 13.7 / LPIPS 0.452, AFHQ FID 16.2 / LPIPS 0.450으로 MUNIT(31.4, 41.5), DRIT(52.1, 95.6), MSGAN(33.1, 61.4)보다 FID가 크게 낮았고, 참조 기반 합성(Table 3)에서도 FID 23.8(CelebA-HQ), 19.8(AFHQ)로 가장 좋았다. AMT 사용자 평가(Table 4)에서는 품질과 스타일 반영 모두 CelebA-HQ 68.9% / 74.8%, AFHQ 88.1% / 92.1%의 표를 얻었다. MUNIT과 DRIT는 AFHQ에서 모드 붕괴를 겪었다. 새로 공개한 AFHQ(고양이·개·야생동물 3도메인, 512×512 15,000장)는 도메인 간·도메인 내 변동이 모두 커서 모델 간 차이를 뚜렷하게 드러냈다.
핵심 기여
- 스타일 코드 기반 다중 도메인·다양성 통합 프레임워크 : 도메인 라벨 대신 도메인별 스타일 코드를 쓰고, 이를 잠재 벡터(매핑 네트워크)와 참조 이미지(스타일 인코더) 두 경로로 얻어, 단일 생성기로 여러 도메인에 걸쳐 다양한 출력을 내는 첫 모델을 제시했다.
- 구성요소별 기여의 정량화 : StarGAN에서 v2까지 여섯 단계 ablation으로 다중 과제 판별기, 스타일 코드, 다양성 정규화 각각이 FID와 LPIPS에 얼마나 기여하는지 분리했다.
- AFHQ 데이터셋 공개 : 도메인 간 변동(종)과 도메인 내 변동(품종)이 모두 큰 동물 얼굴 데이터셋을 만들어, 기존 벤치마크(CelebA-HQ)보다 어려운 조건에서 모델을 평가할 수 있게 했다. 코드·사전 학습 모델과 함께 공개되었다.
관련 개념
다양성과 확장성: 두 계보의 통합
이미지-이미지 변환 연구는 2019년 시점에 두 갈래로 나뉘어 있었습니다. 하나는 다양한 출력을 내는 다중 모드(multimodal) 변환이고, 다른 하나는 여러 도메인을 한 모델로 다루는 다중 도메인 변환입니다. StarGAN v2는 이 둘을 합치는 것을 목표로 합니다(Section 1, 4).
📐 1. 두 계보의 비교
| 계보 | 대표 모델 | 다양성 | 도메인 수 | 생성기 수 ($K$ 도메인) |
|---|---|---|---|---|
| 다중 모드 변환 | MUNIT, DRIT, MSGAN | 잠재 코드 주입으로 있음 | 2 | $K(K-1)$ |
| 다중 도메인 변환 | StarGAN | 라벨당 하나, 없음 | $K$ | 1 |
| StarGAN v2 | – | 있음 | $K$ | 1 |
다중 모드 모델은 콘텐츠와 스타일을 분리하고 스타일 잠재를 샘플링해 다양성을 얻지만 도메인 쌍마다 학습해야 하고, StarGAN은 도메인 라벨이 결정론적이어서 “같은 도메인 안의 여러 스타일”을 표현할 수 없습니다.
🧩 2. 도메인과 스타일의 재정의
논문은 용어를 다음과 같이 씁니다.
- 도메인(domain): 시각적으로 구별되는 범주로 묶이는 이미지 집합. 예: 성별(남/여), 동물 종(고양이/개/야생동물).
- 스타일(style): 각 이미지가 가진 고유한 외형. 예: 헤어스타일, 화장, 수염, 나이, 품종.
핵심 관찰은 “도메인 안에 스타일이 있다” 는 것입니다. 금발이라는 도메인은 하나지만 그 안의 금발 스타일은 무수히 많습니다. StarGAN은 도메인만 제어했고, StarGAN v2는 도메인별 스타일 공간을 학습해 그 안에서 샘플링합니다.
🔑 3. 해법의 골격
StarGAN의 “라벨 $c$ 를 생성기에 입력”을 “스타일 코드 $s$ 를 생성기에 주입” 으로 바꾸고, $s$ 를 두 가지 방법으로 얻습니다.
| 경로 | 모듈 | 용도 |
|---|---|---|
| 잠재 → 스타일 | 매핑 네트워크 $F_y(z)$ | 무작위 샘플링으로 다양한 출력 (latent-guided) |
| 참조 이미지 → 스타일 | 스타일 인코더 $E_y(x)$ | 특정 이미지의 스타일을 그대로 반영 (reference-guided) |
두 경로 모두 도메인별 출력 분기를 가지므로 도메인 $y$ 에 특화된 스타일 공간이 학습됩니다. 이것이 “다중 도메인”과 “다양성”이 한 모델에서 만나는 지점입니다.
💡 Key Takeaway StarGAN v2의 핵심 전환은 라벨에서 스타일 코드로입니다. 도메인 라벨은 “어디로 갈지”만 말하지만, 스타일 코드는 “어디로, 어떤 모습으로 갈지”를 말합니다.
네 개의 모듈: 생성기, 매핑 네트워크, 스타일 인코더, 판별기
StarGAN v2의 구조(Section 2.1, Figure 2)는 네 개의 네트워크로 이루어집니다. 생성기만 도메인에 무관하고, 나머지 셋은 도메인 수만큼의 출력 분기를 가집니다.
🎨 1. 생성기 $G(x,s)$
| 항목 | 내용 |
|---|---|
| 입력 | 이미지 $x$, 스타일 코드 $s$ (도메인 라벨은 받지 않음) |
| 스타일 주입 | AdaIN 층. $s$ 가 각 층의 채널별 스케일·시프트로 변환됨 |
| 구조 | 다운샘플 잔차 블록 → 중간 잔차 블록 → AdaIN 잔차 블록으로 업샘플 |
| 초기화 | He 초기화, 바이어스 0, 단 AdaIN의 스케일 바이어스는 1 |
StarGAN이 라벨을 공간 복제해 입력에 붙인 것과 달리, AdaIN 주입은 모든 디코더 층에 스타일 정보를 전달합니다. 스타일 코드 $s$ 는 특정 도메인의 스타일을 표현하도록 설계되었으므로 생성기에 $y$ 를 따로 줄 필요가 없고, 그 덕분에 생성기는 모든 도메인에서 완전히 공유됩니다.
🗺️ 2. 매핑 네트워크 $F$
\[s=F_y(z),\qquad z\sim\mathcal{N}(0,I)\]| 항목 | 값 (부록 B) |
|---|---|
| 구조 | MLP. 공유 FC 4층 + 도메인별 FC 4층 |
| 차원 | 잠재 16, 은닉 512, 스타일 64 |
| 학습 | 학습 중 도메인 $y$ 를 무작위로 골라 해당 분기만 사용 |
잠재 벡터를 여러 도메인의 스타일 코드로 동시에 매핑할 수 있는 다중 헤드 구조입니다. StyleGAN의 매핑 네트워크와 비슷하지만 도메인별 분기가 있다는 점이 다릅니다. $F$ 의 학습률은 다른 모듈의 1/100인 $10^{-6}$ 입니다.
🔍 3. 스타일 인코더 $E$
\[s=E_y(x)\]참조 이미지 $x$ 에서 도메인 $y$ 의 스타일 코드를 추출하는 CNN으로, 역시 도메인별 출력 분기를 가집니다. 공유 합성곱 층 뒤에 도메인 수만큼의 FC 헤드가 붙어 있고 스타일 차원은 64입니다. 이 모듈 덕분에 “이 사진의 헤어스타일을 저 사람에게”처럼 참조 기반 합성이 가능합니다.
🕵️ 4. 판별기 $D$
StarGAN의 판별기가 진위 출력 하나와 분류 출력 하나를 가졌다면, StarGAN v2는 도메인마다 하나의 진위 출력 분기를 가진 다중 과제 판별기입니다. $D_y(x)$ 는 “$x$ 가 도메인 $y$ 의 진짜 이미지인가”를 판정합니다. 분류 손실이 사라지고, 대신 각 분기가 자기 도메인 안에서만 진짜/가짜를 가립니다. Table 1에서 이 변경 하나로 StarGAN의 FID가 98.4에서 91.4로 내려갑니다.
💡 Key Takeaway 네 모듈 중 생성기만 도메인을 모릅니다. 도메인 정보는 $F$, $E$, $D$ 의 분기 선택에만 들어가고, 생성기는 스타일 코드 하나로 모든 것을 처리합니다. 이 분리가 생성기 공유와 다양성을 동시에 가능하게 합니다.
학습 목적 함수
StarGAN v2의 손실(Section 2.2)은 네 항입니다. 원본 이미지 $x$ 의 도메인을 $y$, 목표 도메인을 $\tilde y$, 목표 스타일 코드를 $\tilde s=F_{\tilde y}(z)$ (또는 $E_{\tilde y}(x_{ref})$)라 합니다.
⚔️ 1. 적대 손실 (Eq. 1)
\[\mathcal{L}_{adv}=\mathbb{E}_{x,y}\big[\log D_y(x)\big]+\mathbb{E}_{x,\tilde y,z}\big[\log\big(1-D_{\tilde y}(G(x,\tilde s))\big)\big]\]판별기의 목표 도메인 분기 $D_{\tilde y}$ 가 생성 이미지를 판정합니다. 생성기는 “도메인 $\tilde y$ 의 진짜 이미지”처럼 보이는 출력을 내야 합니다. 실제 구현은 비포화(non-saturating) 손실과 R1 정규화($\gamma=1$)를 씁니다.
🔁 2. 스타일 재구성 손실 (Eq. 2)
\[\mathcal{L}_{sty}=\mathbb{E}_{x,\tilde y,z}\big[\|\tilde s-E_{\tilde y}(G(x,\tilde s))\|_1\big]\]생성 이미지에서 스타일 인코더로 스타일 코드를 다시 뽑으면 원래 $\tilde s$ 가 나와야 합니다. 두 가지 효과가 있습니다. 생성기가 스타일 코드를 실제로 사용하도록 강제하고, 동시에 스타일 인코더 $E$ 를 학습시켜 테스트 시 참조 이미지의 스타일을 추출할 수 있게 합니다. MUNIT·DRIT가 인코더를 따로 두던 것을 단일 인코더의 다중 분기로 통합한 것입니다.
🌈 3. 스타일 다양화 손실 (Eq. 3)
\[\mathcal{L}_{ds}=\mathbb{E}_{x,\tilde y,z_1,z_2}\big[\|G(x,\tilde s_1)-G(x,\tilde s_2)\|_1\big],\qquad \tilde s_i=F_{\tilde y}(z_i)\]서로 다른 잠재 $z_1,z_2$ 에서 나온 두 스타일 코드가 서로 다른 이미지를 내도록 생성기가 이 손실을 최대화합니다. MSGAN의 모드 탐색(mode seeking) 정규화에서 가져왔지만, 원래 식의 분모 $|z_1-z_2|1$ 를 제거했습니다. 분모가 작을 때 손실이 발산해 학습이 불안정해지기 때문입니다. 또한 최적점이 없는 손실이므로 가중치 $\lambda{ds}$ 를 학습 중 0으로 선형 감소시킵니다.
🔄 4. 순환 일관성 손실 (Eq. 4)
\[\mathcal{L}_{cyc}=\mathbb{E}_{x,y,\tilde y,z}\big[\|x-G(G(x,\tilde s),\hat s)\|_1\big],\qquad \hat s=E_y(x)\]변환된 이미지를 원본의 추정 스타일 $\hat s$ 로 되돌리면 원본이 복원되어야 합니다. StarGAN이 원본 라벨 $c’$ 로 되돌린 것과 달리, 여기서는 스타일 인코더가 추출한 원본 스타일로 되돌립니다. 이로써 생성기는 자세·정체성 같은 도메인 불변 특성을 보존하면서 스타일만 바꾸는 법을 배웁니다.
🧮 5. 전체 목적 (Eq. 5)과 가중치
\[\min_{G,F,E}\;\max_{D}\;\mathcal{L}_{adv}+\lambda_{sty}\mathcal{L}_{sty}-\lambda_{ds}\mathcal{L}_{ds}+\lambda_{cyc}\mathcal{L}_{cyc}\]| 가중치 | CelebA-HQ | AFHQ |
|---|---|---|
| $\lambda_{sty}$ | 1 | 1 |
| $\lambda_{ds}$ | 1 → 0 (선형 감소) | 2 → 0 (선형 감소) |
| $\lambda_{cyc}$ | 1 | 1 |
학습 시 $\tilde s$ 는 매핑 네트워크 경로와 스타일 인코더 경로(참조 이미지) 양쪽으로 만들어 위 손실들을 모두 적용합니다.
💡 Key Takeaway 네 손실은 각각 “목표 도메인의 진짜처럼”(adv), “스타일을 쓰고 되찾을 수 있게”(sty), “스타일이 다르면 결과도 다르게”(ds), “스타일만 바꾸고 나머지는 보존”(cyc) 를 요구합니다. 다양화 손실의 분모 제거와 가중치 감소는 안정적 학습을 위한 실용적 선택입니다.
두 가지 추론 모드: 잠재 기반과 참조 기반 합성
학습이 끝난 StarGAN v2는 스타일 코드를 어디서 얻느냐에 따라 두 가지 방식으로 쓸 수 있습니다. 같은 생성기를 쓰지만 응용과 평가 프로토콜이 다르므로 논문도 두 경우를 분리해 보고합니다(Section 3.2–3.3).
🎲 1. 잠재 기반 합성 (latent-guided)
| 단계 | 연산 |
|---|---|
| 1 | 목표 도메인 $\tilde y$ 선택, 잠재 $z\sim\mathcal{N}(0,I)$ 샘플링 ($\dim z=16$) |
| 2 | $\tilde s=F_{\tilde y}(z)$ ($\dim s=64$) |
| 3 | 출력 $G(x,\tilde s)$ |
$z$ 를 바꿀 때마다 같은 도메인 안에서 다른 스타일의 결과가 나옵니다. 평가 시 입력 하나당 $z$ 를 10개 뽑아 LPIPS로 다양성을 잽니다. 사용자가 원하는 결과가 나올 때까지 샘플링하는 탐색적 용도에 맞습니다.
🖼️ 2. 참조 기반 합성 (reference-guided)
| 단계 | 연산 |
|---|---|
| 1 | 목표 도메인 $\tilde y$ 의 참조 이미지 $x_{ref}$ 선택 |
| 2 | $\tilde s=E_{\tilde y}(x_{ref})$ |
| 3 | 출력 $G(x,\tilde s)$ |
참조 이미지의 구체적 외형(헤어스타일, 화장, 품종의 털 무늬)이 입력에 옮겨집니다. 평가 시 참조 이미지 10장으로 LPIPS를 계산합니다. “이 사진처럼 바꿔 줘”라는 편집 용도에 맞습니다.
⚖️ 3. 두 모드의 비교
| 잠재 기반 | 참조 기반 | |
|---|---|---|
| 스타일 출처 | 매핑 네트워크 $F$ | 스타일 인코더 $E$ |
| 제어 방식 | 무작위 샘플링 | 참조 이미지 지정 |
| CelebA-HQ FID / LPIPS | 13.7 / 0.452 | 23.8 / 0.388 |
| AFHQ FID / LPIPS | 16.2 / 0.450 | 19.8 / 0.432 |
| 어려운 점 | – | 참조의 스타일을 정확히 옮기면서 입력의 자세·정체성 유지 |
같은 생성기인데 참조 기반 FID가 더 높은 것은 두 가지로 해석됩니다. 첫째, 실제 참조 이미지에서 추출한 스타일 코드는 매핑 네트워크가 만드는 “학습된 분포 안의” 코드보다 분포 바깥에 있을 수 있습니다. 둘째, 참조 10장은 잠재 10개보다 스타일 공간을 덜 고르게 덮습니다. 그럼에도 두 모드 모두에서 기준 모델과의 격차는 큽니다. 두 모드가 하나의 생성기와 하나의 스타일 공간을 공유한다는 점이 StarGAN v2 설계의 핵심이며, 스타일 재구성 손실(Eq. 2)이 그 공유를 보장합니다.
💡 Key Takeaway 잠재 기반은 탐색, 참조 기반은 지정입니다. 두 경로가 같은 64차원 스타일 공간으로 들어가기 때문에 하나의 생성기로 둘 다 처리되며, 그 연결 고리가 스타일 인코더와 스타일 재구성 손실입니다.
학습 설정, 데이터셋, 평가 지표
StarGAN v2의 실험 설정(Section 3, 부록 B–C)은 이후 다중 도메인 변환 연구의 표준 프로토콜이 되었습니다. 특히 FID와 LPIPS를 함께 쓰는 평가와 AFHQ 데이터셋이 그렇습니다.
⚙️ 1. 학습 설정 (부록 B)
| 항목 | 값 |
|---|---|
| 해상도 | 모든 학습 이미지 256×256으로 리사이즈 |
| 반복 | 100K iteration, 배치 8 |
| 최적화 | Adam, $\beta_1=0$, $\beta_2=0.99$ |
| 학습률 | $G,D,E$: $10^{-4}$, $F$: $10^{-6}$ |
| 정규화 | 비포화 적대 손실 + R1 ($\gamma=1$) |
| 평가 | $D$ 를 제외한 모든 모듈의 파라미터 지수 이동 평균(EMA) 사용 |
| 하드웨어 | Tesla V100 1장, 약 3일, PyTorch |
🗂️ 2. 데이터셋
| 데이터셋 | 도메인 | 규모 | 특징 |
|---|---|---|---|
| CelebA-HQ | 남성 / 여성 (2) | 고해상도 얼굴 | 도메인 내 변동(헤어스타일, 화장, 수염, 나이)을 스타일로 학습해야 함 |
| AFHQ (신규) | 고양이 / 개 / 야생동물 (3) | 15,000장, 512×512, 도메인당 5,000장, 도메인당 테스트 500장 | 도메인당 8종 이상의 품종 포함 → 도메인 간·도메인 내 변동이 모두 큼 |
AFHQ(Animal Faces-HQ)는 이 논문이 새로 구축해 공개한 데이터셋입니다. 야생동물 도메인에는 여우·늑대·사자·호랑이 등이 섞여 있어, 같은 도메인 안에서도 외형 차이가 매우 큽니다. 기존 벤치마크가 도메인 내 변동이 작아 다양성 평가에 부적합했다는 문제의식에서 나왔습니다.
📏 3. 평가 지표 (부록 C)
| 지표 | 측정 대상 | 계산 |
|---|---|---|
| FID ↓ | 시각 품질 + 분포 일치 | Inception-V3 풀링 특징으로 생성 분포와 실제 분포의 Fréchet 거리. 모든 도메인 쌍에 대해 계산 후 평균 |
| LPIPS ↑ | 출력 다양성 | 입력 하나당 출력 10장을 만들어 45쌍의 평균 LPIPS 거리 |
FID만으로는 모드 붕괴(같은 이미지만 반복 생성)를 잡아내지 못하므로 LPIPS를 함께 보고합니다. 두 지표가 함께 좋아야 “다양하면서 사실적”이라는 주장을 할 수 있습니다. 비교 대상 MUNIT, DRIT, MSGAN은 모두 2-도메인 모델이므로 도메인 쌍마다 따로 학습했습니다.
💡 Key Takeaway AFHQ와 FID+LPIPS 프로토콜은 “다양성”을 측정 가능한 주장으로 만들기 위한 장치입니다. 특히 AFHQ는 도메인 내 변동이 커서, 스타일 공간을 제대로 학습하지 못한 모델의 모드 붕괴를 드러냅니다.
실험 결과: Ablation과 기준 모델 비교
Section 3.1–3.3은 StarGAN에서 v2로 가는 ablation, 잠재 기반·참조 기반 합성의 정량 비교, 사용자 평가로 구성됩니다.
🔬 1. StarGAN → StarGAN v2 Ablation (Table 1, Figure 3, CelebA-HQ)
| 구성 | 추가 요소 | FID ↓ | LPIPS ↑ |
|---|---|---|---|
| (a) | StarGAN 기준선 | 98.4 | – |
| (b) | + 다중 과제 판별기 | 91.4 | – |
| (c) | + 튜닝 (R1 정규화, AdaIN) | 80.5 | – |
| (d) | + 잠재 코드 $z$ 직접 주입 | 32.3 | 0.312 |
| (e) | (d)의 $z$ 를 스타일 코드 $s$ 로 교체 | 17.1 | 0.405 |
| (f) | + 다양성 정규화 (StarGAN v2) | 13.7 | 0.452 |
읽어낼 점이 셋 있습니다.
- (a)→(c): 판별기 구조와 정규화만 바꿔도 FID가 98.4에서 80.5로 내려가지만, 여전히 출력이 하나뿐이라 LPIPS를 잴 수 없습니다.
- (c)→(d): 잠재 코드를 넣는 순간 다양성이 생기고 FID도 32.3으로 급락합니다. 그러나 Figure 3(d)에서 보듯 잠재를 직접 주입하면 변화가 전역 색조 수준에 그칩니다.
- (d)→(e): 잠재를 매핑 네트워크를 거친 스타일 코드로 바꾸면 FID 17.1, LPIPS 0.405로 둘 다 크게 좋아집니다. 도메인별 매핑이 스타일 공간을 더 잘 조직한다는 뜻입니다. 다양성 정규화가 마지막으로 LPIPS를 0.452까지 올립니다.
🏆 2. 잠재 기반 합성 (Table 2, Figure 5)
| 방법 | CelebA-HQ FID | CelebA-HQ LPIPS | AFHQ FID | AFHQ LPIPS |
|---|---|---|---|---|
| MUNIT | 31.4 | 0.363 | 41.5 | 0.511 |
| DRIT | 52.1 | 0.178 | 95.6 | 0.326 |
| MSGAN | 33.1 | 0.389 | 61.4 | 0.517 |
| StarGAN v2 | 13.7 | 0.452 | 16.2 | 0.450 |
| 실제 이미지 | 14.8 | – | 12.9 | – |
CelebA-HQ에서 StarGAN v2의 FID 13.7은 실제 이미지 간 FID 14.8보다 낮습니다. AFHQ에서 MUNIT·MSGAN의 LPIPS가 StarGAN v2보다 높은 것은 다양성이 아니라 허위 아티팩트 때문이라고 논문은 지적합니다. FID가 41.5, 61.4로 나쁜 것이 그 증거입니다.
🖼️ 3. 참조 기반 합성 (Table 3, Figure 4, 6)
| 방법 | CelebA-HQ FID | CelebA-HQ LPIPS | AFHQ FID | AFHQ LPIPS |
|---|---|---|---|---|
| MUNIT | 107.1 | 0.176 | 223.9 | 0.199 |
| DRIT | 53.3 | 0.311 | 114.8 | 0.156 |
| MSGAN | 39.6 | 0.312 | 69.8 | 0.375 |
| StarGAN v2 | 23.8 | 0.388 | 19.8 | 0.432 |
참조 기반 합성은 잠재 기반보다 어렵습니다. 참조 이미지의 스타일을 정확히 반영하면서 입력의 자세·정체성을 유지해야 하기 때문입니다. MUNIT과 DRIT는 AFHQ에서 모드 붕괴를 일으켜 FID가 100을 넘었습니다. Figure 4는 CelebA-HQ에서 참조 이미지의 헤어스타일·화장·수염·나이가 옮겨지면서 입력의 자세와 정체성은 유지되는 예를, Figure 7은 CelebA-HQ로 학습한 모델이 FFHQ 이미지에도 일반화되는 예를 보여줍니다.
👥 4. 사용자 평가 (Table 4)
AMT에서 비교당 100문항, 문항당 10명(유효 76명)이 “가장 품질이 좋은 이미지”와 “참조의 스타일을 가장 잘 반영한 이미지”를 골랐습니다.
| 방법 | CelebA-HQ 품질 | CelebA-HQ 스타일 | AFHQ 품질 | AFHQ 스타일 |
|---|---|---|---|---|
| MUNIT | 6.2 | 7.4 | 1.6 | 0.2 |
| DRIT | 11.4 | 7.6 | 4.1 | 2.8 |
| MSGAN | 13.5 | 10.1 | 6.2 | 4.9 |
| StarGAN v2 | 68.9 | 74.8 | 88.1 | 92.1 |
AFHQ에서 격차가 더 큰 것은 도메인 내 변동이 클수록 스타일 공간을 제대로 학습한 모델과 그렇지 못한 모델의 차이가 벌어지기 때문입니다.
💡 Key Takeaway Ablation은 “무엇이 효과를 냈는가”를, 비교 실험은 “얼마나”를 보여줍니다. 가장 큰 도약은 잠재 직접 주입(32.3)에서 스타일 코드(17.1)로 가는 단계이며, 이것이 매핑 네트워크의 존재 이유입니다.
한계와 열린 방향
StarGAN v2는 다중 도메인 변환에서 다양성 문제를 사실상 해결했지만, 몇 가지 구조적 한계가 남아 있고 이후 연구가 그 지점에서 갈라집니다. 논문에는 별도의 한계 절이 없으므로 아래는 결과 해석과 후속 연구에서 드러난 것들입니다.
⚠️ 1. 한계
- 도메인은 여전히 이산 라벨: 스타일은 연속 공간이 되었지만 도메인은 사람이 정의한 범주(남/여, 고양이/개/야생동물)이며, $F$, $E$, $D$ 의 분기 수가 도메인 수에 묶여 있습니다. 도메인 수가 수십 개로 늘면 분기도 그만큼 늘어나고, 라벨 없는 데이터에는 적용할 수 없습니다.
- 도메인 불변 특성의 암묵적 정의: 순환 일관성 손실이 “무엇을 보존할지”를 간접적으로만 규정하므로, 예컨대 CelebA-HQ에서 헤어스타일이 스타일로 취급되어 참조에 따라 바뀌는 것이 원하는 동작인지는 응용에 따라 다릅니다. 콘텐츠와 스타일의 경계를 사용자가 제어할 수 없습니다.
- 해상도와 비용: 학습은 256×256에서 이루어지며 V100 1장으로 3일이 걸립니다. AFHQ 원본은 512×512이지만 그 해상도의 결과는 보고되지 않았습니다.
- 참조 기반 합성의 품질 격차: 같은 모델인데 참조 기반 FID(23.8)가 잠재 기반(13.7)보다 뚜렷이 높습니다. 스타일 인코더가 참조의 스타일을 완전히 포착하지 못하거나, 입력과 참조의 자세·조명 불일치가 영향을 준다는 신호입니다.
- 평가의 한계: FID와 LPIPS 모두 Inception/VGG 특징에 의존하며, 정체성 보존을 직접 재는 지표는 없습니다. 사용자 평가도 76명 규모입니다.
🔭 2. 후속 연구와의 연결
| 한계 | 후속 흐름 |
|---|---|
| 이산 도메인 라벨 필요 | TUNIT (Baek et al., 2021): 도메인 라벨 없이 군집으로 의사 도메인을 만드는 비지도 다중 도메인 변환 |
| 콘텐츠/스타일 경계 제어 불가 | 세그멘테이션·마스크 조건 편집, StyleMapGAN (2021)처럼 공간적 스타일 코드 도입 |
| GAN 기반 구조의 한계 | 확산 모델 기반 이미지 편집(SDEdit, Palette, InstructPix2Pix)으로 패러다임 전환 |
| AdaIN 아티팩트 | StyleGAN2의 가중치 변조(weight demodulation)로 대체하는 흐름 |
AFHQ는 이후 StyleGAN2-ADA, StyleGAN3, 확산 모델 등 수많은 생성 모델 논문에서 표준 벤치마크로 쓰이게 되었고, 이 논문의 기여 중 가장 오래 남은 것이 되었습니다.
🧭 3. StarGAN에서 v2까지의 계보
| StarGAN (2018) | StarGAN v2 (2020) | |
|---|---|---|
| 조건 | 도메인 라벨 $c$ | 도메인별 스타일 코드 $s$ |
| 주입 방식 | 라벨 공간 복제 후 입력 연결 | AdaIN |
| 다양성 | 없음 (결정론적) | 있음 (잠재·참조 두 경로) |
| 판별기 | 진위 + 분류 헤드 | 도메인별 진위 분기 |
| 평가 | AMT, 분류 오류율 | FID + LPIPS + AMT |
| 데이터 | CelebA, RaFD | CelebA-HQ, AFHQ (신규) |
💡 Key Takeaway StarGAN v2는 “도메인 라벨 → 스타일 코드” 라는 한 번의 전환으로 다중 도메인과 다양성을 통합했습니다. 남은 한계는 도메인 자체가 여전히 이산 라벨이라는 점이며, 이 지점에서 비지도 다중 도메인 변환과 확산 모델 기반 편집으로 길이 갈라집니다.