0. Summary

기본 정보 : ArXiv,2022.11.22 (CVPR 2023), Person Image Synthesis via Denoising Diffusion Model

연구 배경

자세 유도 사람 이미지 생성(pose-guided person image generation)은 원본 사람의 외형을 유지한 채 임의의 대상 자세로 사진 같은 이미지를 만드는 과제로, 가상 피팅·데이터 증강·재식별의 기반이다. 기존 방법은 크게 둘이다. GAN 기반 방법은 한 번의 순전파로 복잡한 자세 변환을 수행하려다 텍스처를 사실적으로 보존하지 못하고 학습이 불안정하며 모드 붕괴에 취약하다. 밀집 대응(dense correspondence) 기반 방법은 원본과 대상 사이 흐름이나 주의 맵으로 픽셀을 옮기지만, 큰 변형과 심한 폐색에서 대응 자체가 정의되지 않아 실패한다. 한편 확산 모델은 이미지 생성에서 높은 충실도·다양성·분포 포괄성을 보였지만, 외형과 자세라는 두 조건을 정밀하게 따라야 하는 사람 생성에는 적용되지 않았다.

제안 방법

PIDM(Person Image Diffusion Model)은 자세 전이를 여러 단계의 순방향-역방향 잡음 제거로 분해해 각 단계를 단순하게 만든다. 잡음 예측 U-Net $\epsilon_\theta$ 는 잡음 이미지 $y_t$ 와 대상 자세 $x_p$ 를 채널 결합해 받는 잡음 예측 모듈 $H_N$ 과, 원본 이미지 $x_s$ 에서 다중 스케일 텍스처 특징 $F_s=[f_1,\dots,f_m]$ 을 뽑는 텍스처 인코더 $H_E$ 로 이루어진다. 두 흐름은 $32\times32$, $16\times16$, $8\times8$ 해상도에 삽입된 텍스처 확산 블록(Texture Diffusion Block, TDB) 에서 만나며, 잡음 분기 특징을 질의로, 텍스처 특징을 키·값으로 하는 교차 주의로 외형-자세 대응을 학습한다. 학습은 $L_{mse}=|\epsilon-\epsilon_\theta(y_t,t,x_p,x_s)|^2$ 에 분산 학습 항을 더한 hybrid 목적이다. 샘플링에서는 분리 분류기 없는 가이던스(disentangled classifier-free guidance) 를 제안해, 자세 조건과 외형 조건의 기여를 각각 $w_p$, $w_s$ 로 따로 증폭한다.

발견 사실

DeepFashion $256\times176$ 에서 PIDM은 FID 6.3671, SSIM 0.7312, LPIPS 0.1678로 당시 최고였던 NTED(8.6838 / 0.7182 / 0.1752)를 모든 지표에서 앞섰고, $512\times352$ 에서도 FID 5.8365로 NTED(7.7821)를 넘었다. 저해상도 Market-1501($128\times64$)에서는 FID 14.451로 DPTN(18.995)보다 크게 좋았다. 100명 사용자 평가에서 생성 이미지가 실제로 판정된 비율(G2R)이 48%로 2위보다 약 18%p 높았고, 다른 방법 대비 선호(Jab)는 56%였다. Ablation에서 조건을 채널 결합만 하는 기준선(FID 10.813)에 텍스처 인코더를 더하면 9.8510, TDB를 더하면 7.5133, 일반 CF 가이던스를 더하면 6.8176, 분리 가이던스를 쓰면 6.3671로 단계적으로 개선되었다. 생성 이미지로 Market-1501 재식별 학습 데이터를 증강하면 20% 데이터에서 mAP 33.4 → 61.3, 전체 데이터 + 3만 장 생성에서 76.7 → 78.4로 향상되었다. 외형 편집(원본 옷의 특정 부위만 다른 사람에게서 가져오기)과 스타일 보간도 가능했다.

핵심 기여

  1. 확산 모델의 자세 유도 사람 생성 적용 : 복잡한 전이를 잡음 제거 단계로 분해해 GAN의 텍스처 손실과 대응 기반 방법의 폐색 실패를 동시에 피했다(Sec. 3.1).
  2. 텍스처 확산 블록(TDB) : 교차 주의로 원본 외형 특징과 잡음 분기 특징의 대응을 여러 해상도에서 학습해, 명시적 흐름 없이 텍스처를 자세에 맞게 옮긴다(Sec. 3.2).
  3. 분리 분류기 없는 가이던스 : 자세와 외형의 조건부 점수를 따로 추정해 각각 가중하는 샘플링으로, 두 조건 모두에 대한 충실도를 높였다. 외형 편집과 재식별 증강 등 응용도 보였다(Sec. 3.3, 4.4–4.5).

관련 개념

자세 유도 사람 생성과 기존 접근의 한계

자세 유도 사람 생성은 원본 이미지 $x_s$ 와 대상 자세 $x_p$ (키포인트 골격)가 주어졌을 때 $p(y\mid x_s, x_p)$ 에서 표본을 뽑는 조건부 생성 문제입니다. 가상 피팅과의 관계는 두 가지입니다. 피팅 결과를 다른 자세로 보여 주는 데 직접 쓰이고, “외형을 유지하며 형태를 바꾼다”는 문제 구조가 같습니다.

🆚 1. 세 가지 패러다임

패러다임 대표 메커니즘 약점
GAN 직접 생성 PATN, ADGAN, PISE 조건부 생성기가 한 번에 출력 텍스처 뭉개짐, 불안정한 학습, 모드 붕괴
밀집 대응 GFLA, DPTN, CASD, NTED 흐름·주의로 원본 픽셀/특징을 대상 위치로 이동 큰 변형·심한 폐색에서 대응 미정의, 보이지 않던 영역 생성 불가
확산 PIDM 다단계 잡음 제거, 매 단계 교차 주의로 외형 참조 샘플링 비용

🔁 2. 왜 “분해”가 도움이 되는가

GAN은 $x_s \to y$ 의 복잡한 사상을 한 번에 배워야 합니다. 확산 모델은 이를 $T$ 개의 작은 사상 $y_t\to y_{t-1}$ 로 나누고, 각 단계는 “조금 덜 잡음 낀 이미지”를 예측하는 쉬운 과제입니다. 매 단계마다 원본 $x_s$ 를 다시 참조할 수 있으므로, 초기 단계에서는 거친 자세·실루엣을, 후기 단계에서는 텍스처 세부를 옮기는 암묵적 coarse-to-fine이 생깁니다. 대응 기반 방법과 달리 보이지 않던 영역(뒤돌아선 사람의 앞면)도 학습된 사전 분포로 채울 수 있습니다.

📐 3. 확산 과정의 정의

\[q(y_t\mid y_{t-1}) = \mathcal{N}\big(y_t;\sqrt{1-\beta_t}\,y_{t-1},\ \beta_t I\big),\qquad y_t = \sqrt{\bar{\alpha}_t}\,y_0 + \sqrt{1-\bar{\alpha}_t}\,\epsilon,\ \ \epsilon\sim\mathcal{N}(0,I)\]

$T=1000$, 선형 잡음 스케줄입니다. 역과정은 $\epsilon_\theta(y_t,t,x_p,x_s)$ 가 잡음을 예측해 $y_{t-1}$ 을 복원합니다.

📊 4. 세 지표가 각각 재는 것

지표 계산 민감한 것 한계
FID ↓ Inception 특징의 가우시안 근사 사이 Fréchet 거리 생성 분포 전체의 사실성·다양성 개별 쌍의 정확도는 모름
SSIM ↑ 정답과의 구조 유사도(휘도·대비·구조) 자세·실루엣의 일치 흐린 이미지가 높게 나올 수 있음
LPIPS ↓ 사전학습 네트워크 특징 공간의 거리 지각적 세부·텍스처 일치 특징 추출기 선택에 의존

자세 전이는 쌍 데이터(같은 사람의 두 자세)가 있으므로 가상 피팅과 달리 참조 기반 지표(SSIM, LPIPS)를 쓸 수 있습니다. PIDM이 세 지표를 동시에 올렸다는 것은 분포 수준의 사실성과 쌍 수준의 정확도가 함께 개선되었다는 뜻이며, 확산 모델이 다양성을 위해 정확도를 희생한다는 우려를 반박하는 근거입니다.

💡 Key Takeaway PIDM의 출발점은 “어려운 사상 하나를 쉬운 사상 천 개로 나누자”입니다. 각 단계가 원본을 다시 볼 수 있다는 점이 텍스처 보존과 폐색 처리를 동시에 가능하게 합니다.

텍스처 조건부 확산 모델의 구조

잡음 예측 네트워크 $\epsilon_\theta$ 는 두 부분으로 나뉩니다. 자세는 입력 채널에 결합하고, 외형은 별도 인코더로 뽑아 주의로 주입하는 비대칭 조건화가 핵심입니다.

🏗️ 1. 두 모듈 (Sec. 3.1, Fig. 2)

모듈 입력 출력 조건화 방식
잡음 예측 모듈 $H_N$ $[y_t, x_p]$ 채널 결합 $\epsilon$ 예측 (U-Net) 자세는 공간적으로 정렬된 입력이므로 결합으로 충분
텍스처 인코더 $H_E$ 원본 $x_s$ 다중 스케일 특징 $F_s=[f_1,\dots,f_m]$ 외형은 대상과 공간적으로 정렬되지 않으므로 주의로 주입

자세와 외형을 다르게 다루는 이유가 중요합니다. 대상 자세 골격은 출력 이미지와 같은 좌표계에 있으므로 픽셀 정렬된 입력으로 넣으면 됩니다. 반면 원본 이미지는 다른 자세이므로 같은 위치의 픽셀이 다른 신체 부위를 가리킵니다. 이를 채널 결합하면 네트워크가 스스로 대응을 찾아야 하고, ablation의 기준선 B1(채널 결합, FID 10.813)이 바로 이 경우입니다.

🧮 2. 학습 목적

\(L_{mse} = \mathbb{E}_{t,y_0,\epsilon}\big\|\epsilon - \epsilon_\theta(y_t,t,x_p,x_s)\big\|^2\) \(L_{hybrid} = L_{mse} + L_{vlb}\)

$L_{vlb}$ 는 Nichol & Dhariwal의 개선된 DDPM을 따라 분산 $\Sigma_\theta$ 를 학습하는 항입니다. 분산을 학습하면 적은 샘플링 스텝에서도 품질이 유지됩니다.

⚙️ 3. 학습 세부 (Sec. 4)

항목 값
해상도 DeepFashion $256\times176$, $512\times352$; Market-1501 $128\times64$
확산 스텝 $T=1000$, 선형 스케줄
최적화 Adam, 학습률 $2\times10^{-5}$
배치 8
EMA 가중치 지수 이동 평균, 감쇠 0.9999
반복 수·GPU 수 명시되지 않음

💡 Key Takeaway “정렬된 조건은 결합으로, 정렬되지 않은 조건은 주의로”라는 원칙이 구조를 결정합니다. 외형을 별도 인코더로 뽑아 두면 매 잡음 제거 단계에서 같은 참조를 반복해 쓸 수 있습니다.

텍스처 확산 블록(Texture Diffusion Block, TDB)

TDB 는 잡음 분기와 텍스처 분기를 연결하는 교차 주의 블록입니다. 밀집 대응 방법의 흐름 추정을 주의 가중치로 대체한 것으로 볼 수 있습니다.

🔗 1. 수식 (Sec. 3.2)

층 $l$ 에서 잡음 분기 특징 $F_h^l$ 과 텍스처 특징 $F_s$ 에 대해

\(Q = \phi_q^l(F_h^l),\qquad K = \phi_k^l(F_s),\qquad V = \phi_v^l(F_s)\) \(F_{att}^l = \frac{QK^{T}}{\sqrt{C}}\) \(F_o^l = W^l\cdot\mathrm{softmax}(F_{att}^l)\cdot V + F_h^l\)

기호 의미
$\phi_q,\phi_k,\phi_v$ 층별 $1\times1$ 합성곱
$W^l$ 학습 가능한 출력 가중치
잔차 $+F_h^l$ 원래 잡음 분기 특징 보존

질의가 잡음 분기에서 나오므로 “대상 자세의 이 위치는 원본의 어느 위치 텍스처를 가져와야 하는가”를 각 위치가 묻는 구조입니다. softmax 주의 맵이 곧 소프트 대응이며, 명시적 흐름과 달리 여러 위치에서 가중 평균으로 가져올 수 있고 대응이 없는 영역에서는 주의가 분산되어 생성 사전에 맡겨집니다.

📍 2. 삽입 위치

TDB는 $H_N$ 의 $32\times32$, $16\times16$, $8\times8$ 해상도에 삽입됩니다. 고해상도에서는 주의의 계산량이 위치 수의 제곱으로 커지므로 중·저해상도에 둡니다. 다중 스케일에 두는 이유는 저해상도에서 신체 부위 수준의 거친 대응을, 중해상도에서 옷 패턴 수준의 대응을 잡기 위해서입니다.

🧪 3. Ablation이 보여 주는 TDB의 기여 (Table 2, DeepFashion 256)

변형 FID ↓ SSIM ↑ LPIPS ↓
B1: 기준선† (조건 채널 결합) 10.813 0.6911 0.2112
B2: 기준선 (텍스처 인코더, TDB 없음) 9.8510 0.7005 0.1983
B3: B2 + TDB 7.5133 0.7178 0.1870
B4: B3 + CF 가이던스 6.8176 0.7195 0.1769
PIDM: B3 + 분리 CF 가이던스 6.3671 0.7312 0.1676

TDB 추가(B2 → B3)가 단일 변경으로는 가장 큰 FID 개선(−2.34)을 줍니다. 텍스처 인코더만으로는(B2) 특징을 뽑아도 대상 위치로 옮길 메커니즘이 없기 때문입니다.

💡 Key Takeaway TDB는 “흐름을 추정하지 않고 주의로 대응을 배운다”는 선택입니다. 소프트 대응이므로 폐색·큰 변형에서 깨지지 않고, 매 잡음 제거 단계에서 반복 적용되어 텍스처가 점진적으로 정착합니다.

분리 분류기 없는 가이던스(Disentangled Classifier-Free Guidance)

분류기 없는 가이던스(CFG) 는 조건부 잡음 예측과 무조건부 예측의 차이를 증폭해 조건 충실도를 높이는 샘플링 기법입니다. PIDM은 조건이 둘(자세, 외형)이라는 점을 이용해 각 조건의 기여를 따로 증폭합니다.

🧮 1. 수식 (Sec. 3.3)

\(\epsilon_{uncond} = \epsilon_\theta(y_t,t,\varnothing,\varnothing)\) \(\epsilon_{pose} = \epsilon_\theta(y_t,t,x_p,\varnothing) - \epsilon_{uncond},\qquad \epsilon_{style} = \epsilon_\theta(y_t,t,\varnothing,x_s) - \epsilon_{uncond}\) \(\epsilon_{cond} = \epsilon_{uncond} + w_p\,\epsilon_{pose} + w_s\,\epsilon_{style}\)

항목 값
가이던스 스케일 $w_p = 2.0,\ w_s = 2.0$
학습 시 조건 드롭 표본의 $\eta\%$ 에서 조건을 $\varnothing$ 으로 대체, $\eta=10$
샘플링 스텝 수 명시되지 않음 (보간에는 DDIM 사용)

학습 시 자세와 외형을 각각 독립적으로 드롭해야 세 가지 조건 조합($\varnothing,\varnothing$), ($x_p,\varnothing$), ($\varnothing,x_s$)을 모두 모델이 다룰 수 있습니다.

⚖️ 2. 일반 CFG와의 차이

방식 증폭 대상 문제
일반 CFG $(x_p,x_s)$ 를 묶은 결합 조건의 점수 두 조건 중 하나가 지배하면 다른 쪽 충실도가 떨어짐. 자세는 맞지만 옷이 바뀌거나, 옷은 맞지만 자세가 어긋남
분리 CFG 자세 점수와 외형 점수를 각각 두 조건을 독립적으로 강화. $w_p, w_s$ 를 따로 조절 가능

Ablation(B4 → PIDM)에서 분리 가이던스는 FID 6.8176 → 6.3671, SSIM 0.7195 → 0.7312, LPIPS 0.1769 → 0.1676으로 세 지표를 모두 개선합니다. 본문은 B3 대비 개선폭을 FID 1.1462, SSIM 0.0134, LPIPS 0.0194로 보고하며, Table 1의 LPIPS 0.1678과 Table 2의 0.1676은 반올림 차이입니다.

🎛️ 3. 샘플링 비용

분리 가이던스는 스텝당 세 번의 순전파($\epsilon_{uncond}$, 자세 조건, 외형 조건)가 필요합니다. 일반 CFG의 두 번보다 1.5배이며, 확산 모델의 느린 샘플링을 더 느리게 만듭니다. 논문은 이 비용을 명시적으로 다루지 않습니다.

💡 Key Takeaway 조건이 둘이면 가이던스도 둘로 나누는 것이 자연스럽습니다. 분리 CFG는 자세와 외형의 충실도를 독립 다이얼로 만들어, 한쪽이 다른 쪽을 희생시키는 문제를 샘플링 단계에서 해결합니다.

실험 결과와 사용자 평가

평가는 DeepFashion(고해상도 패션)과 Market-1501(저해상도 감시 카메라) 두 벤치마크에서 FID, SSIM, LPIPS와 사용자 평가로 이루어집니다.

📦 1. 데이터셋

데이터셋 규모 분할 비고
DeepFashion In-shop 고해상도 52,712장 PATN 설정: 학습 101,966쌍 / 테스트 8,570쌍 골격은 OpenPose
Market-1501 저해상도 32,668장 학습·테스트 인물 비중복 재식별 벤치마크

🏆 2. 정량 비교 (Table 1)

DeepFashion $256\times176$

방법 FID ↓ SSIM ↑ LPIPS ↓
Def-GAN 18.457 0.6786 0.2330
PATN 20.751 0.6709 0.2562
ADGAN 14.458 0.6721 0.2283
PISE 13.610 0.6629 0.2059
GFLA 10.573 0.7074 0.2341
DPTN 11.387 0.7112 0.1931
CASD 11.373 0.7248 0.1936
NTED 8.6838 0.7182 0.1752
PIDM 6.3671 0.7312 0.1678

DeepFashion $512\times352$

방법 FID ↓ SSIM ↑ LPIPS ↓
CocosNet2 13.325 0.7236 0.2265
NTED 7.7821 0.7376 0.1980
PIDM 5.8365 0.7419 0.1768

Market-1501 $128\times64$

방법 FID ↓ SSIM ↑ LPIPS ↓
Def-GAN 25.364 0.2683 0.2994
PTN 22.657 0.2821 0.3196
GFLA 19.751 0.2883 0.2817
DPTN 18.995 0.2854 0.2711
PIDM 14.451 0.3054 0.2415

세 설정 모두에서 세 지표 1위입니다. 특히 FID 격차(256에서 NTED 대비 −2.3, Market에서 DPTN 대비 −4.5)가 크며, 이는 생성 분포가 실제에 훨씬 가깝다는 뜻입니다.

👥 3. 사용자 평가 (Sec. 4.2, Fig. 5)

100명이 DeepFashion 결과로 세 가지를 평가했습니다.

지표 의미 PIDM
R2G 실제 이미지를 생성으로 판정한 비율 본문에 수치 없음
G2R 생성 이미지를 실제로 판정한 비율 48%, 2위보다 약 18%p 높음
Jab 다른 방법 대비 PIDM을 선호한 비율 56%

G2R 48%는 생성 이미지의 절반 가까이가 실제로 오인되었다는 뜻으로, 자동 지표의 우위가 사람 눈에도 그대로 나타납니다.

💡 Key Takeaway PIDM은 고해상도 패션과 저해상도 감시 영상이라는 성격이 다른 두 도메인에서 모두 큰 격차로 앞섭니다. 확산 모델의 분포 포괄성이 자세 전이에서도 그대로 유효함을 보인 결과입니다.

응용: 외형 편집과 재식별 증강, 그리고 한계

응용 실험은 PIDM이 단순한 자세 전이기를 넘어 제어 가능한 사람 생성기임을 보이며, 한계는 확산 모델 일반의 비용과 논문에 빠진 정보에서 나옵니다.

🎨 1. 외형 제어와 편집 (Sec. 4.4)

  • 부위별 외형 편집 : 원본의 특정 영역(예: 상의)을 다른 참조 이미지에서 가져와 텍스처 인코더 입력을 바꾸면, 나머지 외형과 자세는 유지한 채 그 부위만 바뀝니다. 가상 피팅의 “옷만 바꾸기”에 해당하며, 마스크 기반으로 수행됩니다.
  • 스타일 보간 : 두 원본의 조건 사이를 DDIM으로 보간해 외형이 연속적으로 변하는 중간 결과를 얻습니다.

이 편집이 가능한 이유는 외형이 텍스처 인코더라는 분리된 경로로 들어가고, TDB의 주의가 참조 이미지의 어느 부위를 쓸지를 소프트하게 결정하기 때문입니다.

🪪 2. 사람 재식별 데이터 증강 (Sec. 4.5, Market-1501, ResNet50, mAP)

학습 데이터 비율 20% 40% 60% 80% 100% (+30K 생성)
증강 없음 33.4 56.6 64.9 69.2 76.7
PTN 55.6 57.3 67.1 72.5 76.8
GFLA 57.3 59.7 67.6 73.2 76.8
DPTN 58.1 62.6 69.0 74.2 77.1
PIDM 61.3 64.8 71.6 75.3 78.4

데이터가 적을수록(20%) 증강 효과가 크고(33.4 → 61.3), 전체 데이터에서도 PIDM 생성 이미지는 다른 방법보다 더 많은 이득을 줍니다. 생성 이미지가 신원 정보를 보존하면서 자세 다양성을 더한다는 하류 과제 증거입니다. Rank 지표는 보고되지 않았습니다.

⚠️ 3. 한계와 열린 방향

  • 샘플링 비용 : $T=1000$ 확산에 분리 가이던스로 스텝당 세 번 순전파가 필요합니다. GAN의 단일 순전파 대비 수백 배 느리며, 실시간 피팅에는 부적합합니다. 논문은 샘플링 스텝 수와 속도를 보고하지 않습니다.
  • 미명시 정보 : 반복 수, GPU 수, 샘플링 스텝, $\eta$ 의 정확한 의미, 사용자 평가의 R2G 수치가 본문에 없습니다.
  • 한계 절 부재 : 논문은 별도의 한계 절을 두지 않고 “하이퍼파라미터에 덜 민감하다”는 서술로 대신합니다.
  • 옷 이미지 조건의 부재 : 외형 조건이 사람 이미지이므로, 상점 옷 이미지로 피팅하려면 추가 설계가 필요합니다. 이후 확산 기반 피팅(LaDI-VTON, TryOnDiffusion, StableVITON 등)은 PIDM의 교차 주의 조건화를 옷 이미지에 적용하는 방향으로 발전했습니다.
  • 텍스트 조건과의 결합 : HumanDiffusion이 텍스트 조건을, PIDM이 이미지 조건을 다루므로, 둘을 결합한 다중 모달 조건 사람 생성이 자연스러운 다음 단계입니다.

💡 Key Takeaway PIDM은 “확산 모델 + 교차 주의 외형 조건화 + 분리 가이던스”라는 조합으로 자세 전이의 품질 기준을 바꿨고, 편집과 증강까지 보였습니다. 남은 과제는 속도와 옷 이미지 조건으로의 확장이며, 후자는 이후 확산 기반 가상 피팅 연구의 출발점이 됩니다.