You know maize mean?
Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN
0. Summary
기본 정보 : ArXiv,2021.11.20 (NeurIPS 2021), Towards Scalable Unpaired Virtual Try-On via Patch-Routed Spatially-Adaptive GAN
연구 배경
기존 이미지 기반 가상 피팅(VITON, CP-VTON, ACGPN, PF-AFN 등)은 “상점 옷 이미지 + 그 옷을 입은 사람” 쌍 데이터를 전제로 한다. 이런 쌍은 전자상거래 사이트에서 일부 범주에 한해 얻을 수 있을 뿐이라 데이터 확장성이 낮다. 반면 “사람 사진에서 사람 사진으로” 옷을 옮기는 비쌍(unpaired) 피팅은 어떤 사람 사진이든 학습 데이터가 되므로 확장성이 크지만, 지도 신호가 없다는 근본적 어려움이 있다. 비쌍 방법은 보통 같은 사람 이미지를 재구성하는 방식으로 학습하는데, 이때 네트워크는 옷의 스타일(색·무늬) 과 공간 정보(형태·위치·자세) 를 분리하지 못하고 통째로 외워 버려 과적합되고, 실제 전이 시 옷 형태가 원본 사람의 자세를 따라가거나 텍스처가 무너진다. 기존 비쌍 해법은 자세 전이를 보조 과제로 쓰기 위해 같은 사람의 다중 자세 이미지를 요구하거나, 추론 시 긴 온라인 최적화를 필요로 했다.
제안 방법
PASTA-GAN(PAtch-routed SpaTially-Adaptive GAN)은 비쌍 설정에서 옷의 스타일과 공간 정보를 명시적으로 분리하는 end-to-end 네트워크다. 핵심은 세 가지다. (1) 패치 라우팅 분리 모듈은 원본 사람의 관절 키포인트로 옷을 8개의 사변형 패치(몸통, 목, 좌우 상·하완, 좌우 엉덩이)로 자르고 각 패치를 호모그래피로 $64\times64$ 템플릿에 정규화해 공간 정보를 제거한 뒤, 대상 자세의 키포인트로 역호모그래피를 적용해 학습 없이 거친 왜곡 옷 $G_t$ 를 재조립한다. (2) 속성 분리 조건부 StyleGAN2는 정규화된 패치에서 스타일 코드 $w$ 를, 대상의 머리와 자세에서 정체성 특징 $f_{id}$ 를 뽑아 합성하며, $128\times128$ 블록 이후 거친 결과와 옷 마스크를 내는 스타일 합성 분기(SSB)와 최종 결과를 내는 텍스처 합성 분기(TSB)로 나뉜다. (3) 공간 적응 잔차 모듈은 왜곡 옷의 특징을 SPADE 방식의 정규화 파라미터로 바꿔 TSB에 주입하되, 왜곡 옷과 예측 마스크의 불일치 영역을 평균 특징으로 인페인팅해 정렬 오차를 흡수한다.
발견 사실
새로 수집한 UPT 데이터셋(33,254장, MPV·DeepFashion 정면 이미지를 더해 학습 54,714 / 테스트 10,493)과 DeepFashion에서, 비쌍 설정의 PASTA-GAN은 FID 21.58(DeepFashion), 7.852(UPT)로 ADGAN(37.36 / 39.60), Liquid Warping GAN(42.18 / 33.18), 그리고 쌍 데이터로 학습된 CP-VTON·ACGPN·PF-AFN을 모두 크게 앞섰고, 사용자 평가에서도 54.27% / 74.22%로 가장 많이 선택되었다. 더 놀라운 결과는 쌍 설정 MPV 벤치마크에서 비지도 PASTA-GAN이 FID 16.48, 사용자 선호 50.57%로 지도 학습된 PF-AFN(17.40 / 28.71%)을 넘어섰다는 점이다. Ablation에서는 온전한 옷 대신 패치를 스타일 인코더에 넣을 때 옷 형태가 정확해지고, TSB가 없으면 텍스처가 사라지며, SPADE 잔차 블록을 일반 잔차 블록으로 바꾸면 정렬 오차 아티팩트가 남음을 확인했다. 알려진 실패는 파서가 레이블하지 않는 벨트 같은 액세서리가 사라지는 경우다.
핵심 기여
- 패치 라우팅 분리(patch-routed disentanglement) : 옷을 관절 기반 패치로 쪼개 정규화함으로써 스타일 인코더가 공간에 무관한 옷 특징을 배우게 하고, 같은 패치를 대상 자세로 재투영해 왜곡 네트워크나 3D 모델 없이 왜곡 옷을 얻었다(Sec. 3.1, Fig. 3).
- 이중 분기 조건부 StyleGAN2 + 공간 적응 잔차 모듈 : 1차원 스타일 코드가 잃는 고주파 텍스처를 왜곡 옷 특징으로 보충하되, 특징 인페인팅과 SPADE식 변조로 거친 왜곡의 정렬 오차를 견디게 했다(Sec. 3.2–3.3, Eq. 2–6).
- 확장 가능한 비쌍 벤치마크와 실증 : UPT 데이터셋을 구축하고, 비지도 모델이 비쌍·쌍 벤치마크 모두에서 지도 모델을 능가함을 보여 비쌍 피팅의 실용 가능성을 입증했다(Sec. 4, Table 1–2).
관련 개념
비쌍 가상 피팅(Unpaired Virtual Try-On)과 분리 문제
비쌍 가상 피팅은 원본 사람 $I_s$ 가 입은 옷 $G_s$ 를 대상 사람 $I_t$ 에게 입히는 과제로, 입력도 출력도 “사람 사진”이며 상점 옷 이미지가 필요 없습니다. 쌍 피팅과의 차이는 데이터 요구뿐 아니라 지도 신호의 부재에 있습니다.
🔀 1. 쌍 vs 비쌍
| 항목 | 쌍 피팅 (VITON, CP-VTON, ACGPN, PF-AFN) | 비쌍 피팅 (ADGAN, PASTA-GAN) |
|---|---|---|
| 학습 데이터 | 상점 옷 + 착용 사진 쌍 | 사람 사진만 |
| 왜곡 지도 | 착용 사진의 옷 영역이 왜곡 정답 | 왜곡 정답 없음 |
| 학습 방식 | 옷 → 사람으로 지도 학습 | 같은 사람 재구성(자기 지도) |
| 확장성 | 쌍을 얻을 수 있는 범주·사이트에 한정 | 임의의 패션 이미지 활용 가능 |
| 주요 위험 | 정렬 오차 | 과적합과 스타일·공간 얽힘 |
🧠 2. 왜 재구성 학습은 얽힘을 만드는가
학습 시 원본과 대상이 같은 사람이면, 네트워크는 옷의 색·무늬(스타일)와 옷의 윤곽·위치·주름(공간 정보)을 분리할 동기가 없습니다. 둘을 함께 외우면 재구성 손실이 더 낮아지기 때문입니다. 그러나 추론 시 대상 자세가 다르면 외운 공간 정보가 틀린 자리에 재현되어 옷이 원본 자세를 따라가거나 찢어집니다. 기존 해법은 다음과 같았습니다.
- 자세 전이를 보조 과제로 (ADGAN 등): 같은 사람의 다른 자세 이미지를 요구해 데이터 확장성을 다시 잃음.
- 온라인 최적화: 추론마다 수백 스텝의 최적화를 수행해 실용성이 낮음.
PASTA-GAN은 입력 자체에서 공간 정보를 물리적으로 제거하는 전처리(패치 정규화)로 이 문제를 풉니다.
🗺️ 3. 비교 대상이 되는 비쌍 방법들 (Sec. 2)
| 방법 | 접근 | PASTA-GAN 관점의 한계 |
|---|---|---|
| ADGAN 등 자세 전이 계열 | 자세 전이를 보조 과제로 삼아 자세·외형 분리 특징 학습 | 같은 사람의 다중 자세 이미지 필요. DeepFashion에 과적합해 UPT 같은 새 분포에서 텍스처·정체성 손실 |
| Liquid Warping GAN | SMPL 3D 신체 모델로 외형 전이 흐름 계산 | 3D 모델 피팅 오차가 옷 형태 오차로 직결. 옷이 몸에 밀착하지 않는 경우 부정확 |
| 온라인 최적화 계열 | 추론 시 잠재 코드를 이미지에 맞춰 최적화 | 이미지당 긴 최적화 시간. 실시간 불가 |
| 쌍 방법을 비쌍에 전용 | 사람에서 잘라낸 옷을 상점 옷 대신 입력 | 왜곡 네트워크가 “평평한 상점 옷”을 전제로 학습되어 입은 상태의 옷을 왜곡하지 못함 |
PASTA-GAN은 단일 이미지 재구성만으로 학습하고(다중 자세 불필요), 3D 모델 없이 관절만 쓰며(SMPL 불필요), 추론이 단일 순전파(온라인 최적화 불필요)라는 세 조건을 동시에 만족하는 첫 비쌍 방법 중 하나입니다.
💡 Key Takeaway 비쌍 피팅의 진짜 어려움은 데이터가 아니라 분리(disentanglement) 입니다. PASTA-GAN은 “네트워크가 분리하도록 바라는” 대신 “분리된 입력만 보여 주는” 쪽을 택합니다.
패치 라우팅 분리 모듈(Patch-routed Disentanglement Module)
패치 라우팅 분리 모듈은 옷을 신체 부위 단위 패치로 자르고 정규화한 뒤 대상 자세로 되돌리는 학습 파라미터가 없는 기하 모듈입니다. 스타일 코드의 입력(정규화 패치 $P_n$)과 텍스처 가이드(왜곡 옷 $G_t$)를 동시에 만들어 냅니다.
✂️ 1. 자세 유도 분할 (Sec. 3.1, Fig. 3 1단계)
PASTA-GAN/Figure-2.PNG)
원본 사람 $I_s$ 에 사람 파서(Graphonomy)를 적용해 옷 $G_s$ 를, 자세 추정기(OpenPose)를 적용해 관절 $J_s$ 를 얻습니다. 관절 좌표가 사변형 패치의 네 꼭짓점을 정의합니다.
| 패치 | 꼭짓점을 정하는 관절 |
|---|---|
| 몸통 | 좌/우 어깨, 좌/우 엉덩이 |
| 목 | 목 주변 관절 |
| 좌/우 상완, 좌/우 하완 | 어깨–팔꿈치, 팔꿈치–손목 |
| 좌/우 엉덩이 | 엉덩이 주변 |
상의에 대해 총 8개 패치이며, 각 패치는 직사각형·사다리꼴 등 임의의 사변형입니다.
📐 2. 호모그래피 정규화 (2단계)
각 원본 패치 $P_i^s$ 를 고정된 $64\times64$ 템플릿 패치 $P_i^n$ 으로 보내는 호모그래피 $H_i^{s\to n}\in\mathbb{R}^{3\times3}$ 를 네 꼭짓점 대응으로 계산합니다(OpenCV, 최소제곱 + Levenberg–Marquardt).
\[\begin{bmatrix}x_n\\ y_n\\ 1\end{bmatrix} = H_i^{s\to n}\begin{bmatrix}x_s\\ y_s\\ 1\end{bmatrix} \tag{1}\]정규화 후 모든 패치는 같은 크기·같은 방향의 정사각형이 되므로, 원본 사람의 자세·체형·옷의 늘어짐 같은 공간 정보가 대부분 사라지고 색·무늬·질감만 남습니다. 이것이 스타일 인코더의 입력 $P_n$ 입니다.
🔁 3. 대상 자세로의 재투영: 학습 없는 왜곡
대상 사람 $I_t$ 의 관절 $J_t$ 가 같은 8개 패치의 목표 꼭짓점을 주므로, 역방향 호모그래피 $H_i^{n\to t}$ 로 템플릿 패치를 대상 위치에 붙여 넣을 수 있습니다. 전체 변환은
\[H_i^{s\to t} = H_i^{n\to t}\,H_i^{s\to n}\]이며, 이렇게 재조립된 것이 거친 왜곡 옷 $G_t$ 입니다. TPS 회귀 네트워크(CP-VTON)나 외형 흐름(PF-AFN), 3D 신체 모델(Liquid Warping GAN) 없이 관절 좌표만으로 왜곡을 얻는다는 점이 중요합니다. 대신 패치 경계에 이음새가 생기고 몸통 경계가 불완전하다는 비용이 있으며, 이는 뒤의 공간 적응 잔차 모듈이 흡수합니다.
💡 Key Takeaway 하나의 기하 모듈이 두 가지를 동시에 줍니다. 공간 정보가 제거된 패치는 스타일 코드를 깨끗하게 만들고, 대상 자세로 재투영한 패치는 왜곡 네트워크 없이 텍스처 가이드를 제공합니다. 학습 파라미터가 없으므로 과적합도 없습니다.
속성 분리 조건부 StyleGAN2
속성 분리 조건부 StyleGAN2(attribute-decoupled conditional StyleGAN2) 는 StyleGAN2의 합성 네트워크를 조건부로 바꾼 생성기입니다. 옷의 스타일은 전역 스타일 코드로, 사람의 정체성은 공간 특징 맵으로 서로 다른 경로를 통해 주입됩니다.
🎛️ 1. 두 조건 경로 (Sec. 3.2, Fig. 2b)
| 경로 | 입력 | 처리 | 출력 | 주입 방식 |
|---|---|---|---|---|
| 스타일 | 정규화 패치 $P_n$ | 스타일 인코더 → 매핑 네트워크 | 스타일 코드 $w$ (1차원 벡터) | 모든 합성 블록의 변조(modulation) |
| 정체성 | 대상 머리 $H_t$, 대상 자세 $J_t$ | 정체성 인코더 | 특징 맵 $f_{id}$ | 합성 네트워크의 시작 텐서(StyleGAN2의 상수 입력 대체) |
StyleGAN2에서 $w$ 는 해상도별 블록의 합성곱 가중치를 변조해 “무엇을 그릴지”의 전역 속성을 정합니다. 옷의 색·무늬가 정확히 이런 전역 속성이므로 $w$ 경로가 적합합니다. 반면 얼굴·머리·자세는 “어디에 그릴지”의 공간 정보이므로 특징 맵으로 시작점에 놓습니다. 두 속성이 서로 다른 경로로 들어가기 때문에 속성 분리라고 부릅니다.
🌿 2. 이중 분기: SSB와 TSB
스타일 코드만으로는 평균 색과 형태는 맞추지만 복잡한 텍스처·로고는 재현하지 못합니다. 1차원 벡터로의 투영에서 고주파 정보가 사라지고, 옷 텍스처의 다양성이 너무 크기 때문입니다. 그래서 네트워크를 $128\times128$ 합성 블록 이후 두 갈래로 나눕니다.
| 분기 | 구성 | 출력 | 역할 |
|---|---|---|---|
| 스타일 합성 분기(SSB) | 일반 StyleGAN2 블록 | 거친 결과 $\tilde{I}’_t$, 옷 마스크 $M_g$ | 정확한 옷 형태와 평균 색 결정 |
| 텍스처 합성 분기(TSB) | 공간 적응 잔차 모듈 포함 | 최종 결과 $I’_t$ | 왜곡 옷 $G_t$ 의 텍스처를 받아 세부 합성 |
SSB가 예측한 마스크 $M_g$ 는 TSB가 왜곡 옷의 어느 부분을 쓸지 정하는 기준이 됩니다. 즉 SSB가 레이아웃을, TSB가 질감을 담당하는 coarse-to-fine 분업입니다.
🔍 3. 왜 StyleGAN2인가
- 변조 기반 스타일 주입이 “옷 스타일”이라는 전역 속성과 자연스럽게 맞습니다.
- 고해상도 합성 품질과 안정적인 적대적 학습 레시피(R1 정규화, 경로 길이 정규화 등)를 그대로 가져올 수 있습니다.
- 조건부로 바꾸는 데 필요한 변경이 적습니다. 상수 입력을 $f_{id}$ 로, $z$ 대신 인코더 출력을 매핑 네트워크에 넣으면 됩니다.
💡 Key Takeaway “옷은 스타일 코드로, 사람은 특징 맵으로”라는 경로 분리가 속성 분리의 실체입니다. 그리고 스타일 코드가 못 담는 텍스처는 별도 분기에서 왜곡 옷을 직접 보고 채웁니다.
공간 적응 잔차 모듈(Spatially-Adaptive Residual Module)
공간 적응 잔차 모듈은 왜곡 옷 $G_t$ 의 특징을 TSB 중간 특징에 주입하는 장치입니다. 핵심 과제는 패치를 이어 붙인 $G_t$ 의 형태가 SSB가 예측한 마스크 $M_g$ 와 어긋난다는 것입니다(Fig. 4).
🩹 1. 특징 인페인팅 (Eq. 2–5)
$G_t$ 의 마스크를 $M_t$ 라 하면 정렬 영역과 불일치 영역은
\[M_{align} = M_g\cap M_t,\qquad M_{misalign} = M_g - M_{align}\]입니다. $M_g$ 밖으로 삐져나온 $G_t$ 부분은 버리고, $M_g$ 안인데 $G_t$ 가 덮지 못한 부분은 평균 특징으로 채웁니다.
\[f'_g = E_g(G_t\odot M_g),\qquad f_g = f'_g\odot(1-M_{misalign}) + A(f'_g\odot M_{align})\odot M_{misalign}\]$E_g$ 는 옷 인코더, $A(\cdot)$ 는 정렬 영역의 평균 옷 특징입니다. 불일치 영역에 “이 옷의 평균적인 질감”을 넣어 두면 마지막 합성 블록이 그 자리에 그럴듯한 텍스처를 추론할 수 있습니다.
🎚️ 2. SPADE식 변조 (Eq. 6)
인페인팅된 $f_g$ 는 각 공간 적응 잔차 블록에서 정규화된 특징을 변조하는 아핀 파라미터로 변환됩니다. 위치 $(z,y,x)$ 의 특징 $h_{z,y,x}$ 에 대해
\[\gamma_{z,y,x}(f_g)\cdot\frac{h_{z,y,x}-\mu_z}{\sigma_z} + \beta_{z,y,x}(f_g)\]여기서 $\mu_z,\sigma_z$ 는 채널 $z$ 의 공간 평균·표준편차이고, $\gamma,\beta$ 는 $f_g$ 를 입력받는 합성곱입니다. 일반 정규화는 채널마다 스칼라 $\gamma,\beta$ 를 쓰지만, 여기서는 위치마다 다른 파라미터를 쓰므로 왜곡 옷의 텍스처가 공간적으로 대응하는 자리에 주입됩니다. 모듈은 옷 인코더 하나와 공간 적응 잔차 블록 세 개로 구성되며 TSB의 마지막 두 합성 블록 사이에 놓입니다.
🆚 3. 직접 연결과의 차이
| 방식 | 문제 |
|---|---|
| $G_t$ 를 입력에 채널 연결 | 이음새·경계 불완전이 그대로 출력에 전사됨 |
| 일반 잔차 블록으로 특징 더하기 | 정렬 오차 영역에서 아티팩트와 흐린 텍스처 잔존(ablation PASTA-GAN‡) |
| 공간 적응 변조 + 인페인팅 | 불일치 영역을 평균 특징으로 메우고, 변조는 정규화된 특징에 작용해 거친 왜곡을 견딤 |
💡 Key Takeaway 학습 없는 호모그래피 왜곡은 싸지만 거칩니다. 공간 적응 잔차 모듈은 그 거침을 “버릴 곳은 버리고, 빈 곳은 평균으로 메우고, 변조로 주입한다” 는 세 단계로 흡수해, 거친 왜곡과 고품질 합성을 양립시킵니다.
UPT 데이터셋과 주요 결과
실험은 새로 수집한 UPT 데이터셋과 기존 벤치마크 DeepFashion, MPV에서 수행되며, 비쌍 설정과 쌍 설정 모두에서 비교합니다.
📦 1. UPT(UnPaired virtual Try-on) 데이터셋
| 항목 | 값 |
|---|---|
| 자체 수집 | 반신·전신 정면 이미지 33,254장 (긴/반소매, 조끼, 슬링, 바지 등 다양한 옷) |
| 자체 분할 | 학습 27,139 / 테스트 6,115 |
| 확장 | MPV, DeepFashion의 정면 이미지를 더해 학습 54,714 / 테스트 10,493 |
| 개인정보 | 얼굴 정보 마스킹 |
🏆 2. 비쌍 설정 (Table 1)
| 방법 | DeepFashion FID ↓ | DeepFashion 선호 ↑ | UPT FID ↓ | UPT 선호 ↑ |
|---|---|---|---|---|
| CP-VTON | 69.46 | 2.177% | 70.76 | 1.551% |
| ACGPN | 44.41 | 4.597% | 37.99 | 3.448% |
| PF-AFN | 46.19 | 4.677% | 36.69 | 4.224% |
| ADGAN | 37.36 | 21.29% | 39.60 | 7.241% |
| Liquid Warping GAN | 42.18 | 12.98% | 33.18 | 9.310% |
| PASTA-GAN | 21.58 | 54.27% | 7.852 | 74.22% |
쌍 방법들은 사람에서 잘라낸 옷을 입력으로 받으면 왜곡에 실패해 몸과 크게 어긋나고, ADGAN은 DeepFashion 과적합으로 텍스처·정체성을 잃으며, Liquid Warping GAN은 SMPL 3D 모델에 의존해 옷 형태가 부정확합니다. 사용자 평가는 30명이 데이터셋별 설문에서 40개 과제마다 가장 사실적인 결과를 고른 비율입니다.
🥇 3. 쌍 설정 MPV (Table 2)
| 방법 | FID ↓ | 선호 ↑ |
|---|---|---|
| CP-VTON | 37.72 | 8.071% |
| ACGPN | 23.20 | 12.64% |
| PF-AFN | 17.40 | 28.71% |
| PASTA-GAN (비지도) | 16.48 | 50.57% |
쌍 방법들이 자신의 홈그라운드(상점 옷 → 사람)에서 평가되었는데도 비지도 PASTA-GAN이 앞섭니다. 전역 TPS나 픽셀 흐름은 큰 자세 변화에서 텍스처와 형태를 왜곡하지만, 패치 단위 왜곡은 변형을 국소화해 원래 텍스처를 더 보존하기 때문입니다. 슬링처럼 드문 옷이나 전신 이미지에서도 PASTA-GAN은 안정적입니다.
💡 Key Takeaway 비쌍 모델이 쌍 벤치마크에서 지도 모델을 이긴 것은, 패치 단위 분리와 왜곡이 전역 왜곡보다 본질적으로 텍스처를 잘 지킨다는 증거입니다. 데이터 확장성과 품질이 상충하지 않음을 처음 보인 결과입니다.
한계와 후속 연구로의 연결
PASTA-GAN의 한계는 대부분 “관절과 파싱에 의존하는 고정된 패치 설계”에서 나오며, 후속작 PASTA-GAN++가 상당 부분을 다룹니다.
⚠️ 1. 알려진 한계
- 파서 의존 : 사람 파서가 레이블하지 않는 액세서리(벨트)는 배경으로 처리되어 결과에서 사라집니다(논문의 실패 사례).
- 패치 이음새 : 사변형 크롭은 완벽히 맞물리지 않아 $G_t$ 에 이음새와 몸통 경계 결손이 생깁니다. 학습 시 무작위 지우기로 완화하지만 근본 해결은 아닙니다.
- 상의 중심의 패치 정의 : 8개 패치는 상의를 위한 것이며, 하의·원피스·전신 옷 범주를 하나의 모델로 다루는 설계는 아닙니다.
- 해상도 : $256\times192$ 수준으로, 실제 서비스에 필요한 고해상도에는 미치지 못합니다.
- 합성 결과의 마스크 : SSB는 여러 옷 마스크를 개별 one-hot으로 예측하므로 상·하의 마스크가 겹칠 수 있습니다.
🚀 2. 후속 연구
| 한계 | PASTA-GAN++ 및 이후의 대응 |
|---|---|
| 범주 제한 | 상의 10패치 + 하의 5패치 체계로 상의·하의·전신·원피스를 한 모델로 처리 |
| 마스크 겹침 | 개별 마스크 대신 통합 사람 파싱 맵을 예측하는 파싱 합성 블록 |
| 해상도 | $512\times320$ 생성, UPT를 102,468장으로 확장 |
| 편집 기능 | 패치 단위 표현을 이용한 국소 형태 편집, 착용 순서 제어 |
| 패러다임 | 확산 모델 기반 비쌍 피팅으로의 이동 (사람-사람 전이를 조건부 생성으로) |
🧭 3. 남는 질문
- 패치 정규화는 공간 정보를 “대부분” 제거하지만 완전하지는 않습니다. 주름 방향, 그림자 같은 자세 의존 정보는 패치 안에 남아 스타일 코드로 새어 들어갈 수 있습니다.
- 호모그래피는 평면 가정입니다. 팔이 크게 굽거나 옷이 몸을 감싸는 경우 사변형 패치의 평면 변환은 실제 변형과 어긋나며, 이 오차를 전부 공간 적응 모듈에 떠넘깁니다.
- 사회적 위험으로 저자들은 원치 않는 옷을 입힌 위조 이미지 생성 가능성을 언급합니다.
💡 Key Takeaway PASTA-GAN은 “옷을 신체 부위 패치로 다룬다”는 표현 방식으로 비쌍 피팅을 실용 수준으로 끌어올렸습니다. 남은 한계는 패치 설계의 경직성이며, 후속작은 패치 체계를 확장하고 파싱을 통합하는 방향으로 이를 풉니다.