You know maize mean?
PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on
0. Summary
기본 정보 : ArXiv,2022.07.27, PASTA-GAN++: A Versatile Framework for High-Resolution Unpaired Virtual Try-on
연구 배경
PASTA-GAN은 옷을 관절 기반 패치로 나눠 정규화하는 분리 전략으로 비쌍(unpaired) 가상 피팅을 실용 수준으로 끌어올렸지만, 세 가지 제약이 남아 있었다. 첫째, 상의를 위한 8개 패치 체계와 $256\times192$ 해상도에 묶여 있어 하의·원피스·전신 피팅을 한 모델로 다루지 못했다. 둘째, 스타일 합성 분기가 옷 종류별 마스크를 개별 one-hot으로 예측해 상·하의 마스크가 겹치는 문제가 있었고 학습이 불안정했다. 셋째, 피팅 결과를 사용자가 편집하는 기능(소매 길이 바꾸기, 상의를 바지 안에 넣기/빼기 등)이 없었다. 실용적인 가상 피팅 시스템은 비지도 학습, 임의 옷 범주, 제어 가능한 편집을 동시에 지원해야 한다는 것이 저자들의 문제 제기다.
제안 방법
PASTA-GAN++는 세 가지 확장으로 이에 답한다. (1) 전용 패치 표현: 상의용 10패치(좌우 상완·하완 각 4개 = 8개, 몸통 1, 목 1)와 하의용 5패치(좌우 상퇴·하퇴 4개, 몸통 1)를 정의하고 원피스는 상의 패치 집합을 쓴다. 패치 템플릿은 $128\times128$ 로 키우고 호모그래피로 정규화·재투영하는 원리는 같다. (2) 패치 유도 파싱 합성: 스타일 합성 분기(SSB)가 개별 옷 마스크 대신 통합 사람 파싱 맵 $S_t$ (옷·팔·다리 영역)를 예측하고 픽셀별 교차 엔트로피로 학습한다. 이 파싱이 텍스처 합성 분기(TSB)의 정렬/불일치 영역 계산 기준이 되며, 패치 단위로 조작하면 국소 형태 편집과 착용 순서 제어가 가능해진다. (3) 고해상도 이중 경로 StyleGAN2: $256\times256$ 블록 이후 SSB·TSB로 분기하는 구조로 $512\times320$ 결과를 생성하고, 공간 적응 잔차 모듈이 왜곡 옷 특징을 주입한다. 손실은 $L = L_{GAN} + 10L_{rec} + 20L_{perc} + 30L_{CE}$ 이며, 8대 V100에서 배치 24로 800만 반복 학습한다.
발견 사실
확장된 UPT 데이터셋($512\times320$, 102,468장, 학습 93,452 / 테스트 9,016)에서 상의·하의·전신·원피스 네 설정 모두 FID와 사용자 평가에서 1위를 기록했다. 상의 FID 5.65(PASTA-GAN 6.69, PWS 11.15, PB-AFN 11.79), 하의 7.40(PASTA-GAN 8.65), 전신 8.20(PASTA-GAN 9.51), 원피스 22.89(PWS 28.44, PASTA-GAN 32.03)이며, 사용자 선호는 각각 46.94%, 57.27%, 40.48%, 66.92%로 2위와 두 배 이상 격차를 보였다. 특히 원피스에서 PASTA-GAN(7.69%)이 크게 뒤처진 반면 PASTA-GAN++는 66.92%를 얻어 패치 체계 확장과 통합 파싱의 효과가 드러났다. 모든 방법에서 하의·전신·원피스 FID가 상의보다 높아 옷 다양성이 큰 범주가 여전히 어렵다. Ablation은 PASTA-GAN과 같은 결론(패치 입력 → 형태, TSB → 텍스처, SPADE식 블록 → 정렬 오차 흡수)을 고해상도에서 재확인했다.
핵심 기여
- 범주 통합 패치 표현 : 상의 10패치 + 하의 5패치 체계로 상의·하의·전신·원피스를 단일 모델로 처리하고, 패치 단위 조작으로 국소 형태 편집과 착용 순서 제어를 가능하게 했다(Sec. 3.1, Table I).
- 패치 유도 파싱 합성 : 개별 마스크 대신 통합 사람 파싱 맵을 예측해 마스크 겹침을 없애고 학습을 안정화했으며, 파싱이 편집의 인터페이스가 되게 했다(Sec. 3.2, $L_{CE}$).
- 고해상도 비쌍 벤치마크 : $512\times320$ 해상도의 UPT 102,468장을 구축하고 네 가지 피팅 설정에서 DiOr, wFlow, PWS, PB-AFN, PASTA-GAN 대비 우위를 보였다(Sec. 4, Table II).
관련 개념
PASTA-GAN에서 PASTA-GAN++로: 무엇이 바뀌었나
PASTA-GAN++ 는 전작의 세 모듈(패치 라우팅 분리, 조건부 StyleGAN2, 공간 적응 잔차)을 유지하면서 범용성(versatility) 을 목표로 각 모듈을 확장한 저널 확장판 성격의 논문입니다.
📋 1. 기능 비교 (Table I)
| 항목 | PASTA-GAN | PASTA-GAN++ |
|---|---|---|
| 해상도 | $256\times192$ | $512\times320$ |
| 임의 옷 범주 | × (상의 중심) | ○ (상의·하의·전신·원피스) |
| 스타일/텍스처 전이(STT) | ○ | ○ |
| 국소 형태 편집(LSE) | ○ (제한적) | ○ |
| 착용 순서 제어(DOC) | × | ○ |
| 마스크 예측 | 옷별 개별 one-hot 마스크 | 통합 사람 파싱 맵 |
| 분기 지점 | $128\times128$ 블록 이후 | $256\times256$ 블록 이후 |
| 패치 템플릿 | $64\times64$, 상의 8패치 | $128\times128$, 상의 10 + 하의 5패치 |
🧭 2. 설계 원칙은 그대로
- 왜곡은 여전히 학습 없는 호모그래피입니다. 왜곡 네트워크도 3D 모델도 쓰지 않습니다.
- 옷 스타일은 1차원 스타일 코드 $w$ 로, 사람 정체성은 공간 특징으로 분리 주입합니다.
- 텍스처는 왜곡 옷 특징을 SPADE식으로 변조해 주입합니다.
- 학습은 같은 이미지 재구성이며, 왜곡 옷에 무작위 지우기를 적용해 학습-추론 간극을 줄입니다.
🔍 3. 왜 “범용”이 어려운가
범주를 늘리면 세 가지가 동시에 어려워집니다. 패치 정의가 범주마다 달라야 하고, 상의와 하의가 겹치는 영역(허리)의 소유권을 정해야 하며, 원피스처럼 상·하의 경계가 없는 옷을 다뤄야 합니다. PASTA-GAN++의 세 확장은 각각 이 세 문제에 대응합니다.
💡 Key Takeaway PASTA-GAN++는 새로운 패러다임이 아니라 같은 패러다임의 범용화입니다. 바뀐 것은 패치 체계, 마스크 표현, 해상도이고, 그 결과로 편집 기능이 따라옵니다.
전용 패치 표현(Dedicated Patch Representation)
패치 표현은 PASTA-GAN 계열의 핵심 자산입니다. 옷을 신체 부위에 대응하는 사변형으로 나누면 (1) 정규화로 공간 정보를 지울 수 있고, (2) 대상 자세로 재투영할 수 있으며, (3) 패치 단위로 조작할 수 있습니다.
✂️ 1. 상의·하의 패치 집합 (Sec. 3.1)
| 집합 | 패치 수 | 구성 | 적용 범주 |
|---|---|---|---|
| 상의 | 10 | 좌/우 상완·하완 각 4개(총 8), 몸통 1, 목 1 | 상의, 원피스 |
| 하의 | 5 | 좌/우 상퇴·하퇴 각 4개, 몸통 1 | 하의 |
OpenPose 관절이 사변형 꼭짓점을 정의하고 Graphonomy 파싱이 옷 영역을 줍니다. 전작의 8패치에서 팔 패치를 세분화하고 엉덩이 패치를 조정해 10패치가 되었으며, 하의는 다리 관절로 같은 원리를 적용합니다. 원피스는 상의 집합을 쓰는데, 원피스의 치마 부분은 몸통 패치가 아래로 확장된 형태로 처리됩니다.
📐 2. 정규화와 재투영 (Eq. 1)
각 패치를 $128\times128$ 템플릿으로 보내는 호모그래피를 네 점 대응에서 계산하고(OpenCV, 최소제곱 + Levenberg–Marquardt), 대상 자세에서 역방향 호모그래피를 적용합니다.
\[\mathcal{H}^{s\to t} = \mathcal{H}^{n\to t}\,\mathcal{H}^{s\to n}\]템플릿을 $64\times64$ 에서 $128\times128$ 로 키운 것은 $512\times320$ 출력에 필요한 텍스처 해상도를 패치 단계에서 잃지 않기 위해서입니다.
🎛️ 3. 패치 조작 = 편집 인터페이스
패치가 신체 부위와 일대일로 대응하므로, 패치를 넣거나 빼거나 바꾸는 것만으로 의미 있는 편집이 됩니다.
| 편집 | 조작 |
|---|---|
| 소매 길이 변경 | 하완 패치를 제거(반소매) 또는 추가(긴소매) |
| 상의를 바지 안에 넣기/빼기 | 상의 몸통 패치와 하의 몸통 패치의 겹침 영역 소유권 결정 |
| 다른 사람의 소매만 가져오기 | 팔 패치만 다른 원본에서 교체 |
이런 편집은 왜곡 옷 $G_t$ 와 파싱 맵 $S_t$ 에 동시에 반영되어야 일관된 결과가 나오며, 이것이 다음 절의 파싱 합성이 필요한 이유입니다.
💡 Key Takeaway 패치 집합을 두 개로 나눈 단순한 확장이 범주 통합과 편집 기능을 동시에 엽니다. 패치는 분리 도구이자 왜곡 도구이자 편집 단위입니다.
패치 유도 파싱 합성(Patch-guided Parsing Synthesis)
파싱 합성 블록은 스타일 합성 분기(SSB)의 역할을 “옷 마스크 예측”에서 “통합 사람 파싱 예측“으로 바꾼 것입니다. 이 변경이 PASTA-GAN++의 안정성과 편집 가능성의 핵심입니다.
🗺️ 1. 입력과 출력 (Sec. 3.2)
| 입력 | 출처 |
|---|---|
| 스타일 코드 $w$ | 정규화 패치 → 스타일 인코더 → 매핑 네트워크 |
| 자세 특징 $f_{pose}$ | 대상 자세 $J_t$ |
| 다중 스케일 정체성 특징 | 보호 영역 $H_t$ (머리 등)와 중앙값 피부색 맵 $C_t$ |
| 출력 | 내용 |
|---|---|
| 거친 결과 $\tilde{I}’$ | 정확한 옷 형태와 평균 색 |
| 대상 파싱 $S_t$ | 옷·팔·다리 영역을 포함한 통합 레이블 맵 |
피부색 맵 $C_t$ 를 조건으로 넣는 이유는 소매가 짧아져 새로 노출되는 팔이나 다리 영역을 대상 사람의 피부색으로 그려야 하기 때문입니다. 전작에는 없던 입력입니다.
🧮 2. 손실: 교차 엔트로피
\[L_{CE} = \text{CE}\big(S_t,\ S\big)\]$S$ 는 Graphonomy가 원본(학습 시 = 대상)에서 뽑은 파싱 정답입니다. 전작의 마스크 L1 손실($\lambda_{mask}=100$)이 통합 파싱의 픽셀별 교차 엔트로피($\lambda_{ce}=30$)로 바뀌었습니다. 또한 $S_t$ 자체에도 적대적 손실이 걸려 그럴듯한 레이아웃을 만들도록 합니다.
🔁 3. 왜 통합 파싱인가
| 개별 one-hot 마스크 (PASTA-GAN) | 통합 파싱 맵 (PASTA-GAN++) |
|---|---|
| 상의 마스크와 하의 마스크가 독립 예측되어 겹칠 수 있음 | 픽셀마다 하나의 레이블이므로 겹침이 원리적으로 불가능 |
| 범주가 늘수록 출력 채널과 충돌이 늘어남 | 범주 수와 무관하게 하나의 분할 문제 |
| 팔·다리 노출 영역이 명시되지 않음 | 팔·다리 레이블이 있어 노출 피부 영역이 정의됨 |
| 저자 보고: 학습 불안정 | 저자 보고: 학습 안정화 |
통합 파싱 덕분에 TSB의 정렬/불일치 영역 계산이 옷 종류마다 일관되고, 편집 시 “이 픽셀은 상의인가 하의인가 피부인가”가 명확해집니다.
💡 Key Takeaway 마스크를 파싱으로 바꾼 것은 표현의 작은 변경이지만, 겹침 제거·안정화·편집 가능성이라는 세 효과를 한 번에 줍니다. 레이아웃을 하나의 분할 문제로 정의하는 것이 범용 피팅의 전제입니다.
이중 경로 StyleGAN2와 공간 적응 잔차 모듈
생성기는 전작과 같은 원리의 조건부 StyleGAN2이며, 논문은 이를 “이중 경로(dual-path)” 구조로 부릅니다. 고해상도에 맞춰 분기 지점이 올라갔고, 공간 적응 잔차 모듈이 그대로 TSB에 들어갑니다.
🌿 1. 분기 구조
| 분기 | 분기 지점 | 출력 |
|---|---|---|
| 스타일 합성 분기(SSB) | $256\times256$ 블록 이후 | $\tilde{I}’$, $S_t$ |
| 텍스처 합성 분기(TSB) | $256\times256$ 블록 이후 | 최종 $I’$ ($512\times320$) |
전작의 $128\times128$ 분기에서 한 단계 올라간 것은 출력 해상도가 두 배가 되었기 때문입니다. 공유 구간이 길수록 두 분기가 같은 레이아웃을 공유하기 쉽고, 분기 이후 TSB가 텍스처에만 집중할 수 있습니다.
🩹 2. 특징 인페인팅과 변조 (전작 Eq. 2–6과 동일)
파싱 $S_t$ 에서 얻은 옷 영역 $M_g$ 와 왜곡 옷 마스크 $M_t$ 로
\(M_{align} = M_g\cap M_t,\qquad M_{misalign} = M_g - M_{align}\) \(f'_g = E_g(G_t\odot M_g),\qquad f_g = f'_g\odot(1-M_{misalign}) + A(f'_g\odot M_{align})\odot M_{misalign}\)
를 계산하고, SPADE식 변조
\[\gamma(f_g)\cdot\frac{h-\mu}{\sigma} + \beta(f_g)\]로 TSB 중간 특징에 주입합니다. $\mu,\sigma$ 는 채널별 공간 통계, $\gamma,\beta$ 는 $f_g$ 를 받는 합성곱입니다. 불일치 영역을 평균 옷 특징으로 메우는 것은 마지막 합성 블록이 그 자리에 그럴듯한 텍스처를 추론하게 하는 장치입니다.
✂️ 3. 무작위 지우기
학습 시 왜곡 옷의 일부를 확률 $\alpha=0.9$ 로 무작위 마스크로 지워 자기 폐색을 흉내 냅니다. 전작의 두 단계 지우기($\alpha_1=0.2$ 팔 패치 제거, $\alpha_2=0.9$ 무작위 마스크) 중 후자에 해당하는 설정이 본문에 명시되어 있습니다. 목적은 같습니다. 학습 시 $J_s=J_t$ 라 거의 완벽한 왜곡 옷을 보는 네트워크가 추론 시의 결손에 대비하도록 하는 것입니다.
💡 Key Takeaway 생성기 쪽의 변경은 “해상도에 맞춘 분기 지점 조정”이 전부입니다. 거친 호모그래피 왜곡을 공간 적응 변조로 흡수한다는 전작의 해법이 $512\times320$ 에서도 그대로 작동함을 보여 줍니다.
손실 함수와 학습 설정
학습은 전작과 같은 비지도 재구성이며, 손실 구성에서 마스크 L1이 파싱 교차 엔트로피로 바뀌고 가중치가 재조정되었습니다.
📐 1. 손실 (Eq. 7–9)
\[L_{rec} = \sum_{I\in\{\tilde{I}', I'\}}\|I - I_s\|_1 \tag{7}\] \[L_{perc} = \sum_{I\in\{\tilde{I}', I'\}}\sum_{k=1}^{5}\lambda_k\|\phi_k(I)-\phi_k(I_s)\|_1 \tag{8}\] \[L = L_{GAN} + \lambda_{rec}L_{rec} + \lambda_{perc}L_{perc} + \lambda_{ce}L_{CE},\qquad \lambda_{rec}=10,\ \lambda_{perc}=20,\ \lambda_{ce}=30 \tag{9}\]$\phi_k$ 는 ImageNet 사전학습 VGG-19 특징이며 층별 $\lambda_k$ 는 명시되지 않았습니다. 적대적 손실은 $S_t$, $\tilde{I}’$, $I’$ 세 출력에 적용됩니다.
⚖️ 2. 전작과의 가중치 비교
| 항 | PASTA-GAN | PASTA-GAN++ |
|---|---|---|
| $\lambda_{rec}$ | 40 | 10 |
| $\lambda_{perc}$ | 40 | 20 |
| 레이아웃 손실 | $\lambda_{mask}=100$ (L1) | $\lambda_{ce}=30$ (CE) |
재구성 계열 가중치가 전반적으로 낮아져 적대적 손실의 상대 비중이 커졌습니다. 고해상도에서 사실적인 세부를 얻으려면 재구성 평균화보다 적대적 신호가 더 필요하다는 선택으로 읽을 수 있습니다. 교차 엔트로피는 L1 마스크 손실과 스케일이 다르므로 가중치를 직접 비교할 수는 없습니다.
⚙️ 3. 구현 세부
| 항목 | 값 |
|---|---|
| 하드웨어 | Tesla V100 8대, PyTorch |
| 배치 / 반복 | 24 / 800만 |
| 최적화 | Adam, $\beta_1=0,\ \beta_2=0.99$, 학습률 0.0005 |
| 해상도 | $512\times320$ |
| 구조 | 전작 PASTA-GAN을 따름 |
전작(배치 96, 400만 반복, 학습률 0.002)에 비해 배치는 1/4, 반복은 2배, 학습률은 1/4입니다. 해상도가 4배 가까이 커진 데 따른 메모리 제약과 안정성 조정으로 보입니다.
💡 Key Takeaway 손실의 뼈대는 같고 레이아웃 항의 형태(L1 마스크 → CE 파싱)와 가중치 균형(재구성 ↓, 적대 ↑)이 바뀌었습니다. 둘 다 고해상도 범용 피팅이라는 목표에서 따라 나오는 조정입니다.
실험: UPT 확장판과 네 가지 피팅 설정
실험은 확장된 UPT 데이터셋에서 상의·하의·전신·원피스 네 설정으로 수행되며, 비교 대상은 공개 모델 기반의 비쌍 방법들과 재학습한 쌍 방법입니다.
📦 1. UPT 데이터셋 확장
| 항목 | PASTA-GAN | PASTA-GAN++ |
|---|---|---|
| 총 이미지 | 33,254 (+MPV·DeepFashion 정면 = 54,714 / 10,493) | 102,468 |
| 해상도 | $256\times192$ 수준 | $512\times320$ |
| 분할 | — | 학습 93,452 / 테스트 9,016 |
| 옷 범주 | 상의 중심 | 긴/반소매 셔츠, 조끼, 슬링, 바지, 반바지, 치마, 원피스 등 |
| 출처 | 자체 수집 + MPV·DeepFashion 정면 | 신규 전자상거래 이미지 + MPV·DeepFashion 정면 |
얼굴 정보는 마스킹되었습니다.
🏆 2. 정량 결과 (Table II, FID ↓ / 사용자 선호 ↑)
| 방법 | 상의 | 하의 | 전신 | 원피스 |
|---|---|---|---|---|
| PB-AFN (쌍, MPV 재학습) | 11.79 / 19.72% | – | – | – |
| DiOr | 25.87 / 0.83% | 28.17 / 1.82% | 26.24 / 5.87% | 54.11 / 0.51% |
| wFlow | 14.30 / 8.33% | 14.71 / 15.76% | 16.36 / 18.10% | 34.81 / 15.64% |
| PWS | 11.15 / 10.83% | 13.29 / 6.37% | 12.60 / 16.19% | 28.44 / 9.23% |
| PASTA-GAN (UPT 재학습) | 6.69 / 13.33% | 8.65 / 18.79% | 9.51 / 19.37% | 32.03 / 7.69% |
| PASTA-GAN++ | 5.65 / 46.94% | 7.40 / 57.27% | 8.20 / 40.48% | 22.89 / 66.92% |
- 사용자 평가는 설문 4개(설정별), 각 30개 무작위 결과, 설문당 자원자 30명이 가장 사실적인 결과를 고른 비율입니다.
- DiOr, PWS, wFlow는 DeepFashion 또는 Dancn50k/DeepFashion으로 사전학습된 공개 모델을 사용했고, PB-AFN은 MPV로 상의만 재학습, PASTA-GAN은 UPT로 재학습했습니다.
🔍 3. 읽어 낼 수 있는 것
- 원피스에서의 역전 : PASTA-GAN은 원피스 FID 32.03, 선호 7.69%로 PWS·wFlow보다 못하지만, PASTA-GAN++는 22.89 / 66.92%로 압도합니다. 상의 패치 집합을 원피스에 적용하고 통합 파싱으로 치마 영역을 정의한 효과입니다.
- FID 격차보다 큰 선호 격차 : 상의 FID는 5.65 vs 6.69로 근소하지만 선호는 46.94% vs 13.33%입니다. 고해상도 세부와 레이아웃 일관성은 분포 지표보다 사람 눈에 더 크게 잡힙니다.
- 범주별 난이도 : 모든 방법에서 하의·전신·원피스 FID가 상의보다 높습니다. 옷 형태의 다양성이 큰 범주가 여전히 어렵습니다.
💡 Key Takeaway 네 설정 모두 1위라는 결과보다 중요한 것은 같은 모델 하나로 네 설정을 처리했다는 점입니다. 범주별 모델을 따로 두던 기존 관행과 달리, 패치 집합과 통합 파싱이 범용성을 구조적으로 제공합니다.
Ablation, 편집 기능, 한계
Ablation은 전작과 같은 네 변형으로 구성되고, 편집 기능은 PASTA-GAN++만의 새로운 응용이며, 한계는 패치 기하의 본질적 제약에서 나옵니다.
🧪 1. Ablation (Fig. 8)
| 모델 | 변경 | 관찰 |
|---|---|---|
| PASTA-GAN⋆ | 온전한 옷을 스타일 인코더에, TSB 없음 | 옷 형태 부정확 |
| PASTA-GAN∗ | 옷 패치를 스타일 인코더에, TSB 없음 | 형태는 정확, 텍스처 복원 실패 |
| PASTA-GAN† | SSB 없음 | 정렬 오차 아티팩트, 흐린 텍스처 |
| PASTA-GAN‡ | 공간 적응 잔차 블록 → 일반 잔차 블록 | 정렬 오차 아티팩트, 흐린 텍스처 |
정량 수치는 Fig. 8에 포함되어 있으나 본문 텍스트에는 없습니다. 결론은 전작과 동일합니다. 패치 입력이 형태를, TSB가 텍스처를, SSB가 레이아웃을, SPADE식 변조가 정렬 오차 흡수를 담당합니다.
🎨 2. 제어 가능한 편집
| 기능 | 메커니즘 |
|---|---|
| 스타일/텍스처 전이(STT) | 기본 피팅. 스타일 코드 + 왜곡 옷 주입 |
| 국소 형태 편집(LSE) | 특정 패치(예: 하완)를 제거·추가해 소매·바지 길이 변경. 파싱 $S_t$ 가 노출 피부 영역을 함께 갱신 |
| 착용 순서 제어(DOC) | 상·하의 몸통 패치의 겹침 영역을 어느 쪽이 차지할지 지정해 “넣어 입기 / 빼 입기” 전환 |
편집이 가능한 이유는 (1) 패치가 신체 부위 단위이고, (2) 통합 파싱이 픽셀 소유권을 하나로 정하며, (3) 피부색 맵 $C_t$ 로 새로 드러나는 피부를 그릴 수 있기 때문입니다.
⚠️ 3. 한계와 열린 방향
- 이음새와 경계 결손 : 사변형 크롭은 여전히 완벽히 맞물리지 않습니다. 무작위 지우기와 특징 인페인팅이 완화하지만, 고해상도에서는 이음새가 더 눈에 띌 수 있습니다.
- 평면 가정 : 호모그래피는 패치를 평면으로 가정합니다. 치마의 주름, 몸을 감싸는 옷, 크게 굽은 팔에서는 실제 변형과 어긋나고, 그 오차는 전부 공간 적응 모듈이 떠안습니다.
- 외부 모듈 의존 : OpenPose 관절과 Graphonomy 파싱이 틀리면 패치 정의와 파싱 정답이 함께 틀립니다. 고정된 $128\times128$ 템플릿도 극단적 종횡비의 패치에는 불리합니다.
- 어려운 범주 : 하의·전신·원피스 FID가 모든 방법에서 높게 남아 있어, 옷 다양성이 큰 범주의 품질은 미해결입니다.
- 정량 ablation 부재 : 본문에 수치가 없어 각 모듈의 기여 크기를 비교하기 어렵습니다.
- 패러다임 전환 : 이후 비쌍 피팅은 확산 모델 기반 조건부 생성으로 이동하고 있으며, 명시적 패치 왜곡 없이 사람-사람 전이를 수행하는 방법들이 등장했습니다. PASTA-GAN++의 패치 표현은 이런 모델의 조건 신호나 편집 인터페이스로 재활용될 여지가 있습니다.
💡 Key Takeaway PASTA-GAN++는 패치 기반 비쌍 피팅을 범용·고해상도·편집 가능한 형태로 완성했습니다. 남은 한계는 패치 기하의 평면 가정과 이음새라는 본질적 제약이며, 이것이 이후 연구가 명시적 왜곡을 버리고 생성 모델에 맡기는 쪽으로 간 이유 중 하나입니다.