0. Summary

기본 정보 : ArXiv,2022.08.29 (AAAI 2023), Frido: Feature Pyramid Diffusion for Complex Scene Image Synthesis

연구 배경

확산 모델(DM)은 고품질 이미지 합성에서 다른 생성 모델 계열을 앞서지만, 목표 이미지가 복잡한 장면이고 조건이 텍스트·레이아웃·장면 그래프처럼 추상적일 때는 한계를 보인다. 논문은 기존 DM의 두 가지 문제를 지적한다. 첫째, 대부분의 DM은 픽셀이든 잠재 특징이든 단일 해상도에서 동작하며 고수준과 저수준 시각 개념을 동등하게 다루므로, “사람이 오토바이를 타고 뒤에 산이 있다” 같은 의미 구조와 구성을 포착하기 어렵다. LDM이 “사람”은 그리지만 “오토바이를 타고”, “배경의 산”이라는 구조는 충분히 만들지 못하는 것이 그 예다(Fig. 1). 둘째, 반복적 denoising 때문에 특히 고해상도에서 학습·추론 비용이 매우 크다. 따라서 거칠게 합성된 고수준 출력을 활용해 다중 스케일 시각 정보를 도입하는 계산 효율적 DM이 필요했다.

제안 방법

이미지를 여러 공간 스케일의 벡터 양자화된 잠재 특징으로 분해하고, 고수준(거친) 스케일부터 저수준(세밀한) 스케일 순서로 denoising하는 Frido(Feature Pyramid Diffusion) 를 제안한다. 구성 요소는 세 가지다. (1) MS-VQGAN : 특징 피라미드 인코더·디코더를 가진 VQGAN 변형으로, 이미지를 $N$개 스케일의 이산 잠재 코드 ${z^1,\dots,z^N}$로 인코딩한다. (2) Feature pyramid diffusion : 모든 스케일에 동시에 노이즈를 더하는 대신 저수준 $z^1$부터 고수준 $z^N$까지 스케일별로 순차 확산하고(총 $N\times T$ 스텝), 역과정은 $z^N$부터 $z^1$까지 이미 생성된 고수준 특징을 조건으로 denoising한다. (3) PyU-Net : 스케일별 경량 투영 층으로 서로 다른 스케일 특징을 공유 공간에 사상해 무거운 U-Net 하나를 모든 스케일에 재사용하고, coarse-to-fine modulation(CFM) 으로 고수준 2D 특징과 스테이지·시간 임베딩을 residual block에 주입한다. 텍스트·레이아웃·장면 그래프·라벨 조건은 BERT 계열 인코더로 토큰화해 cross-attention으로 넣는다.

발견 사실

COCO text-to-image에서 Frido-f16f8은 LDM-8 대비 FID 17.61 → 15.38, classifier-free guidance를 쓰면 12.27 → 11.24, CLIP score 0.6927 → 0.7046으로 개선되었다(Table 1). Scene-graph-to-image에서는 COCO FID 49.14 → 46.11, Visual Genome 36.88 → 31.61(Table 2), label-to-image(3~8 라벨)에서는 FID 51.45 → 47.39와 함께 precision·recall도 높았다(Table 3). Layout-to-image에서는 COCO FID 37.14, OpenImages 29.04로 LDM-4(40.91, 32.02)를 넘었고 YOLO score와 SceneFID도 가장 좋았다(Table 4). 이로써 5개 벤치마크에서 SOTA FID를 달성했다. Ablation에서는 두 LDM을 순차 연결한 baseline(1.18B 파라미터)에 공유 U-Net을 적용하면 파라미터가 590M으로 줄면서 성능이 오르고, CFM을 더하면(총 697M) 모든 지표가 다시 개선되었다(Fig. 5). 속도·품질 trade-off에서는 denoising의 일부를 저해상도에서 처리하므로 같은 추론 예산에서 LDM보다 낮은 FID를 얻었다(Fig. 6).

핵심 기여

  1. 확산 모델에 coarse-to-fine prior 도입 : “무엇을 어떤 순서로 denoising할 것인가”라는 축을 추가했다. 단일 스케일에서 모든 것을 동시에 복원하는 대신 구조(고수준)를 먼저 확정하고 세부(저수준)를 채우는 순서가 복잡한 장면의 의미 정확성을 높인다는 것을 보였다.
  2. MS-VQGAN + PyU-Net + CFM : 다중 스케일 코드북, 스케일 간 공유 U-Net, 고수준 특징과 스테이지·시간을 함께 주입하는 modulation이라는 세 설계가 각각 통계적으로 유의한 개선을 준다는 것을 bootstrap 신뢰구간으로 검증했다.
  3. 5개 복잡 장면 벤치마크 SOTA와 추론 효율 : layout-to-image(COCO, OpenImages), scene-graph-to-image(COCO, VG), label-to-image(COCO)에서 새 최고 FID를 얻었으며, 이미 빠른 축에 속하는 LDM과의 head-to-head 비교에서 같은 예산에서 더 좋은 품질을 보였다.

관련 개념

배경: 확산 모델과 Latent Diffusion

확산 모델(DM) 은 순방향(확산) 과정과 역방향(denoising) 과정으로 이루어집니다. 순방향에서는 데이터 $x_0\sim q(x_0)$가 $T$ 스텝에 걸쳐 거의 표준정규분포 $x_T\sim p(x_T)$로 파괴되고, 역방향에서는 학습된 가우시안 전이로 이를 되돌립니다. Frido는 이 틀을 Latent Diffusion Model(LDM) 위에서 확장하므로, 두 모델의 정의를 먼저 정리합니다.

🔁 1. DDPM의 순방향·역방향 (Eq. 1–3)

\[q(x_{1:T}\mid x_0)=\prod_{t=1}^{T}q(x_t\mid x_{t-1}),\qquad q(x_t\mid x_{t-1})=\mathcal N\!\big(\sqrt{1-\beta_t}\,x_{t-1},\ \beta_t I\big)\] \[p_\theta(x_{0:T})=p(x_T)\prod_{t=1}^{T}p_\theta(x_{t-1}\mid x_t),\qquad p_\theta(x_{t-1}\mid x_t)=\mathcal N\!\big(x_{t-1};\mu_\theta(x_t,t),\sigma_\theta(x_t,t)\big)\]

실제로는 $t$를 무작위로 뽑아 $x_0$와 가우시안 노이즈 $\epsilon$을 스케줄 $\beta_t$로 보간해 $x_t$를 만들고, 노이즈 예측 네트워크 $\epsilon_\theta$를 다음 손실로 학습합니다.

\[L_{DM}=\mathbb E_{x_0,\epsilon,t}\big[\lVert\epsilon-\epsilon_\theta(x_t)\rVert^2\big]\]

🗜️ 2. Latent Diffusion Model (Eq. 4)

픽셀 공간 $x_0\in\mathbb R^{3\times H\times W}$는 차원이 높아 학습·추론 비용이 큽니다. LDM은 사전학습된 오토인코더(VQGAN 또는 KL-autoencoder)의 인코더 $\mathcal E$와 디코더 $\mathcal D$를 써서 저차원 잠재 코드 $z_0=\mathcal E(x_0)\in\mathbb R^{c\times h\times w}$ 위에서 확산을 수행합니다. 보통 $c=4$이고 $h,w$는 $H,W$의 1/8~1/16입니다.

\[q(z_{1:T}\mid z_0)=\prod_{t=1}^{T}q(z_t\mid z_{t-1}),\qquad p_\theta(z_{0:T})=p(z_T)\prod_{t=1}^{T}p_\theta(z_{t-1}\mid z_t)\]

추론 시 $\tilde x_0=\mathcal D(\tilde z_0)$로 복원합니다. $T$는 보통 500~1000이고 오토인코딩은 이미지당 한 번뿐이므로 전체 계산이 크게 줄어듭니다.

⚠️ 3. 단일 스케일 잠재 공간의 문제

LDM의 잠재 코드는 하나의 해상도입니다. 따라서 “어디에 무엇이 있는가”(구조)와 “그것이 어떻게 생겼는가”(세부)가 같은 특징 맵 안에 섞여 있고, 모델은 두 수준을 구분하지 못한 채 공간 전체를 균일하게 복원합니다. 논문은 이것이 복잡한 장면에서 객체 구성과 의미 관계를 놓치는 원인이라고 봅니다. Fig. 1에서 LDM은 “person”은 그리지만 “riding a motorcycle”, “mountain in the background”라는 구조를 충분히 만들지 못합니다.

💡 Key Takeaway Frido의 출발점은 LDM의 효율성을 유지하면서, 잠재 공간을 의미 수준이 다른 여러 스케일로 나누고 그 순서를 denoising에 반영하자는 것입니다.

MS-VQGAN: 다중 스케일 지각 잠재 표현

MS-VQGAN(Multi-Scale VQGAN) 은 VQGAN을 확장해 특징 피라미드 인코더 $\mathcal E$와 디코더 $\mathcal D$를 가진 다중 스케일 오토인코더입니다. 이미지를 coarse-to-fine으로 모델링하기 전에, 먼저 이미지를 여러 공간 해상도의 잠재 코드로 인코딩하는 역할을 합니다(Sec. 3.1, Fig. 3a).

🧱 1. 인코더: $N$개 스케일의 특징 맵

이미지 $x_0$가 주어지면 인코더는 $N$개 스케일의 잠재 특징 집합을 만듭니다.

\[Z=\mathcal E(x_0)=\{z^{1:N}\},\qquad z^{n}\in\mathbb R^{c\times\frac{s}{2^{n-1}}\times\frac{s}{2^{n-1}}}\]

여기서 $N$은 특징 맵(스테이지) 수, $c$는 채널 수, $s$는 가장 큰 특징 맵의 크기입니다. 설계 의도는 $z^1$이 저수준 시각 세부를, $z^N$이 고수준 형태와 구조를 보존하도록 하는 것입니다. 즉 $z^1$이 가장 해상도가 높은 세밀한 스케일이고 $z^N$이 가장 거친 스케일입니다.

🔗 2. 양자화·융합·디코딩

  • 각 스케일의 특징은 벡터 양자화됩니다. 양자화는 VQ-VAE 방식의 학습을 가능하게 하고, 이산 토큰으로 다른 모달리티와 연결하기 쉽게 합니다.
  • Fig. 3a의 구조에서는 상위 스케일 특징을 업샘플해 하위 스케일에서 빼는(subtraction) 방식으로 스케일 간 중복을 줄이고, 양자화 후 모든 스케일을 같은 크기로 업샘플해 채널 방향으로 이어 붙여 디코더에 넣습니다.
  • 디코더는 고수준부터 저수준까지 모든 표현을 합쳐 이미지를 복원합니다. $\mathcal D(Z)=\tilde x_0$.

🎯 3. 학습 목적과 효과

목적 함수는 $x_0$와 $\tilde x_0$ 사이의 $\ell_2$ 손실과 VQGAN의 다른 지각 손실(patch discriminator 손실, perceptual reconstruction 손실)의 가중합입니다. 논문은 이 설계가 이미지를 서로 다른 의미 수준의 다중 스케일 코드로 인코딩할 뿐 아니라, 단일 스케일 VQGAN보다 구조와 세부를 더 잘 보존한다고 보고합니다(Sec. 4.3의 PSNR·SSIM 재구성 분석).

표기 의미
f$n$ 잠재 특징 하나가 원본 $n\times n$ 픽셀에 대응
Frido-f16f8 256×256 이미지를 16×16(고수준) + 32×32(저수준) 코드로 생성
Frido-f8f4 32×32(고수준) + 64×64(저수준) 코드로 생성
LDM-$n$ 특징 하나가 $n\times n$ 픽셀에 대응하는 단일 스케일 LDM

💡 Key Takeaway MS-VQGAN은 “구조”와 “세부”를 서로 다른 해상도의 코드북에 구조적으로 분리해 둡니다. 이 분리가 있어야 뒤의 확산 과정이 두 수준을 다른 순서로 다룰 수 있습니다.

Feature Pyramid Diffusion: 스케일 순서가 있는 확산

Frido의 확산·denoising 과정은 모든 스케일에 동시에 노이즈를 더하는 대신 스케일을 하나씩 순서대로 처리합니다. 이것이 논문 제목의 “feature pyramid diffusion”이 뜻하는 바이며, 고전적 확산이 픽셀을 편향 없이 파괴하는 것과 질적으로 다른 파괴 순서를 만듭니다(Sec. 3.2, Appendix A).

⏩ 1. 순방향: 저수준에서 고수준으로 (Eq. 7)

$N$개 스케일 $Z={z^1,\dots,z^N}$에 대해, 저수준 $z^1$부터 고수준 $z^N$까지 순차적으로 각 스케일에 $T$ 스텝의 확산을 적용합니다. 총 $N\times T$ 타임스텝입니다.

\[q(z^{1:N}_{1:T}\mid Z)=\prod_{n=1}^{N}\prod_{t=1}^{T}q(z^{n}_t\mid z^{n}_{t-1}),\qquad q(z^{n}_t\mid z^{n}_{t-1})=\mathcal N\!\big(\sqrt{1-\beta_t}\,z^{n}_{t-1},\ \beta_t I\big)\]

논문이 관찰한 바로는, 이 순방향 과정은 객체 세부 → 객체 형태 → 전체 이미지 구조 순으로 정보를 파괴합니다. 픽셀 노이즈처럼 모든 주파수를 동시에 지우는 것이 아니라 의미 수준별로 지우므로, 모델이 서로 다른 의미 수준의 정보를 포착할 수 있게 됩니다.

⏪ 2. 역방향: 고수준에서 저수준으로 (Eq. 8)

Denoising은 결합 분포 $p(z^{1:N}_T)\sim\mathcal N(0,I)$에서 시작해 고수준 $z^N$부터 저수준 $z^1$까지 순차적으로 진행됩니다. $n$번째 스케일의 denoising은 이미 생성된 $z^N_0,z^{N-1}_0,\dots,z^{n+1}_0$을 조건으로 합니다.

\[p_\theta(z^{n}_{0:T}\mid z^{n+1:N})=p(z^{n}_T)\prod_{t=1}^{T}p_\theta(z^{n}_{t-1}\mid z^{n}_t,z^{n+1:N})\] \[p_\theta(z_{t-1}\mid z_t,z^{n+1:N})=\mathcal N\!\big(z_{t-1};\mu_\theta(z_t,t,z^{n+1:N}),\ \sigma_\theta(z_t,t,z^{n+1:N})\big)\]

즉 모델은 “이미 정해진 구조 위에 세부를 채우는” 문제만 풀면 됩니다. 결과적으로 Fig. 1처럼 디코딩된 이미지가 전역 구조에서 세부로 coarse-to-fine 방식으로 재구성됩니다.

🎯 3. 학습 목적 (Eq. 5, Eq. 9)

Denoising 오토인코더 $\epsilon_\theta(z^n_t,z^{n+1:N}_0,t)$의 열($t=1,\dots,T$, $n=N,\dots,1$)을 학습하며, 목적은 Eq. 3을 다음과 같이 수정한 것입니다.

\[L_{Frido}=\mathbb E_{z^{n}_0,\epsilon,t}\Big[\big\lVert\epsilon-\epsilon_\theta\big(\sqrt{\tilde\alpha_t}\,z^{n}_0+\sqrt{1-\tilde\alpha_t}\,\epsilon,\ z^{n+1:N}_0,\ t\big)\big\rVert^2\Big]\]
  • $t$는 $1,\dots,T$에서, $n$은 $1,\dots,N$에서 균일하게 샘플링합니다.
  • 학습 효율을 위해 sequence-to-sequence 언어 모델처럼 teacher forcing을 씁니다. 저수준 맵을 denoising할 때 조건으로 모델이 생성한 고수준 특징이 아니라 ground-truth 고수준 특징을 사용합니다.
  • 테스트 시에는 $p(z^{1:N}_0)$의 샘플을 사전학습된 디코더 $\mathcal D$로 픽셀 공간에 복원합니다.

💡 Key Takeaway Frido는 확산의 수식 자체를 바꾸지 않습니다. 바꾼 것은 어떤 변수에 어떤 순서로 적용하느냐입니다. 그 순서가 “구조 먼저, 세부 나중”이라는 사람의 그리기 순서를 닮게 만듭니다.

PyU-Net과 Coarse-to-Fine Modulation

PyU-Net(feature Pyramid U-Net) 은 coarse-to-fine denoising을 위한 신경 근사기입니다. 스케일마다 별도의 U-Net을 두는 대신 하나의 U-Net을 공유하고, 고수준 특징을 저수준 denoising에 주입하는 전용 modulation을 갖습니다(Sec. 3.2, Fig. 3b, Fig. 4).

🧩 1. 공유 U-Net과 스케일별 투영

$N=2$ ($Z={z^1_0,z^2_0}$)를 예로 들면 PyU-Net은 네 가지 입력을 받습니다.

입력 내용
(1) 스테이지 $s$와 타임스텝 $t$ 임베딩
(2) 고수준 특징 조건 $z^2_0$
(3) 목표 특징 맵 $z^1_t$
(4) 기타 cross-modal 조건 $c$ (텍스트, 레이아웃, 장면 그래프 등)
  • Denoising 목표 $z^1_t$는 먼저 스케일별 경량 투영 층 $\Phi^1_e$ 로 공유 공간에 사상되어 공유 U-Net을 통과하고, 다시 스케일별 투영 $\Phi^1_d$ 로 복원되어 $z^1_t$에 더해진 노이즈 $\epsilon$을 예측합니다.
  • U-Net은 타임스텝 $t$뿐 아니라 스케일 $s$에 대해서도 공유됩니다. 이렇게 하면 스테이지별 U-Net 대비 학습 파라미터가 줄 뿐 아니라 결과도 좋아집니다(ablation 참조).
  • Cross-modal 조건은 LDM처럼 transformer block의 cross-attention으로 주입됩니다.

🎛️ 2. Coarse-to-Fine Modulation (CFM, Eq. 6)

CFM은 (1) 2D 고수준 특징과 (2) 1D 스테이지·시간 임베딩을 residual block에 통합해, 모델에 고수준 특징 인식과 스테이지·시간 인식을 함께 부여합니다. 정규화된 특징 위에 두 종류의 modulation이 순차적으로 적용되며, 그 사이에 conv와 SiLU가 들어갑니다.

(a) 노이즈 증강 : 고수준 ground truth $z^2_0$에 먼저 노이즈를 섞습니다.

\[f_z=M(z^2_0),\qquad M(z^n_0)=\alpha\cdot z^n_0+(1-\alpha)\cdot\epsilon,\quad\epsilon\sim\mathcal N(0,I)\]

$\alpha$는 하이퍼파라미터이며, 부록 표의 “noise ratio” 0.1이 이 증강의 세기에 해당합니다. Teacher forcing으로 ground truth만 보고 학습된 모델이 추론 시 자신이 생성한 불완전한 고수준 특징에 과도하게 의존하지 않도록 하는 장치입니다.

(b) 첫 번째 modulation: 2D 공간적 스케일·시프트

CFM의 입력을 $f_i$라 하면, 정규화된 특징 $\mathrm{norm}(f_i)$를 고수준 특징 $f_z$에서 두 개의 conv로 만든 2D 스케일·시프트 파라미터로 변조합니다.

\[h=\mathrm{conv}\circ\mathrm{SiLU}\big(\mathrm{conv}(f_z)\times\mathrm{norm}(f_i)+\mathrm{conv}(f_z)\big)\]

(c) 두 번째 modulation: 1D 스테이지+시간

$h$를 선형 층으로 변환한 $s+t$ 임베딩으로 AdaIN 방식으로 다시 변조하고 conv와 SiLU를 거쳐 출력 $f_o$를 만듭니다. Fig. 4는 이를 “multiscale AdaIN”이라 부릅니다.

📦 3. 왜 이 설계인가

  • SPADE/AdaIN 계열과의 관계 : 고수준 특징을 공간적으로 변하는 스케일·시프트로 주입하는 것은 SPADE 류 공간 적응 정규화와 같은 발상이며, 1D 임베딩 변조는 AdaIN입니다. 두 가지를 하나의 residual block 안에서 순차적으로 결합한 것이 CFM입니다.
  • 파라미터 효율 : 저자들은 PyU-Net이 VQ-VAE-2 식의 고전적 계층 학습 전략에 비해 적당한 파라미터 증가로 coarse-to-fine 학습 능력을 부여한다고 강조합니다. Ablation 수치로는 공유 U-Net으로 1.18B → 590M, CFM 추가로 697M입니다.
  • 세 패러다임의 결합 : Frido는 VAE(오토인코더), GAN(VQGAN의 판별기 손실), DM 세 생성 패러다임을 물려받고 여기에 coarse-to-fine prior를 더한 모델입니다.

💡 Key Takeaway CFM은 “고수준 특징을 힌트로 주되 세부 학습을 방해하지 않도록” 노이즈 증강과 정규화 기반 변조로 조절합니다. 공유 U-Net은 파라미터를 절반으로 줄이면서 오히려 성능을 올렸습니다.

실험 설정과 조건 인코딩

실험은 복잡 장면의 조건부 생성 네 과제와 보조적인 무조건 생성에서 이루어졌으며, 평가는 FID·IS 외에 과제별 지표를 사용합니다(Sec. 4.1, Appendix B–C).

🗂️ 1. 과제·데이터셋·지표

과제 데이터셋 (학습/평가) 주요 지표
Text-to-image (T2I) COCO 2014 (83K / 41K 전체 val) FID, IS, CLIP score
Scene-graph-to-image (SG2I) COCO-stuff 2017 segmentation split (25K/2K), Visual Genome sg2im 부분집합 (62K/5K) FID, IS, 관계 triplet을 캡션으로 바꾼 CLIP score
Label-to-image (Label2I) COCO 2017 Panoptic (118K/5K), 3~8 객체(3,276장)와 2~30 객체(4,722장) 두 설정 FID, IS, precision, recall
Layout-to-image (Layout2I) COCO-stuff 2017 segmentation split, OpenImages (각 2,048장 평가) / TwFA 설정의 COCO-stuff·VG FID, YOLO score(YOLOv4 AP@0.5), SceneFID
Unconditional LSUN-bed, CelebA-HQ, Landscape (50k 샘플 vs 전체 학습셋) FID, precision, recall
  • SceneFID : 생성 이미지를 ground-truth 박스로 잘라 인스턴스 단위로 FID를 계산해 객체 수준 품질을 봅니다.
  • Precision / Recall : 생성 샘플이 실제 분포의 support에 들어갈 확률(사실성)과 실제 샘플이 생성 분포의 support에 들어갈 확률(다양성)입니다.
  • 조건부 생성의 정성 결과(Fig. 2)는 classifier-free guidance $s=1.5$, Table 1의 “G” 표기는 guidance scale 2.0입니다.

🔤 2. 다중 모달 조건의 인코딩 (Appendix B.3)

조건 인코딩
텍스트 BERT tokenizer → BERT transformer로 임베딩 열 생성 (LDM·GLIDE와 동일)
장면 그래프 LT-Net을 따라 word 토큰, part-of-pair 토큰, object ID 토큰 세 열로 변환 후 BERT 임베딩을 합산
라벨 라벨을 범주 이름으로 바꿔 이어 붙인 텍스트 열로 취급
레이아웃 LDM의 이산화를 따라 각 박스를 (좌상단 $l$, 우하단 $b$, 범주 $c$) 튜플 토큰 열로 변환 후 BERT transformer 인코더

⚙️ 3. 주요 하이퍼파라미터 (Table A)

항목 조건부 과제 (Frido-f16f8) Layout2I (Frido-f8f4)
확산 스텝 / 스케줄 1000 / linear 1000 / linear
특징 스케일 수 2 2
PyU-Net 채널 / res block / channel multiplier 192 / 2 / (1,2,3,5) 동일
Attention 해상도 / head 수 / context dim (2,4,8) / 6 / 640 동일
Noise ratio 0.1 0.1
배치 / base lr 32 / 2e-7 (Label2I는 1e-6) 12 / 1e-7
학습 epoch T2I 300, SG2I 250(COCO)/150(VG), Label2I 150, Layout2I 500 COCO 200 (OpenImages 모델에서 fine-tuning) / OpenImages 25
최대 시퀀스 길이 T2I 77, SG2I 180, Label2I 77, Layout2I 96 96

학습은 Tesla V100 8장, PyTorch Lightning 1.4.2, float32, AdamW(betas 0.9/0.999, weight decay 0.01), 스케줄러 없음, seed 23입니다. 추론은 LDM이 $T=250$, Frido가 $T=200$(T2I 기준)을 씁니다.

💡 Key Takeaway 모든 조건은 토큰 열로 통일되어 같은 cross-attention 경로로 들어갑니다. Frido의 설계는 조건 종류에 종속되지 않으므로 네 과제가 한 틀에서 처리됩니다.

실험 결과: 다섯 벤치마크의 SOTA

조건부 복잡 장면 생성 결과는 Table 1~4에 정리되어 있습니다. 공정한 비교를 위해 LDM은 공식 코드와 설정으로 재현(†)했고, 일부는 공식 체크포인트(‡)에서 얻었습니다.

📝 1. Text-to-image on COCO (Table 1)

방법 FID ↓ IS ↑ CLIP ↑
AttnGAN 33.10 23.61 -
Obj-GAN 36.52 24.09 -
DM-GAN 27.34 32.32 -
DF-GAN 21.42 - -
LDM-8† 17.61 19.34 0.6500
VQ-diffusion‡ 14.06 21.85 0.6770
LDM-8-G† 12.27 27.86 0.6927
Frido-f16f8 15.38 19.32 0.6607
Frido-f16f8-G 11.24 26.82 0.7046
LAFITE-CLIP‡ (학습 시 CLIP 사용) 8.12 32.24 0.7915
Frido-f16f8-G-CLIPr (추론 시 CLIP 재순위, 10회) 8.97 27.43 0.7991

Guidance 유무와 무관하게 Frido는 LDM보다 FID 약 2 포인트, CLIP score 약 1 포인트 좋습니다. LAFITE는 웹 규모 데이터로 학습된 CLIP을 학습에 사용한 다른 설정이며, Frido는 테스트 시 CLIP 재순위만으로 비슷한 FID와 CLIP score에 도달했습니다. 학습 시 CLIP 활용은 향후 과제로 남깁니다.

🕸️ 2. Scene-graph-to-image (Table 2)

방법 COCO FID ↓ IS ↑ CLIP ↑ VG FID ↓ IS ↑ CLIP ↑
GT - - 0.766 - - 0.662
Sg2Im 127.0 6.179 - - - -
WSGC 119.1 7.235 - 45.7 10.69 -
LDM-8† 49.14 13.33 0.627 36.88 14.60 0.611
Frido-f16f8 46.11 13.41 0.642 31.61 15.07 0.613

장면 그래프의 (subject, predicate, object) triplet을 이어 붙여 캡션으로 만든 뒤 CLIP score를 재면, Frido는 COCO에서 약 2%, VG에서 약 0.2% 앞섭니다. 특징 피라미드와 coarse-to-fine 전략이 복잡한 관계의 모델링을 개선한다는 정량 증거입니다.

🏷️ 3. Label-to-image on COCO (Table 3)

설정 방법 FID ↓ IS ↑ Precision ↑ Recall ↑
3~8 라벨 LayoutVAE 60.7 - - -
  +LostGAN 74.06 11.66 0.231 0.473
  LDM-8† 51.45 15.05 0.434 0.576
  Frido-f16f8 47.39 14.73 0.437 0.595
2~30 라벨 LDM-8† 29.17 18.00 0.563 0.554
  Frido-f16f8 27.65 17.70 0.573 0.542

Label2I는 장면 구조가 조건에 명시되지 않아 모델이 객체를 자유롭게 조합해 일관된 이미지를 만들어야 하는 과제입니다. Frido는 FID뿐 아니라 precision과 recall에서도 앞서, 다중 객체 이미지의 품질과 데이터 매니폴드 모델링이 모두 나아졌음을 보입니다. 더 어려운 2~30 라벨 설정에서도 SOTA FID를 유지합니다.

🗺️ 4. Layout-to-image (Table 4, Table D)

방법 COCO FID ↓ YOLO ↑ SceneFID ↓ OpenImages FID ↓ SceneFID ↓
LostGAN-V2 42.55 - - - -
OC-GAN 41.65 - - - -
SPADE 41.11 - - - -
VQGAN+T 56.58 - 24.07 45.33 15.85
LDM-8† (100 steps) 41.02 14.67 21.63 - -
LDM-4 (200 steps) 40.91 - - 32.02 -
Frido-f16f8 (100 steps) 38.95 16.71 17.69 - -
Frido-f8f4 (200 steps) 37.14 17.22 14.91 29.04 12.77

FID는 모든 기존 방법보다 최소 2 포인트 낮고, YOLO score와 SceneFID도 최고여서 인스턴스 수준에서 가장 사실적인 객체를 만듭니다. TwFA 설정의 표준 COCO-stuff·VG(Table D)에서도 Frido-f8f4-G가 COCO FID 21.67, YOLO 30.4, SceneFID 10.44, VG FID 17.24, SceneFID 6.52로 TwFA(22.15 / 11.99 / 17.74 / 7.54)를 넘었습니다.

🖼️ 5. 무조건 생성과 사용자 연구

CelebA-HQ 무조건 생성에서 Frido-f8f4는 FID 6.38, precision 0.71, recall 0.50으로 LDM-4(5.11 / 0.72 / 0.49)보다 FID는 조금 높지만 recall은 비슷하거나 약간 높습니다(Table E). 즉 Frido의 강점은 객체 중심 이미지보다 복잡한 장면에 있습니다. 22명에게서 1,320개 답변을 모은 사용자 연구에서는 조건 관련성에서 Frido가 LDM·VQ-Diffusion·LAFITE를 분명한 차이로 앞섰고, 이미지 충실도에서는 T2I의 LDM을 제외한 모든 비교에서 앞섰습니다. LDM이 T2I 충실도에서 선호된 것은 조건과의 일치도가 낮더라도 시각적으로 매끄러운 이미지를 내는 경향 때문이라고 설명합니다.

💡 Key Takeaway 다섯 벤치마크 모두 “여러 객체와 그 관계”가 핵심인 과제이고, 거기서 Frido가 일관되게 앞섭니다. 반대로 단일 객체 중심의 CelebA-HQ에서는 LDM과 비슷하다는 점이 coarse-to-fine prior가 어디에 효과적인지를 보여 줍니다.

모델 분석: Ablation과 속도·품질 Trade-off

모델 분석(Sec. 4.3) 은 Frido의 핵심 설계가 각각 얼마나 기여하는지, 그리고 추론 비용 측면에서 LDM과 어떻게 비교되는지를 다룹니다.

🧪 1. Ablation 설계 (Fig. 5)

COCO T2I와 VG SG2I에서 수행했으며, 더 많은 실험을 위해 250K 반복으로 학습하고 dev 점수가 가장 좋은 모델을 더 학습해 Sec. 4.2의 최종 점수를 얻었습니다. 평균과 95% 신뢰구간은 테스트셋 크기만큼 100회 재표본하는 bootstrap 검정으로 보고합니다.

단계 구성 파라미터 결과
Baseline LDM 두 개의 단순 순차 학습. LDM-16이 고수준 맵을, LDM-8이 저수준 맵을 학습하며 LDM-16 출력과 denoising 목표를 채널 concat해 LDM-8에 입력 1.18B 기준
+ PyU-Net (CFM 없음) 스테이지별 U-Net을 공유 U-Net으로 교체 590M 파라미터 절반, 성능 향상
+ CFM coarse-to-fine modulation 추가 697M 모든 지표 추가 향상

각 구성 요소가 생성 결과를 유의하게 개선하며, PyU-Net과 CFM을 모두 갖춘 모델은 모든 지표에서 LDM보다 유의하게 좋습니다. 단순 concat으로 고수준 특징을 주는 baseline보다 정규화 기반 변조(CFM)가 더 효과적이라는 점이 핵심입니다.

⏱️ 2. 속도·품질 Trade-off (Fig. 6)

COCO-stuff T2I와 VG SG2I 검증셋에서 V100 1장, 배치 32로 추론 타임스텝 $T\in{25,50,100,200}$를 바꾸며 이미지당 추론 비용 대비 FID를 그렸습니다. 비슷한 추론 예산에서 Frido가 LDM보다 뚜렷이 좋은 FID를 얻습니다. LDM은 잠재 공간에서 동작해 DM 중 빠른 편인데, Frido는 denoising 부하의 일부를 더 낮은 해상도에서 처리하므로 비용을 더 줄입니다. Table 4에서도 같은 100 스텝에서 Frido-f16f8이 LDM-8을 앞섭니다.

📐 3. 다중 스케일 구성에 대한 분석

부록 Table C는 스케일 수와 해상도를 바꾼 분석(Frido-f16f8, f8f4, f32f16f8, f16f8f4)을 위한 설정을 보여 줍니다. 본문 결과에서는 2스케일 구성이 주로 쓰였고, 더 세밀한 f8f4가 f16f8보다 FID가 낮지만(Table 4: 37.14 vs 38.95) 배치 크기를 32에서 12로 줄여야 할 만큼 비용이 큽니다. 3스케일 구성은 배치 2~12로 학습되어 실험적 탐색 수준에 머뭅니다.

💡 Key Takeaway “같은 틀에 U-Net을 두 개 두는 것”과 “하나를 공유하고 제대로 변조하는 것”의 차이가 파라미터 절반과 유의한 FID 개선으로 나타났습니다. 효율은 저해상도 denoising에서, 품질은 CFM에서 옵니다.

관련 연구 맥락: 2단계 생성과 Coarse-to-Fine

Frido의 위치를 이해하려면 두 흐름을 함께 봐야 합니다. 잠재 공간을 먼저 배우고 그 위에 생성 모델을 올리는 2단계 생성 모델, 그리고 저해상도나 고수준 정보부터 단계적으로 합성하는 coarse-to-fine 생성입니다(Sec. 5).

🔗 1. 2단계 생성 모델

VQ-VAE는 이미지를 낮은 공간 해상도의 이산 잠재 공간으로 인코딩한 뒤 자기회귀 네트워크로 그 공간을 모델링합니다. 1단계의 벡터 양자화는 오토인코더 학습을 가능하게 하고, 이산 토큰을 통해 언어·오디오 같은 다른 모달리티와 매끄럽게 연결됩니다. 2단계에서는 자기회귀 모델(PixelCNN, VQGAN)이나 확산 모델(LDM, VQ-Diffusion)이 쓰입니다. Frido는 두 단계 모두에 기여합니다. 1단계에 MS-VQGAN을, 2단계에 PyU-Net 기반 DM을 제안했기 때문입니다.

🪜 2. Coarse-to-fine 생성 접근

계열 방식 Frido와의 차이
픽셀 공간 저→고해상도 DRAW, AttnGAN, StackGAN, cascaded diffusion 전체 해상도의 1/8 등에서 시작해 반복 업스케일. 스케일마다 별도 네트워크
잠재 공간 고→저수준 VQ-VAE-2, Child 등의 계층적 VAE 계층별 prior를 따로 학습
Frido 잠재 특징 피라미드를 스케일 간 공유 네트워크로 순차 denoising 단일 스케일 모델 대비 오버헤드 최소화

핵심 차이는 핵심 네트워크를 모든 스케일에서 공유한다는 점입니다. 그래서 단일 스케일 모델 대비 추가 비용이 작습니다.

🌐 3. 대규모 사전학습 T2I와의 관계

DALL·E 2처럼 웹 규모 이미지-텍스트 쌍으로 사전학습한 T2I 모델이 주목받고 있지만, Frido는 이와 직교(orthogonal) 합니다. Frido가 탐구하는 것은 coarse-to-fine 합성과 텍스트 너머의 다중 모달 입력이며, 대규모 데이터 없이 COCO 수준의 데이터로 학습됩니다. FPN이 검출에서 “coarse feature의 의미 정보를 fine feature에 전달”했듯, Frido는 같은 직관을 생성 모델의 확산 순서로 옮긴 것으로 읽을 수 있습니다.

💡 Key Takeaway Frido는 VQ-VAE-2의 계층적 잠재 표현, LDM의 잠재 확산, StackGAN 류의 coarse-to-fine 순서를 하나로 묶되, 공유 네트워크와 modulation으로 비용을 억제한 모델입니다.

한계와 열린 방향

Frido의 결론은 확산 모델 계열에서 충분히 탐구되지 않았던 coarse-to-fine prior가 복잡한 장면 생성에 효과적이며, 추론 비용이라는 DM의 고질적 문제도 완화한다는 것입니다. 그러나 설계와 실험에서 드러나는 한계도 있습니다.

⚠️ 1. 설계상의 한계

  • 별도의 MS-VQGAN 학습 : 과제·해상도별로 MS-VQGAN(f16f8, f8f4 등)을 따로 학습해야 하며, 확산 모델의 품질 상한은 이 오토인코더의 재구성 품질에 묶입니다.
  • 고정된 스케일 분할 : 스케일 수는 2(일부 분석에서 3)로 고정되어 장면 복잡도에 적응하지 못합니다. 3스케일 구성은 배치 크기를 크게 줄여야 할 만큼 비용이 커서 본격적으로 평가되지 않았습니다.
  • 순차 denoising의 누적 비용 : 각 스케일이 $T$ 스텝을 쓰므로 총 타임스텝은 $N\times T$입니다. 저해상도 스케일은 싸지만, 스케일 수를 늘리면 샘플링 스텝은 선형으로 늘어납니다.
  • Teacher forcing과 노출 편향 : 학습 시 ground-truth 고수준 특징을 조건으로 쓰므로, 추론 시 모델이 생성한 불완전한 고수준 특징과의 분포 차이(exposure bias)가 생깁니다. 노이즈 증강(noise ratio 0.1)이 이를 완화하는 장치이지만 체계적 분석은 제시되지 않았습니다.

📊 2. 실험상의 한계

  • IS는 일관되게 앞서지 못함 : Label2I와 T2I(guidance 적용 시)에서 IS는 LDM보다 약간 낮습니다. 논문은 FID가 사람 판단과 더 상관이 높다고 설명하지만, 지표 간 불일치는 남아 있습니다.
  • 객체 중심 데이터에서는 이점이 작음 : CelebA-HQ 무조건 생성에서 FID는 LDM-4보다 높습니다(6.38 vs 5.11). coarse-to-fine prior는 복잡 장면에 특화된 이점입니다.
  • 사용자 연구의 T2I 충실도 : LDM이 시각적 매끄러움에서 선호되었다는 결과는, 조건 일치와 지각 품질 사이의 trade-off가 완전히 해소되지 않았음을 시사합니다.
  • CLIP 활용 범위 : CLIP은 추론 시 재순위에만 쓰였고, LAFITE처럼 학습에 통합하는 것은 향후 과제입니다.

🔭 3. 열린 방향

방향 내용
학습 시 CLIP 통합 웹 규모 이미지-텍스트 지식을 Frido의 조건 경로에 결합
적응적 스케일 수 장면 복잡도에 따라 스케일 수와 각 스케일의 스텝 수를 조절
스케일 간 스텝 배분 고수준 스케일에 적은 스텝, 저수준에 많은 스텝을 주는 비균일 스케줄
다중 해상도 잠재 확산의 일반화 cascaded diffusion, 다중 해상도 잠재 확산, 이후의 피라미드형 확산 연구와의 연결

💡 Key Takeaway Frido가 남긴 질문은 “확산의 순서를 의미 수준에 맞추면 좋아진다”는 것이 확인된 뒤, 그 순서와 분할을 어떻게 자동으로 정할 것인가입니다. 고정된 2스케일 피라미드는 출발점이지 종착점이 아닙니다.