You know maize mean?
High-Resolution Image Synthesis with Latent Diffusion Models
0. Summary
기본 정보 : ArXiv,2021.12.20 (CVPR 2022), High-Resolution Image Synthesis with Latent Diffusion Models
연구 배경
확산 모델(diffusion model, DM)은 노이즈 제거 오토인코더의 계층으로 이미지 생성을 분해해 클래스 조건부 합성과 초해상도에서 최고 성능을 보였고, GAN 과 달리 모드 붕괴나 학습 불안정이 없으며 자기회귀 모델처럼 수십억 파라미터가 필요하지도 않다. 그러나 이들은 픽셀 공간에서 직접 동작하기 때문에 우도 기반 모델의 모드 커버링 성질상 지각적으로 무의미한 세부에 과도한 용량과 계산을 쓰고, 강력한 모델 하나를 학습하는 데 수백 GPU-일(예: 150 ~ 1000 V100-일)이 들며, 추론도 A100 한 장으로 5만 장을 만드는 데 약 5일이 걸린다. 저자들은 학습된 픽셀 공간 DM 의 율-왜곡(rate-distortion) 곡선(Fig. 2)에서 학습이 지각적 압축(고주파 세부 제거) 단계와 의미적 압축(개념 구성 학습) 단계로 나뉜다는 점에 주목하고, 지각적으로 동등하지만 계산적으로 더 적합한 공간을 먼저 찾아 그곳에서 DM 을 학습하자고 제안한다.
제안 방법
잠재 확산 모델(Latent Diffusion Model, LDM) 은 학습을 두 단계로 분리한다. 첫째, 지각 손실(LPIPS)과 패치 기반 적대 손실로 오토인코더를 학습해 다운샘플링 비율 $f=H/h$ 로 이미지 $x\in\mathbb{R}^{H\times W\times3}$ 를 잠재 $z=\mathcal{E}(x)\in\mathbb{R}^{h\times w\times c}$ 로 압축한다. 잠재 공간의 분산이 커지는 것을 막기 위해 약한 KL 벌칙(KL-reg, 가중치 약 $10^{-6}$) 또는 디코더 내부의 벡터 양자화(VQ-reg) 중 하나를 사용한다. 둘째, 이 2차원 잠재 공간에서 시간 조건부 UNet $\epsilon_\theta(z_t,t)$ 를 $L_{LDM}=\mathbb{E}\big[|\epsilon-\epsilon_\theta(z_t,t)|2^2\big]$ 로 학습한다. 조건부 생성을 위해 UNet 중간 층에 교차 주의(cross-attention) 를 넣어 도메인 인코더 $\tau\theta(y)$ 가 만든 토큰 시퀀스(텍스트, 레이아웃, 클래스)를 Key·Value 로 받게 하고, 초해상도·인페인팅·의미 맵처럼 공간 정렬된 조건은 잠재에 연결(concatenation)해 넣는다. 범용 오토인코더는 한 번만 학습해 여러 DM 학습에 재사용한다.
발견 사실
압축 비율 $f\in{1,2,4,8,16,32}$ 를 비교하면 $f=1,2$ 는 지각적 압축을 DM 이 떠안아 학습이 느리고 $f=32$ 는 정보 손실로 품질이 일찍 정체되며, LDM-4 ~ LDM-8 이 효율과 품질의 균형점이다. 무조건 생성에서 LDM-4 는 CelebA-HQ FID 5.11(당시 SOTA), FFHQ 4.98, LSUN-Bedrooms 2.95, LDM-8 은 LSUN-Churches 4.02 를 기록했고, 학습 비용은 CelebA-HQ 14.4, FFHQ 26, Bedrooms 약 55 ~ 60 V100-일 수준이었다. MS-COCO 텍스트-이미지에서 1.45B 파라미터 LDM-KL-8-G 는 classifier-free guidance($s=1.5$, 250 DDIM 단계)로 FID 12.63, 클래스 조건부 ImageNet 에서 LDM-4-G 는 FID 3.60 으로 ADM-G(4.59)를 넘으면서 파라미터와 계산은 더 적었다. ImageNet $4\times$ 초해상도에서 LDM-SR 은 SR3 보다 FID 가 좋고(2.8 대 5.2) PSNR·SSIM 은 낮았으며, Places 인페인팅에서 LDM-4(big, fine-tuned)는 LaMa 를 FID 9.39 대 12.0(40 ~ 50% 마스크)으로 앞섰다. 공간 조건은 $256^2$ 로 학습한 모델이 합성곱 방식으로 $512\times1024$ 이상, 메가픽셀급까지 일반화되었다.
핵심 기여
- 지각적 압축과 생성의 분리 : 오토인코더로 지각적 압축을 먼저 처리하고 DM 은 의미적 압축에만 집중하게 해, 복잡도 감소와 세부 보존 사이의 거의 최적점에 도달했다. 재구성과 생성 능력 사이의 섬세한 가중 조정이 필요 없고 잠재 공간 정규화도 거의 필요 없다.
- 교차 주의 기반 범용 조건화 : 트랜스포머 인코더와 UNet 을 교차 주의로 연결해 텍스트·레이아웃·클래스 등 임의의 토큰 조건을 받는 구조를 설계했고, 공간 조건은 연결 방식으로 처리해 합성곱 방식으로 $\sim1024^2$ 이미지를 렌더링했다.
- 효율과 성능의 동시 달성 : 인페인팅과 클래스 조건부 합성에서 새 SOTA, 텍스트-이미지·무조건 생성·초해상도에서 경쟁력 있는 결과를 픽셀 DM 보다 훨씬 적은 계산으로 얻었으며, 사전 학습 오토인코더와 LDM 을 공개했다. 이 코드베이스가 Stable Diffusion 으로 이어졌다.
관련 개념
지각적 압축과 의미적 압축: 잠재 공간으로 가는 동기
지각적 압축(perceptual compression) 과 의미적 압축(semantic compression) 의 구분은 LDM 의 설계를 정당화하는 핵심 관찰입니다. 우도 기반 모델의 학습은 두 단계로 나뉘며, 첫 단계는 생성 모델이 아니라 오토인코더가 맡아도 된다는 것입니다.
📉 1. 율-왜곡 관점에서 본 두 단계 (Fig. 2)
| 단계 | 무엇을 배우는가 | 비트 소모 | 지각적 중요도 |
|---|---|---|---|
| 지각적 압축 | 고주파 세부 제거, 의미 변이는 거의 학습하지 않음 | 대부분의 비트 | 낮음 (사람 눈에 거의 보이지 않음) |
| 의미적 압축 | 데이터의 의미적·개념적 구성 | 적은 비트 | 높음 |
픽셀 공간 DM 은 재가중 변분 목적(초기 노이즈 제거 단계 과소 샘플링)으로 첫 단계를 억제하려 하지만, 여전히 RGB 고차원 공간에서 반복적인 함수 평가와 기울기 계산이 필요합니다. LDM 은 첫 단계를 오토인코더로 떼어 내어 지각적으로 동등하되 차원이 낮은 공간에서 DM 을 학습합니다.
🧮 2. 왜 과도한 공간 압축이 필요 없는가
VQGAN 류 2단계 접근은 자기회귀 트랜스포머가 1차원 시퀀스를 다루므로 $f=16$ 이상의 강한 압축이 필요했고, 그만큼 재구성 품질이 희생되었습니다. LDM 은 DM 의 UNet 이 2차원 구조의 귀납 편향을 그대로 활용하므로 잠재를 1차원으로 펼칠 필요가 없고, 공간 차원에 대해 더 좋은 스케일링을 보입니다. 따라서 $f=4$ 또는 $8$ 같은 온건한 압축으로 더 충실한 재구성을 얻으면서도 효율을 확보합니다(Fig. 1).
♻️ 3. 범용 오토인코더의 재사용
오토인코딩 단계는 한 번만 학습하고 여러 DM 학습이나 전혀 다른 과제에 재사용합니다. 이 덕분에 다양한 이미지-이미지·텍스트-이미지 과제를 위한 많은 DM 을 효율적으로 탐색할 수 있고, 디코더를 한 번 통과하면 잠재에서 이미지가 복원되므로 샘플링도 단일 네트워크 패스로 끝납니다.
💡 Key Takeaway “지각적 세부는 오토인코더가, 의미는 확산 모델이” 라는 분업이 LDM 의 전부입니다. 핵심은 2차원 잠재 + UNet 조합 덕분에 강한 압축 없이도 효율을 얻는다는 점입니다.
1단계: 지각적 이미지 압축 오토인코더
1단계 오토인코더는 VQGAN 의 학습 방식을 따르되, 생성 모델이 쓰기 좋은 잠재를 만드는 데 초점을 둡니다. 지각 손실과 패치 판별기로 흐릿함을 피하고, 잠재 분산을 약하게만 규제합니다.
🏗️ 1. 구조와 학습 목적 (Section 3.1)
- 인코더 $\mathcal{E}$: $x\in\mathbb{R}^{H\times W\times3}\mapsto z\in\mathbb{R}^{h\times w\times c}$, 다운샘플링 비율 $f=H/h=W/w$, $f=2^{m}$.
- 디코더 $\mathcal{D}$: $\tilde{x}=\mathcal{D}(z)=\mathcal{D}(\mathcal{E}(x))$.
- 손실: 지각 손실(LPIPS) + 패치 기반 적대 손실. $L_1$/$L_2$ 만 쓰면 생기는 흐릿함을 피하고 재구성이 이미지 다양체에 머물게 합니다.
| 정규화 | 방식 | 특징 |
|---|---|---|
| KL-reg | 학습 잠재에 표준정규 방향의 약한 KL 벌칙(가중치 $\sim10^{-6}$) | VAE 와 유사하나 매우 약함. 잠재가 연속 |
| VQ-reg | 디코더 안에 벡터 양자화 층 | VQGAN 과 같되 양자화가 디코더에 흡수됨. 잠재는 코드북 인덱스가 아니라 양자화 전 연속 잠재로 DM 에 전달 |
두 정규화 모두 목적은 하나, 잠재 공간의 분산이 임의로 커지는 것을 막는 것입니다.
📊 2. 압축 비율별 재구성 품질 (Table 8, OpenImages 학습, ImageNet-Val 평가)
| 정규화 | $f$ | $c$ | R-FID ↓ | PSNR ↑ | SSIM ↑ |
|---|---|---|---|---|---|
| KL | 2 | 2 | 0.086 | 32.47 | 0.93 |
| KL | 4 | 3 | 0.27 | 27.53 | 0.82 |
| KL | 8 | 4 | 0.90 | 24.19 | 0.69 |
| KL | 16 | 16 | 0.87 | 24.08 | 0.68 |
| KL | 32 | 64 | 2.04 | 22.27 | 0.61 |
| VQ | 4 | 3 ($\lvert Z\rvert=8192$) | 0.58 | 27.43 | 0.82 |
| VQ | 8 | 4 ($\lvert Z\rvert=16384$) | 1.14 | 23.07 | 0.65 |
| VQGAN (기존) | 16 | 256 ($\lvert Z\rvert=16384$) | 4.98 | 19.9 | 0.51 |
| DALL-E dVAE | 8 | – | 32.01 | 22.8 | 0.73 |
$f=4$ 와 $f=8$ 의 R-FID 가 1 안팎으로 기존 VQGAN($f=16$, 4.98)보다 훨씬 낮습니다. 즉 LDM 이 쓰는 잠재는 원본과 거의 구별되지 않는 수준으로 복원됩니다.
🔧 3. 실제 사용 구성
| 과제 | $f$ | 잠재 형태 | 정규화 |
|---|---|---|---|
| CelebA-HQ, FFHQ, LSUN-Bedrooms, ImageNet(클래스), 초해상도, 인페인팅 | 4 | $64\times64\times3$ | VQ, $\lvert Z\rvert=8192$ |
| LSUN-Churches, 레이아웃(COCO), 의미 맵 | 8 | $32\times32\times4$ | VQ, $\lvert Z\rvert=16384$ |
| 텍스트-이미지(LAION-400M) | 8 | $32\times32\times4$ | KL |
💡 Key Takeaway 오토인코더는 지각 손실 + 패치 GAN 으로 학습하고 정규화는 아주 약하게 둡니다. $f=4,8$ 에서 재구성 FID 가 1 전후라는 사실이 “잠재에서 생성해도 세부가 살아 있다”는 주장의 근거입니다.
2단계: 잠재 공간의 확산 모델
잠재 확산 모델은 DDPM 의 노이즈 예측 목적을 픽셀 $x$ 대신 잠재 $z=\mathcal{E}(x)$ 에 적용한 것입니다. 백본은 2차원 합성곱 중심의 시간 조건부 UNet 입니다.
🧮 1. 목적함수 (Eq. 1, 2)
픽셀 공간 DM 은 노이즈가 섞인 $x_t$ 에서 노이즈를 예측하는 가중 변분 하한을 최소화합니다.
\[L_{DM}=\mathbb{E}_{x,\ \epsilon\sim\mathcal{N}(0,1),\ t}\Big[\big\|\epsilon-\epsilon_\theta(x_t,t)\big\|_2^{2}\Big],\qquad t\sim\mathrm{Uniform}\{1,\dots,T\}\]LDM 은 같은 식을 잠재에 적용합니다.
\[L_{LDM}=\mathbb{E}_{\mathcal{E}(x),\ \epsilon\sim\mathcal{N}(0,1),\ t}\Big[\big\|\epsilon-\epsilon_\theta(z_t,t)\big\|_2^{2}\Big]\]| 비교 | 픽셀 DM | LDM |
|---|---|---|
| 입력 차원 | $H\times W\times3$ | $h\times w\times c$ ($f^{2}$ 배 축소) |
| 집중하는 정보 | 지각 세부 포함 전부 | 의미적으로 중요한 비트 |
| 샘플 복원 | 없음 | 디코더 $\mathcal{D}$ 1회 통과 |
| 백본 | UNet | UNet (2D 구조 편향 유지) |
$z_t$ 는 순방향 확산으로 $z$ 에 노이즈를 섞은 것이며, 학습 시 $\mathcal{E}$ 는 고정되어 있으므로 $z$ 를 효율적으로 얻을 수 있습니다.
⚙️ 2. 무조건 모델 하이퍼파라미터 (Table 12, 모두 A100 1장)
| 항목 | CelebA-HQ | FFHQ | LSUN-Churches | LSUN-Bedrooms |
|---|---|---|---|---|
| $f$ | 4 | 4 | 8 | 4 |
| 파라미터 | 274M | 274M | 294M | 274M |
| 채널 / 멀티플라이어 | 224 / 1,2,3,4 | 224 / 1,2,3,4 | 192 / 1,2,2,4,4 | 224 / 1,2,3,4 |
| 주의 해상도 | 32,16,8 | 32,16,8 | 32,16,8,4 | 32,16,8 |
| 배치 / 반복 | 48 / 410k | 42 / 635k | 96 / 500k | 48 / 1.9M |
| 학습률 | 9.6e-5 | 8.4e-5 | 5e-5 | 9.6e-5 |
확산 단계는 1000, 노이즈 스케줄은 선형입니다. 이 정도 규모의 모델이 단일 GPU 에서 학습된다는 점이 “민주화”라는 논문의 표현을 뒷받침합니다.
📐 3. 압축 비율 선택 (Section 4.1, Fig. 6)
ImageNet 클래스 조건부 LDM-1 ~ LDM-32 를 같은 단계 수로 학습해 비교했습니다(Table 13: 모두 약 395M 파라미터, 2M 반복).
| 비율 | 관찰 |
|---|---|
| LDM-1, LDM-2 | 지각적 압축의 대부분을 DM 이 떠안아 학습 진행이 느림 |
| LDM-4 ~ LDM-16 | 효율과 지각 품질의 균형. 2M 단계 후 LDM-1 과 LDM-8 의 FID 차이는 38 |
| LDM-32 | 1단계 압축이 과해 정보 손실, 품질이 일찍 정체 |
샘플링 속도 대 FID 곡선(Fig. 7)에서도 LDM-4 와 LDM-8 이 가장 유리하며, 논문은 LDM-4 와 LDM-8 이 고품질 합성에 가장 좋은 조건이라고 결론짓습니다.
💡 Key Takeaway 2단계는 DDPM 그대로이며 입력만 잠재로 바뀝니다. 비율 선택의 교훈은 “DM 에게 지각적 압축을 시키지 말되, 오토인코더에게 의미까지 지우게 하지도 말라” 입니다.
조건화 메커니즘: 교차 주의와 연결
조건화는 LDM 을 범용 생성기로 만드는 요소입니다. 토큰 형태의 조건(텍스트, 레이아웃, 클래스)은 교차 주의로, 공간 정렬된 조건(저해상도 이미지, 마스크, 의미 맵)은 입력 연결로 처리합니다.
🔗 1. 교차 주의 (Section 3.3, Eq. 3)
도메인별 인코더 $\tau_\theta$ 가 조건 $y$ 를 중간 표현 $\tau_\theta(y)\in\mathbb{R}^{M\times d_\tau}$ 로 투영하고, UNet 의 중간 특징 $\varphi_i(z_t)\in\mathbb{R}^{N\times d_\epsilon^{i}}$ 을 평탄화해 Query 로 씁니다.
\[\mathrm{Attention}(Q,K,V)=\mathrm{softmax}\Big(\frac{QK^{\top}}{\sqrt{d}}\Big)\cdot V,\qquad Q=W_Q^{(i)}\varphi_i(z_t),\quad K=W_K^{(i)}\tau_\theta(y),\quad V=W_V^{(i)}\tau_\theta(y)\]$W_V^{(i)}\in\mathbb{R}^{d\times d_\epsilon^{i}}$, $W_Q^{(i)},W_K^{(i)}\in\mathbb{R}^{d\times d_\tau}$ 는 학습 가능한 투영입니다. 조건부 목적은
\[L_{LDM}=\mathbb{E}_{\mathcal{E}(x),\ y,\ \epsilon\sim\mathcal{N}(0,1),\ t}\Big[\big\|\epsilon-\epsilon_\theta\big(z_t,t,\tau_\theta(y)\big)\big\|_2^{2}\Big]\]이며 $\tau_\theta$ 와 $\epsilon_\theta$ 를 함께 최적화합니다.
🔤 2. 도메인 인코더 $\tau_\theta$ (Table 15, 17)
| 조건 | 인코더 | 시퀀스 길이 | 깊이 / 차원 | 교차 주의 해상도 |
|---|---|---|---|---|
| 텍스트 | BERT 토크나이저 + 트랜스포머 | 77 | 32 / 1280 | 32, 16, 8 |
| 레이아웃(바운딩 박스) | 트랜스포머 | 92 | 16 / 512 | 32, 16, 8 |
| 클래스 레이블 | 임베딩 (512차원) | 1 | – | 32, 16, 8 |
텍스트-이미지 모델은 LAION-400M 에서 KL-reg $f=8$ 잠재 위에 1.45B 파라미터(UNet 채널 320, 헤드 8)로 배치 680, 390K 반복 학습되었습니다.
🧩 3. 공간 정렬 조건의 연결 방식
초해상도, 인페인팅, 의미 맵 합성처럼 조건이 이미지와 공간적으로 정렬된 경우에는 조건을 (필요하면 인코더 $\mathcal{E}$ 로 잠재화한 뒤) UNet 입력에 채널 방향으로 연결(concat) 합니다. 이 방식의 장점은 모델이 합성곱적으로 동작해, $256^2$ 로 학습해도 임의의 큰 해상도에 적용할 수 있다는 것입니다(Section 4.3.2). 의미 맵 조건 풍경 모델은 $256^2$ 크롭(원본 $384^2$)으로 학습하고 $512\times1024$ 이상에서 일관된 이미지를 만들었습니다(Fig. 9).
🎛️ 4. Classifier-free guidance 와의 결합
무조건·조건부 예측을 섞어 조건 일치도를 높이는 classifier-free guidance 를 LDM 에 적용하면 샘플 품질이 크게 오릅니다. ImageNet 에서 LDM-4 의 FID 는 가이던스 없이 10.56, $s=1.5$ 에서 3.60 으로, MS-COCO 텍스트-이미지에서는 23.31 에서 12.63 으로 개선됩니다. 텍스트 모델은 가이던스와 함께 $256^2$ 보다 큰 이미지도 렌더링할 수 있습니다.
💡 Key Takeaway 토큰 조건은 교차 주의, 공간 조건은 연결이라는 두 가지 경로가 LDM 을 텍스트·레이아웃·클래스·이미지 조건 모두에 쓸 수 있게 합니다. 교차 주의 구조는 이후 Stable Diffusion 의 CLIP 텍스트 조건화로 그대로 이어졌습니다.
실험 결과: 무조건·조건부 생성
실험은 무조건 생성, 텍스트-이미지, 클래스 조건부 생성에서 LDM 이 픽셀 DM 과 GAN 에 비해 어디에 서는지를 보여 줍니다. 공통된 결론은 훨씬 적은 계산으로 동급 이상의 품질입니다.
🖼️ 1. 무조건 생성 (Table 1, $256^2$, FID ↓)
| 데이터셋 | LDM | FID | 비교 |
|---|---|---|---|
| CelebA-HQ | LDM-4 (500 steps) | 5.11 | 당시 SOTA. UDM 5.54, LSGM 7.22, PGGAN 8.0 보다 낮고, StyleGAN 4.16 / ProjectedGAN 3.08 보다는 높음 |
| FFHQ | LDM-4 (200 steps) | 4.98 | StyleGAN2 3.8 |
| LSUN-Churches | LDM-8 (200 steps) | 4.02 | Precision 0.64, Recall 0.52 |
| LSUN-Bedrooms | LDM-4 (200 steps) | 2.95 | ADM 1.90 에 근접 |
LSUN-Bedrooms 에서 LDM 은 ADM 과 가까운 FID 를 절반의 파라미터와 약 4분의 1 의 학습 자원으로 얻었다고 논문은 보고합니다. GAN 기반 방법은 FID 에서 앞서는 경우가 있지만 Precision-Recall 에서 LDM 이 더 넓은 데이터 분포 커버리지(Recall)를 보입니다.
💬 2. 텍스트-이미지 (Table 2, MS-COCO $256^2$)
| 모델 | FID ↓ | IS ↑ | 파라미터 | 비고 |
|---|---|---|---|---|
| LDM-KL-8 | 23.31 | 20.03 ± 0.33 | 1.45B | 가이던스 없음 |
| LDM-KL-8-G | 12.63 | 30.29 ± 0.42 | 1.45B | 250 DDIM, $s=1.5$ |
LDM-KL-8-G 는 당시 자기회귀·확산 기반 최신 모델들과 동등한 수준의 FID 를 훨씬 적은 파라미터로 달성했습니다. 사용자 정의 텍스트 프롬프트에 대한 일반화 예시가 Fig. 5 에 있습니다(200 DDIM, $\eta=1.0$, $s=10.0$).
🏷️ 3. 클래스 조건부 ImageNet (Table 3, $256^2$)
| 모델 | FID ↓ | IS ↑ | Precision | Recall | 파라미터 |
|---|---|---|---|---|---|
| ADM | 10.94 | – | – | – | 554M |
| ADM-G | 4.59 | – | – | – | 608M |
| LDM-4 | 10.56 | 103.49 ± 1.24 | 0.71 | 0.62 | 400M |
| LDM-4-G | 3.60 | 247.67 ± 5.59 | 0.87 | 0.48 | 400M |
LDM-4-G(250 DDIM, $s=1.5$)는 ADM-G 를 FID 와 IS 에서 넘으면서 파라미터가 더 적습니다. Table 18 기준 LDM-4 ImageNet 의 학습 비용은 271 V100-일, LDM-8 은 79 V100-일입니다.
⏱️ 4. 학습·샘플링 비용 (Table 18, V100-일로 환산, A100 → V100 2.2배)
| 모델 | 학습 비용 | 샘플링 (A100, samples/sec) |
|---|---|---|
| CelebA-HQ LDM-4 | 14.4 | 0.43 (500 steps) |
| FFHQ LDM-4 | 26 | 1.07 (200 steps) |
| LSUN-Churches LDM-8 | 18 | 6.80 (100 steps) |
| LSUN-Bedrooms LDM-4 | 55 ~ 60 | 1.07 (200 steps) |
| ImageNet LDM-4 | 271 | 0.7 (250 steps) |
💡 Key Takeaway 무조건 생성에서는 GAN 과 FID 를 다투고 Recall 에서 앞서며, 조건부 생성에서는 가이던스와 결합한 LDM-4-G 가 픽셀 DM(ADM-G)을 더 적은 파라미터로 넘었습니다. 학습 비용은 데이터셋당 수십 V100-일 수준입니다.
고해상도 응용: 초해상도, 인페인팅, 합성곱 샘플링
조밀 조건 과제에서는 연결 방식 조건화와 합성곱 구조 덕분에 LDM 이 학습 해상도를 넘어서는 큰 이미지를 만들 수 있습니다.
🔍 1. 초해상도 (Section 4.4, Table 5, ImageNet $4\times$, $64\to256$)
저해상도 이미지를 직접 UNet 입력에 연결해 조건화합니다(SR3 와 같은 $4\times$ bicubic 열화).
| 모델 | FID ↓ | IS ↑ | PSNR ↑ | SSIM ↑ | 파라미터 |
|---|---|---|---|---|---|
| Image regression | 15.2 | 121.1 | 27.9 | 0.801 | – |
| SR3 | 5.2 | 180.1 | 26.4 | 0.762 | 625M |
| LDM-4 (100 steps) | 2.8 † / 4.8 ‡ | 166.3 | 24.4 ± 3.8 | 0.69 ± 0.14 | 169M |
† 검증 분할, ‡ 학습 분할 기준 FID. LDM-SR 은 FID 에서 SR3 를 앞서지만 PSNR·SSIM 은 뒤집니다. 픽셀 기반 지표가 사람의 지각과 잘 맞지 않고 흐릿한 결과를 선호하기 때문이며, 사용자 연구(Table 4)에서는 LDM-4 가 실제 이미지와의 비교에서 30.4% (픽셀 DM 16.0%), 두 모델 비교에서 70.6% 선택되었습니다.
🧩 2. 인페인팅 (Section 4.5, Table 6, 7, Places $512^2$)
| 비교 | 지표 | LaMa | LDM-4 (big, w/ ft) |
|---|---|---|---|
| 40 ~ 50% 마스크 | FID ↓ | 12.0 | 9.39 |
| 40 ~ 50% 마스크 | LPIPS ↓ | – | 0.246 ± 0.042 |
| 전체 샘플 | FID ↓ | 2.21 | 1.50 |
| 전체 샘플 | LPIPS ↓ | – | 0.137 ± 0.080 |
효율 비교(Table 6)에서 LDM-1 은 $256^2$ 학습 처리량 0.11 samples/sec, 에폭당 20.66 시간인 반면 LDM-4(VQ, 주의 포함)는 0.33 samples/sec, 에폭당 7.04 시간으로 최소 2.7배 빨랐습니다. 큰 모델(big)은 UNet 의 첫 단계 주의를 빼고 채널을 늘린 뒤 fine-tuning 한 것이며, 사용자 연구에서 LaMa 대비 68.1% 선택되었습니다.
🌄 3. 합성곱 샘플링으로 $256^2$ 를 넘어서기 (Section 4.3.2)
공간 조건을 연결로 넣은 LDM 은 완전 합성곱이므로 학습 해상도와 다른 크기의 조건을 그대로 받습니다. 의미 맵 조건 풍경 모델($f=8$, 215M)은 $256^2$ 크롭으로 학습하고 추론에서 $512\times1024$ 의 일관된 풍경을 생성했으며(Fig. 9), 초해상도와 인페인팅도 같은 방식으로 메가픽셀급까지 확장됩니다. 저자들은 이때 노이즈 스케줄의 신호 대 잡음비가 결과에 큰 영향을 주며, 큰 해상도에서는 잠재 스케일 조정이 중요하다고 언급합니다(Appendix).
💡 Key Takeaway 조밀 조건 과제에서 LDM 은 FID 와 사람의 선호에서 픽셀 기반 방법을 앞서고, 합성곱 구조 덕분에 학습 해상도를 넘어 메가픽셀까지 확장됩니다. PSNR·SSIM 열세는 지각적 선명함과 픽셀 충실도 사이의 알려진 상충입니다.
한계와 열린 방향
한계는 LDM 이 여전히 순차 샘플링을 요구한다는 점, 오토인코더의 재구성이 상한을 정한다는 점, 그리고 생성 모델의 사회적 영향에서 나옵니다. 논문은 이를 명시적으로 논의합니다(Section 6).
⚠️ 1. 논문이 밝힌 한계
- 순차 샘플링: 픽셀 DM 보다 훨씬 빠르지만 GAN 의 단일 패스보다는 여전히 느립니다. DDIM 100 ~ 250 단계가 기본입니다.
- 재구성 상한: 잠재에서 디코딩하므로 생성 품질은 1단계 오토인코더의 재구성 능력에 묶입니다. $f=4$ 에서 R-FID 0.27 ~ 0.58 로 매우 낮지만, 픽셀 단위의 정밀도가 필요한 과제에서는 병목이 될 수 있다고 저자들은 지적합니다.
- 지표 불일치: 초해상도에서 FID 와 PSNR/SSIM 이 반대 방향을 가리키며, 어느 쪽이 “더 나은지”는 과제가 요구하는 충실도 종류에 달려 있습니다.
- 사회적 영향: 조작된 데이터 생성과 허위 정보, 학습 데이터 노출 가능성, 데이터 편향의 재생산을 우려 사항으로 명시합니다. 모델과 코드를 공개하는 결정 자체가 이 긴장 위에 있습니다.
🔎 2. 설계상 열린 질문
| 질문 | 설명 |
|---|---|
| KL-reg 대 VQ-reg | 과제별로 다르게 선택되었고 논문은 두 정규화를 체계적으로 비교하지 않음. 이후 Stable Diffusion 은 KL $f=8$ 을 채택 |
| 오토인코더·DM 의 공동 학습 | 분리 학습이 단순하고 재사용에 유리하지만, 생성에 최적인 잠재가 재구성에 최적인 잠재와 같은지는 불명 |
| 잠재 스케일 | 고해상도 합성곱 샘플링에서 잠재 분산과 노이즈 스케줄의 상호작용이 결과에 민감하게 작용 |
| 조건 인코더의 품질 | BERT 토크나이저 + 자체 트랜스포머로 학습한 텍스트 인코더는 이후 CLIP 텍스트 인코더로 대체되었고, 이것이 텍스트 정렬 품질을 크게 좌우함 |
🚀 3. 이후 연구와의 연결
- Stable Diffusion (2022): 같은 코드베이스에서 KL $f=8$ 오토인코더, 860M UNet, 고정 CLIP ViT-L/14 텍스트 인코더로 LAION 에서 학습한 모델이 공개되어 텍스트-이미지 생성의 대중화를 이끌었습니다. 이 논문의 “민주화” 주장이 가장 극적으로 실현된 사례입니다.
- 잠재 공간 확장: 잠재 비디오 확산, 잠재 오디오 확산 등 “지각 압축 오토인코더 + 잠재 DM” 분업은 모달리티를 가리지 않고 재사용되었습니다.
- 빠른 샘플링: 잠재 일관성 모델(LCM), 증류 기반 소수 단계 샘플링이 순차 샘플링 한계를 공략했습니다.
- 편집·제어: 교차 주의 맵 조작(Prompt-to-Prompt), ControlNet 류의 공간 조건 추가가 LDM 의 두 조건화 경로 위에서 발전했습니다.
💡 Key Takeaway LDM 의 병목은 오토인코더 재구성과 순차 샘플링이며, 두 축 모두 후속 연구(더 좋은 오토인코더, 증류·일관성 모델)의 표적이 되었습니다. 그럼에도 “잠재에서 확산” 이라는 분업 구조 자체는 Stable Diffusion 이후 생성 모델의 기본 설계가 되었습니다.