You know maize mean?
Instance Normalization: The Missing Ingredient for Fast Stylization
0. Summary
기본 정보 : ArXiv,2016.07.27, Instance Normalization: The Missing Ingredient for Fast Stylization
연구 배경
Gatys et al. (2016)의 신경 스타일 변환은 사전 학습된 분류 CNN의 특징 통계를 맞추는 최적화로 콘텐츠 이미지에 스타일을 입히지만, 이미지 한 장을 처리하는 데 수 분이 걸릴 만큼 느렸다. Ulyanov et al. (2016, Texture Networks)과 Johnson et al. (2016, Perceptual Loss)은 같은 목적함수로 생성기 네트워크를 학습해 한 번의 순전파로 스타일 변환을 수행하는 빠른 스타일화(fast stylization)를 제안했다. 두 방법은 생성기 구조만 다를 뿐 비슷한 품질에 도달했으나, 둘 다 Gatys 방식의 품질에는 미치지 못했다. Ulyanov et al. 은 특히 이미지 경계의 아티팩트(모든 합성곱 앞의 제로 패딩 탓)와, 수천 장보다 16장의 학습 이미지로 학습하는 쪽이 오히려 결과가 좋다는 기묘한 관찰을 보고했는데, 후자는 학습 목적함수 자체보다 학습 절차의 어떤 요소가 결과를 좌우하고 있음을 시사했다.
제안 방법
저자들은 생성기 안의 배치 정규화(batch normalization) 가 문제라고 진단한다. 스타일 변환 결과의 대비(contrast)는 주로 스타일 이미지가 결정하고 콘텐츠 이미지의 대비와는 거의 무관해야 하므로(Fig. 2), 생성기는 콘텐츠 이미지의 인스턴스별 대비 정보를 버리는 법을 배워야 한다. 배치 정규화는 미니배치 전체에 걸쳐 통계를 내므로 이미지 한 장의 대비를 제거하지 못하고, 그 역할을 합성곱과 ReLU만으로 구현하기도 어렵다. 해법은 정규화 통계를 각 이미지·각 채널 쌍마다 공간 차원에 대해서만 계산하는 인스턴스 정규화(instance normalization, 대비 정규화) 로 바꾸고, 이를 학습뿐 아니라 테스트 시에도 그대로 적용하는 것이다. 네트워크 구조나 손실은 전혀 바꾸지 않는다.
발견 사실
Ulyanov et al. 생성기와 Johnson et al. 생성기(저자들이 논문 기술만으로 재현) 모두 배치 정규화에서는 비슷한 결함을 보였지만, 같은 하이퍼파라미터로 인스턴스 정규화만 바꾸자 두 생성기 모두 눈에 띄게 개선되었다(Fig. 5). 제로 패딩이 남긴 경계 아티팩트 역시 정교한 패딩 기법으로는 해결되지 않았으나 인스턴스 정규화와 결합하면 크게 줄었다(Fig. 3). 저자들은 잔차 구조를 쓰는 Johnson et al. 생성기가 조금 더 효율적이고 다루기 쉽다고 판단해 이후 예시(Fig. 4, 6)에 사용했으며, 512 와 1080 해상도에서 실시간 수준의 스타일화 결과를 제시한다. 정량 지표는 제시되지 않는다.
핵심 기여
- 빠른 스타일화의 품질 저하 원인 규명 : 생성기 구조나 손실이 아니라 배치 정규화가 콘텐츠 이미지의 인스턴스별 대비 정보를 제거하지 못하는 것이 문제임을 Fig. 2의 대비 실험과 함께 논증했다.
- 인스턴스 정규화 제안 : 이미지·채널 쌍마다 공간 통계로 정규화하는 간단한 층(Eq. 3)을 제시하고, 학습과 테스트에서 동일하게 적용해야 함을 명시했다. 추가 파라미터나 손실 변경 없이 생성기의 배치 정규화를 교체하기만 하면 된다.
- 두 대표 생성기에서의 검증 : Texture Networks 생성기와 Perceptual Loss 생성기 모두에서 품질이 크게 개선됨을 보여, 효과가 특정 구조에 국한되지 않음을 확인했다. 이 관찰은 이후 Conditional IN, AdaIN, StyleGAN의 스타일 주입으로 이어지는 출발점이 되었다.
관련 개념
빠른 스타일화(Fast Stylization)와 학습 목적함수
빠른 스타일화는 Gatys et al. 의 이미지별 최적화를 생성기 네트워크 학습으로 대체해, 추론 시 한 번의 순전파로 스타일을 입히는 접근입니다. 이 논문은 그 생성기의 정규화 층만을 다루므로, 먼저 어떤 목적함수로 생성기를 학습하는지 정리합니다.
🎨 1. Gatys et al. 의 통계 매칭
사전 학습된 분류 CNN에서 스타일 통계는 얕은 층의 특징을 공간 위치에 대해 평균한 것(Gram 행렬 류)으로, 공간 정보를 버립니다. 콘텐츠 통계는 깊은 층의 특징으로, 공간 정보를 유지합니다. 스타일 변환은 출력 이미지의 스타일 통계를 스타일 이미지에, 콘텐츠 통계를 콘텐츠 이미지에 맞추는 최적화입니다. 품질은 좋지만 $512\times512$ 이미지 한 장에 수 분이 걸립니다.
⚡ 2. 생성기 학습 목적함수 (Section 2)
고정된 스타일 이미지 $\mathbf{x}_0$, 콘텐츠 이미지 $\mathbf{x}_1,\dots,\mathbf{x}_n$, 그리고 i.i.d. 가우시안 잡음 $\mathbf{z}_t\sim\mathcal{N}(0,1)$ 에 대해 생성기 $g$ 를
\[\min_{g}\ \frac{1}{n}\sum_{t=1}^{n}\mathcal{L}\big(\mathbf{x}_0,\ \mathbf{x}_t,\ g(\mathbf{x}_t,\mathbf{z}_t)\big)\]로 학습합니다. 손실 $\mathcal{L}$ 은 사전 학습 CNN으로 스타일 이미지·콘텐츠 이미지·출력 이미지의 특징을 뽑아 그 통계를 비교하는 Gatys 식 손실이며, 잡음 $\mathbf{z}_t$ 는 출력의 다양성을 위한 입력입니다.
| 방법 | 생성기 구조 | 특징 |
|---|---|---|
| Ulyanov et al. (Texture Networks) | 다중 해상도 생성기 | 경계 아티팩트, 적은 학습 이미지(16장)가 오히려 유리하다는 이상 현상 보고 |
| Johnson et al. (Perceptual Loss) | 잔차(residual) 구조 | 저자들이 논문 기술로 재현. 더 효율적이고 다루기 쉽다고 평가 |
두 방법 모두 생성기 내부에 배치 정규화를 사용했으며, 이 점이 이 논문의 표적입니다.
🔎 3. 이상 현상이 가리키는 것
“수천 장보다 16장으로 학습하는 것이 낫다”는 관찰은 목적함수가 아니라 학습 절차에 병목이 있음을 암시합니다. 저자들은 이 병목이 생성기가 콘텐츠 이미지의 대비 정보를 버리는 데 실패하는 것이라고 보고, 그 원인을 정규화 방식에서 찾습니다.
💡 Key Takeaway 빠른 스타일화의 목적함수는 Gatys 방식과 같으므로, 품질 격차의 원인은 생성기 내부의 학습 역학에 있어야 합니다. 이 논문은 그 범인을 배치 정규화로 지목합니다.
핵심 관찰: 스타일화 결과는 콘텐츠의 대비와 무관해야 한다
대비 무관성은 이 논문의 전제이자 인스턴스 정규화의 동기입니다. 스타일 변환의 출력에서 대비·밝기 같은 전역 통계는 스타일 이미지가 결정하므로, 콘텐츠 이미지의 전역 대비는 제거되어야 할 정보입니다.
🌓 1. Fig. 2 의 대비 실험
| 입력 | Gatys 방식의 출력 |
|---|---|
| 원래 콘텐츠 이미지 | 스타일 이미지의 대비를 따르는 결과 |
| 대비를 낮춘 같은 콘텐츠 이미지 | 거의 같은 결과 |
논문은 “스타일화된 이미지의 대비는 주로 스타일 이미지의 대비에 의해 결정되며 콘텐츠 이미지의 대비와 거의 무관하다”고 정리합니다. 따라서 생성기는 콘텐츠로부터 인스턴스별(instance-specific) 대비 정보를 폐기하는 연산을 어딘가에서 수행해야 합니다.
🧮 2. 단순 대비 정규화와 그 구현의 어려움 (Eq. 1)
가장 단순한 대비 정규화는 각 이미지·채널의 값을 공간 합으로 나누는 것입니다. 입력 텐서를 $x\in\mathbb{R}^{T\times C\times W\times H}$ ($T$ 배치, $C$ 채널, $W\times H$ 공간)라 하면
\[y_{tijk}=\frac{x_{tijk}}{\sum_{l=1}^{W}\sum_{m=1}^{H}x_{tilm}}\]입니다. 논문은 이런 함수를 ReLU와 합성곱의 나열로 구현하기는 불분명하다고 지적합니다. 즉 생성기가 데이터로부터 이 연산을 학습해 내리라 기대하기 어렵고, 명시적인 층으로 넣어 주는 편이 낫습니다.
🚫 3. 배치 정규화가 대비를 제거하지 못하는 이유 (Eq. 2)
배치 정규화는 채널 $i$ 마다 배치와 공간 전체에 대해 통계를 냅니다.
\[y_{tijk}=\frac{x_{tijk}-\mu_i}{\sqrt{\sigma_i^{2}+\epsilon}},\qquad \mu_i=\frac{1}{HWT}\sum_{t=1}^{T}\sum_{l=1}^{W}\sum_{m=1}^{H}x_{tilm},\qquad \sigma_i^{2}=\frac{1}{HWT}\sum_{t=1}^{T}\sum_{l=1}^{W}\sum_{m=1}^{H}\big(x_{tilm}-\mu_i\big)^{2}\]$\mu_i,\sigma_i$ 가 배치 안의 모든 이미지에 공통이므로, 이미지 $t$ 하나의 대비가 다른 이미지보다 높아도 그 차이는 정규화 뒤에도 그대로 남습니다. 게다가 테스트 시에는 고정된 이동 평균으로 대체되어 사실상 아핀 변환으로 바뀌므로, 추론 시 입력 이미지의 통계는 전혀 반영되지 않습니다.
💡 Key Takeaway 대비 정규화는 이미지 한 장의 통계로 해야 하는데, 배치 정규화는 배치의 통계로 하기 때문에 생성기가 콘텐츠 대비를 버리지 못합니다. 이것이 품질 격차의 원인입니다.
인스턴스 정규화(Instance Normalization)
인스턴스 정규화는 배치 정규화의 통계 축에서 배치 차원 $T$ 를 빼고, 각 샘플 $t$·채널 $i$ 쌍마다 공간 차원 $W\times H$ 에 대해서만 평균과 분산을 계산하는 층입니다. 논문은 이를 대비 정규화(contrast normalization) 라고도 부릅니다.
📐 1. 정식화 (Eq. 3)
\[y_{tijk}=\frac{x_{tijk}-\mu_{ti}}{\sqrt{\sigma_{ti}^{2}+\epsilon}},\qquad \mu_{ti}=\frac{1}{HW}\sum_{l=1}^{W}\sum_{m=1}^{H}x_{tilm},\qquad \sigma_{ti}^{2}=\frac{1}{HW}\sum_{l=1}^{W}\sum_{m=1}^{H}\big(x_{tilm}-\mu_{ti}\big)^{2}\]| 구분 | 배치 정규화 (Eq. 2) | 인스턴스 정규화 (Eq. 3) |
|---|---|---|
| 통계 인덱스 | $\mu_i,\sigma_i$ (채널마다) | $\mu_{ti},\sigma_{ti}$ (샘플·채널 쌍마다) |
| 평균 범위 | $T\times W\times H$ | $W\times H$ |
| 배치 내 샘플 간 의존 | 있음 | 없음 |
| 테스트 시 | 이동 평균으로 고정(아핀 변환) | 학습과 동일하게 계산 |
| 제거되는 정보 | 배치 전체의 평균·분산 | 각 이미지의 전역 대비·밝기 |
🔁 2. 학습과 테스트에서 동일하게 적용
배치 정규화는 테스트 시 통계를 고정해 “단순화”하지만, 인스턴스 정규화는 테스트 시에도 그대로 계산합니다. 추론 입력 이미지의 대비를 그 자리에서 제거해야 하기 때문입니다. 샘플 간 의존성이 없으므로 이동 평균이나 배치 크기 고려가 필요 없고, 배치 1 추론에서도 학습과 정확히 같은 연산이 수행됩니다.
🔧 3. 적용 방법
생성기의 모든 배치 정규화 층을 인스턴스 정규화 층으로 교체하기만 하면 됩니다. 손실, 학습률, 구조는 그대로입니다. 논문은 이 교체를 두 생성기(Ulyanov et al., Johnson et al.)에 같은 하이퍼파라미터로 적용했습니다. 구현 관점에서는 배치 정규화 구현에서 평균을 내는 축을 $(T,W,H)$ 에서 $(W,H)$ 로 바꾸는 것과 같습니다.
💡 Key Takeaway 인스턴스 정규화는 “배치 정규화에서 배치 축을 뺀 것”이며, 추론 시에도 입력의 통계로 정규화한다는 점이 본질입니다. 이 한 줄의 변경이 생성기에게 대비 제거 능력을 부여합니다.
정규화 축의 통일적 관점: BN, IN, LN, GN
정규화 축의 통일적 관점은 이 논문 이후 정리된 것으로, 배치·인스턴스·층·그룹 정규화를 “4차원 텐서 $x\in\mathbb{R}^{T\times C\times W\times H}$ 에서 어떤 축에 걸쳐 평균을 내는가”라는 한 가지 질문으로 묶습니다. IN 이 어디에 위치하는지 보면 그 성질이 자연스럽게 설명됩니다.
🧭 1. 통계를 내는 축의 비교
모든 방법은 같은 꼴
\[y=\frac{x-\mu_{S}}{\sqrt{\sigma_{S}^{2}+\epsilon}},\qquad \mu_{S}=\frac{1}{\lvert S\rvert}\sum_{k\in S}x_k,\qquad \sigma_{S}^{2}=\frac{1}{\lvert S\rvert}\sum_{k\in S}(x_k-\mu_{S})^{2}\]을 가지며, 집합 $S$ 만 다릅니다.
| 방법 | $S$ (같은 통계를 공유하는 원소) | 통계 개수 | 배치 의존 | 추론 시 |
|---|---|---|---|---|
| Batch Norm | 같은 채널 $i$ 의 모든 $t, w, h$ | $C$ | 있음 | 이동 평균으로 고정 |
| Instance Norm | 같은 $(t, i)$ 의 모든 $w, h$ | $T\times C$ | 없음 | 학습과 동일 |
| Layer Norm | 같은 $t$ 의 모든 $i, w, h$ | $T$ | 없음 | 학습과 동일 |
| Group Norm ($G$ 그룹) | 같은 $t$, 같은 채널 그룹의 모든 $w, h$ | $T\times G$ | 없음 | 학습과 동일 |
Group Norm 에서 $G=C$ 로 두면 IN, $G=1$ 로 두면 LN 이 됩니다. IN 은 채널마다 독립적으로, 샘플마다 독립적으로 정규화하는 가장 세분화된 극단입니다.
🎯 2. 무엇이 제거되고 무엇이 남는가
| 방법 | 제거되는 정보 | 남는 정보 |
|---|---|---|
| BN | 배치 전체의 채널별 1차·2차 통계 | 샘플 간 상대적 차이(한 이미지가 배치 평균보다 밝다는 사실) |
| IN | 각 이미지의 채널별 대비·밝기 | 채널 안의 공간 패턴, 채널 간 상대 관계는 아핀 파라미터가 있을 때 일부 복원 |
| LN | 한 샘플의 모든 채널·위치를 아우르는 전역 스케일 | 채널 간 상대 크기 |
스타일 변환에서 버려야 하는 것은 정확히 “각 이미지의 채널별 대비”이므로 IN 이 과제와 정합합니다. 반대로 분류에서는 “이 이미지가 전체적으로 어둡다”는 정보가 유용할 수 있어 IN 이 불리합니다. 저자들이 판별 과제 실험을 언급만 하고 결과를 내지 않은 것과 일치하는 해석입니다.
🔧 3. 아핀 파라미터의 역할
이 논문의 Eq. 3 에는 학습 가능한 스케일·시프트가 없지만, 실제 구현(PyTorch 의 InstanceNorm2d 등)은 BN 과 같은 채널별 $\gamma_i,\beta_i$ 를 선택적으로 둡니다. IN 에서 이 파라미터는 “제거한 대비를 네트워크가 원하는 고정값으로 다시 채운다”는 뜻이 되며, 바로 이 자리에 스타일 이미지의 통계를 넣는 것이 AdaIN 입니다. 즉 IN 의 아핀 파라미터는 단순한 표현력 보정이 아니라 스타일을 주입하는 접점입니다.
💡 Key Takeaway BN·IN·LN·GN 은 “어느 축에 걸쳐 평균을 내는가”만 다른 한 가족이며, IN 은 샘플·채널마다 독립인 극단입니다. 과제가 버려야 할 정보와 정규화가 버리는 정보가 일치할 때 그 정규화가 맞는 선택입니다.
실험: 두 생성기에서의 비교
실험(Section 3) 은 정량 지표 없이 정성 비교로 이루어집니다. 두 대표 생성기에 배치 정규화와 인스턴스 정규화를 각각 적용해 결과를 나란히 보여 줍니다.
🧪 1. 비교 대상과 설정
| 항목 | 내용 |
|---|---|
| 생성기 A | Ulyanov et al. 의 Texture Networks 생성기 |
| 생성기 B | Johnson et al. 의 잔차 생성기. 원본 코드가 없어 논문 기술로 신중하게 재현 |
| 변수 | 생성기 내부 정규화: BN vs IN |
| 하이퍼파라미터 | 두 조건 동일 |
🖼️ 2. 그림별 결과
| 그림 | 내용 | 관찰 |
|---|---|---|
| Fig. 3 | 1행: 콘텐츠·스타일·Gatys 출력. 2행: Ulyanov et al. 결과를 제로 패딩 / 개선된 패딩 / 제로 패딩 + IN 으로 비교 | 정교한 패딩으로는 경계 아티팩트가 해결되지 않았지만 IN과 결합하면 크게 개선 |
| Fig. 4 | 스타일 이미지(1행)와 Johnson 생성기 + IN 의 스타일화 예시(2행) | 다양한 스타일에서 안정적 품질 |
| Fig. 5 | 두 생성기의 BN(1행) 대 IN(2행) 비교 | BN에서는 두 생성기가 비슷한 결함을 공유. IN으로 바꾸자 둘 다 뚜렷하게 개선 |
| Fig. 6 | Delaunay 스타일, 512 와 1080 해상도 | 고해상도에서도 일관된 스타일화 |
🔬 3. 해석
- BN을 쓴 두 생성기가 비슷한 결함을 보인다는 점은 문제가 특정 구조가 아니라 공통 요소인 정규화에 있음을 뒷받침합니다.
- “16장으로 학습하는 것이 더 낫다”던 Ulyanov et al. 의 관찰은, BN 생성기가 적은 이미지에서는 배치 통계가 개별 이미지 통계에 가까워져 우연히 대비 제거에 성공했던 것으로 설명할 수 있습니다. IN은 이 우연을 설계로 바꿉니다.
- 저자들은 결과를 “시사적(suggestive)”이라고 표현하며, 같은 아이디어를 이미지 판별 과제에도 실험 중이라고 밝힙니다.
🛠️ 4. 재현 시 확인할 점
| 항목 | 내용 |
|---|---|
| 테스트 모드 | IN 층이 추론 시에도 입력 통계를 계산하는지 확인. 프레임워크의 eval() 전환이 IN 을 고정 통계로 바꾸지 않아야 함 |
| 이동 평균 | IN 에는 running mean/var 가 필요 없음. 구현이 이를 추적·사용하도록 설정되어 있으면 논문과 다른 동작 |
| 패딩 | 경계 아티팩트는 IN 만으로 완전히 사라지지 않을 수 있으므로, 제로 패딩 대신 반사 패딩 같은 대안과 함께 쓰는 것이 이후 구현의 관례 |
| 배치 크기 | IN 의 결과는 배치 크기와 무관해야 함. 배치 1 과 배치 16 의 출력이 다르면 BN 이 남아 있는 것 |
| 공간 크기 | 매우 작은 특징 맵(예: $4\times4$)에서는 $HW$ 가 작아 통계가 불안정하므로 $\epsilon$ 값과 해당 층의 IN 사용 여부를 점검 |
💡 Key Takeaway 구조가 다른 두 생성기가 같은 결함을 보이다가 IN 교체만으로 함께 개선되었다는 사실이, 정규화 축이 품질을 좌우한다는 주장의 가장 강한 증거입니다. 재현 시에는 추론 모드에서도 IN 이 입력 통계를 쓰는지 반드시 확인해야 합니다.
의의와 후속 연구: IN에서 AdaIN, StyleGAN으로
후속 영향 측면에서 이 4쪽짜리 리포트는 생성 모델 정규화의 방향을 바꾼 논문으로 평가됩니다. IN의 통계가 “스타일”을 담는다는 관찰이 조건부 정규화 계열의 출발점이 되었습니다.
🧭 1. 통계 = 스타일 이라는 관점
IN은 각 채널의 평균과 분산을 제거합니다. 뒤집어 말하면 채널별 평균·분산이 이미지의 스타일 정보를 상당 부분 담고 있다는 뜻입니다. 이 관점은 다음 연구들로 이어졌습니다.
| 연구 | 아이디어 |
|---|---|
| Conditional IN (Dumoulin et al. 2017) | IN 뒤의 아핀 파라미터 $\gamma,\beta$ 를 스타일마다 따로 학습해 한 네트워크로 여러 스타일 전환 |
| AdaIN (Huang & Belongie 2017) | 콘텐츠 특징을 IN 한 뒤 스타일 이미지 특징의 평균·표준편차로 다시 스케일·시프트해 임의 스타일을 실시간 변환 |
| StyleGAN (Karras et al. 2019) | 잠재 코드에서 만든 스타일 벡터로 AdaIN 파라미터를 생성해 생성기 각 해상도에 스타일 주입 |
| Improved Texture Networks (Ulyanov et al., CVPR 2017) | 이 리포트의 내용을 확장해 IN과 다양성 손실을 결합 |
🔄 2. 이미지 변환 전반으로의 확산
스타일 변환뿐 아니라 Pix2Pix, CycleGAN 등 image-to-image translation 생성기는 거의 예외 없이 IN을 채택했습니다. 배치 통계가 개별 샘플의 생성 품질을 흐리는 문제가 공통적이기 때문입니다. Group Normalization(Wu & He 2018) 관점에서 IN은 그룹 수가 채널 수와 같은 극단이며, Layer Normalization은 그룹 수 1인 반대쪽 극단입니다.
📏 3. 설계 선택의 교훈
- 정규화 층은 단순한 최적화 보조가 아니라 어떤 정보를 버릴지를 결정하는 설계 요소입니다.
- 학습·추론 불일치를 없애는 것이 생성 과제에서 특히 중요합니다. IN은 그 자체로 불일치가 없습니다.
💡 Key Takeaway “IN이 제거하는 통계가 곧 스타일이다”라는 통찰이 Conditional IN → AdaIN → StyleGAN 의 스타일 주입 계보를 열었고, 생성기 정규화의 기본값을 BN에서 IN으로 바꿨습니다.
한계와 열린 방향
한계는 IN이 정보를 버리는 방식 자체에서 나옵니다. 전역 대비를 항상 제거하는 것이 유리한 과제에서는 강점이지만, 그 정보가 필요한 과제에서는 손실이 됩니다.
⚠️ 1. 논문 자체의 한계
- 정량 평가 부재: 모든 비교가 정성적이며 사용자 연구나 지표가 없습니다. 효과의 크기를 수치로 재현·검증하기 어렵습니다.
- Johnson et al. 생성기의 재현: 원본 모델 없이 재현했으므로 기준 모델의 BN 결과가 원 논문과 정확히 같다고 보장할 수 없습니다.
- 스타일 변환에 한정: 저자들이 판별 과제에 대한 실험을 언급하지만 결과는 제시하지 않습니다. 실제로 분류 네트워크에서는 IN이 BN보다 열세인 경우가 많습니다.
🧩 2. 방법 자체의 제약
| 제약 | 설명 |
|---|---|
| 필요한 전역 정보의 손실 | 사진 보정, 조명 추정처럼 콘텐츠의 전역 대비·밝기가 출력에 반영되어야 하는 과제에서는 IN이 해가 될 수 있음 |
| 작은 특징 맵에서의 통계 불안정 | 공간 통계만 쓰므로 $W\times H$ 가 매우 작은 깊은 층에서는 평균·분산 추정이 불안정 |
| 채널 간 상관 무시 | 채널마다 독립 정규화하므로 채널 간 공분산(색상 상관 등)에 담긴 스타일 정보는 다루지 못함. 후속의 whitening-coloring 류(WCT)가 이를 보완 |
| 공간적으로 불균일한 스타일 | 채널 통계는 공간 정보를 버리므로 영역별로 다른 스타일 적용에는 SPADE 같은 공간 조건부 정규화가 필요 |
🚀 3. 열린 방향
- 정규화가 어떤 통계를 제거하고 보존해야 하는지를 과제별로 체계화하는 것, 즉 정규화 축의 선택을 설계 변수로 다루는 연구가 BN/LN/IN/GN 논의로 이어졌습니다.
- IN의 통계가 스타일이라면, 더 고차 통계(공분산, 분포 전체)를 조작하는 방향과 공간적 조건부 정규화가 자연스러운 확장이며, 실제로 WCT, AdaIN, SPADE 로 전개되었습니다.
💡 Key Takeaway IN은 “항상 전역 대비를 버린다”는 강한 귀납 편향을 가집니다. 스타일 변환과 이미지 변환에는 이 편향이 정답이었지만, 버려지는 정보가 필요한 과제와 채널 간·공간적 스타일은 후속 정규화 기법의 몫으로 남았습니다.