0. Summary

기본 정보 : ArXiv,2016.07.21, Layer Normalization

연구 배경

배치 정규화(Batch Normalization, BN)는 각 뉴런으로 들어오는 합산 입력(summed input)을 미니배치 통계로 정규화해 피드포워드 네트워크 학습을 크게 가속했지만, 그 효과는 미니배치 크기에 의존하고, 학습과 추론에서 다른 계산(배치 통계 대 이동 평균)을 수행한다. 더 큰 문제는 순환 신경망(RNN)이다. 순환 뉴런의 합산 입력은 시퀀스 길이에 따라 변하므로 시간 단계마다 다른 통계가 필요해 보이고, 테스트 시퀀스가 학습 시퀀스보다 길면 통계가 없는 시간 단계가 생긴다. 또한 배치가 매우 작아야 하는 온라인 학습이나 대규모 분산 모델에는 BN을 적용할 수 없다. 즉 훈련 사례 간 의존성을 만들지 않으면서 정규화의 이점을 얻는 방법이 필요했다.

제안 방법

층 정규화(Layer Normalization, LN) 는 BN의 통계 축을 “전치(transpose)” 한다. 미니배치 축이 아니라 한 층의 모든 은닉 유닛 에 걸쳐 평균과 분산을 계산해, 한 훈련 사례 안에서 정규화를 끝낸다. 같은 층의 모든 유닛이 동일한 $\mu,\sigma$ 를 공유하되 훈련 사례마다 값은 다르다. BN처럼 정규화 뒤 비선형성 앞에 뉴런별 적응 이득(gain) $g$ 와 편향(bias) $b$ 를 둔다. 배치 크기 제약이 없어 배치 1의 순수 온라인 학습에도 쓸 수 있고, 학습과 테스트에서 정확히 같은 계산을 한다. RNN에는 각 시간 단계에서 합산 입력 $\mathbf{a}^{t}=W_{hh}\mathbf{h}^{t-1}+W_{xh}\mathbf{x}^{t}$ 에 대해 통계를 따로 계산하는 방식으로 자연스럽게 적용된다.

발견 사실

LN은 RNN의 은닉 상태 동역학을 안정화하고 여러 과제에서 학습 시간을 크게 줄였다. MS-COCO 이미지-문장 검색(order embeddings)에서는 기준 모델의 약 60% 시간에 최고 검증 성능에 도달했고 R@1 이 캡션 검색 46.6 → 48.5, 이미지 검색 37.8 → 38.9 로 올랐다. Skip-thought 벡터에서는 1M 반복 기준 SICK, MR, CR, SUBJ, MPQA 모든 지표가 개선되었다(예: MR 77.3 → 79.5). DRAW(이진 MNIST)에서는 처음 100 에폭 동안 거의 두 배 빠르게 수렴했고 200 에폭 후 82.36 → 82.09 nats 로 더 낮은 음의 로그우도를 보였다. Attentive reader(CNN QA)와 IAM-OnDB 필기 생성에서도 더 빠르고 안정적으로 수렴했다. 순열 불변 MNIST에서는 배치 128과 4 모두에서 BN보다 강건했다. 그러나 합성곱 네트워크에서는 BN이 LN보다 우수했고, 저자들은 이미지 경계 근처 유닛의 통계가 크게 달라 “같은 층의 유닛이 비슷하게 기여한다”는 LN의 가정이 깨지기 때문이라고 해석했다.

핵심 기여

배치 축을 층 축으로 전치한 정규화 : 훈련 사례 간 의존성이 없고, 배치 크기 제약이 없으며, 학습·테스트 계산이 동일하고, RNN에 시간 단계별로 그대로 적용되는 정규화 방법을 제안했다.
불변성 분석과 기하학적 해석 : BN·Weight Norm·LN이 가중치·데이터의 재스케일링·재중심화에 대해 어떤 불변성을 갖는지 표로 정리하고(Table 1), Fisher 정보 행렬 기반 리만 기하로 정규화가 암묵적 학습률 감소와 안정적 이득 학습을 유도함을 보였다.
RNN 중심의 광범위한 실증 : 이미지-문장 검색, 기계 독해, 문장 표현 학습, 생성 모델(DRAW), 필기 생성, MNIST의 여섯 가지 과제에서 학습 속도와 일반화를 개선했고, 합성곱 네트워크에서는 BN이 더 낫다는 부정적 결과도 정직하게 보고했다.

관련 개념

정규화 통계의 축: 배치 정규화에서 층 정규화로

층 정규화의 핵심은 “무엇에 걸쳐 평균·분산을 내는가” 를 바꾸는 것입니다. BN은 한 뉴런에 대해 훈련 사례들에 걸쳐, LN은 한 훈련 사례에 대해 같은 층의 뉴런들에 걸쳐 통계를 냅니다.

🧮 1. 배치 정규화의 정식화 (Eq. 2)

$l$ 번째 은닉층의 $i$ 번째 뉴런의 합산 입력을 $a_i^{l}=\mathbf{w}_i^{l\top}\mathbf{h}^{l}$, 출력을 $h_i^{l+1}=f(a_i^{l}+b_i^{l})$ 라 하면 BN은

\[\bar{a}_i^{l}=\frac{g_i^{l}}{\sigma_i^{l}}\big(a_i^{l}-\mu_i^{l}\big),\qquad \mu_i^{l}=\mathop{\mathbb{E}}_{\mathbf{x}\sim P(\mathbf{x})}\big[a_i^{l}\big],\qquad \sigma_i^{l}=\sqrt{\mathop{\mathbb{E}}_{\mathbf{x}\sim P(\mathbf{x})}\Big[\big(a_i^{l}-\mu_i^{l}\big)^{2}\Big]}\]

입니다. 기댓값은 데이터 분포 전체에 대한 것이지만 실제로는 현재 미니배치로 추정하므로, 미니배치 크기에 제약이 생기고 RNN에 적용하기 어렵습니다.

🔁 2. 층 정규화의 정식화 (Eq. 3)

한 층의 출력 변화는 다음 층 합산 입력에 높은 상관을 가진 변화를 일으킵니다(특히 출력이 크게 변할 수 있는 ReLU에서). 따라서 “공변량 이동”은 각 층 안에서 합산 입력의 평균·분산을 고정하는 것으로도 줄일 수 있습니다. $H$ 를 층의 은닉 유닛 수라 하면

\[\mu^{l}=\frac{1}{H}\sum_{i=1}^{H}a_i^{l},\qquad \sigma^{l}=\sqrt{\frac{1}{H}\sum_{i=1}^{H}\big(a_i^{l}-\mu^{l}\big)^{2}}\]

구분	BN (Eq. 2)	LN (Eq. 3)
통계를 내는 축	훈련 사례(미니배치)	같은 층의 은닉 유닛
정규화 항의 공유	같은 뉴런, 다른 사례 간 공유	같은 사례, 층 내 모든 뉴런 간 공유
배치 크기 제약	있음	없음, 배치 1 가능
학습·테스트 계산	다름(이동 평균 필요)	동일
새로 도입되는 사례 간 의존성	있음	없음

🔧 3. 이득과 편향

BN과 마찬가지로 각 뉴런에 적응 편향 $b$ 와 이득 $g$ 를 두고, 정규화 뒤 비선형성 앞에 적용합니다. 이득은 1, 편향은 0으로 초기화하는 것이 본문의 기본 설정입니다. 이 두 파라미터 덕분에 정규화가 표현력을 제한하지 않고, 네트워크는 필요하면 원하는 스케일과 오프셋을 학습으로 복원할 수 있습니다.

구현 비용 관점에서 LN 층은 은닉 유닛 수 $H$ 에 대해 이득·편향 $2H$ 개의 파라미터만 추가하고, 이동 평균 같은 비학습 상태(buffer)를 전혀 두지 않습니다. 순전파는 샘플당 $O(H)$ 의 평균·분산 계산이며, 역전파는 $\mu^{l},\sigma^{l}$ 가 모든 유닛에 의존하므로 BN 과 같은 꼴의 보정 항(평균 기울기와 분산 기울기의 역투영)이 유닛 축을 따라 붙습니다. 상태가 없다는 점이 학습·추론 동일성과 분산 학습 친화성의 직접적 원인입니다.

💡 Key Takeaway LN은 BN의 “뉴런별·사례 간” 통계를 “사례별·뉴런 간” 통계로 뒤집은 것입니다. 이 단순한 전치가 배치 의존성, 학습·추론 불일치, RNN 적용 난점을 한꺼번에 제거합니다.

층 정규화 RNN과 LSTM 적용

층 정규화 RNN은 LN의 주된 동기이자 가장 성공적인 적용처입니다. 시간 단계마다 합산 입력에 대해 통계를 다시 계산하므로 시퀀스 길이와 무관하게 동작합니다.

⏱️ 1. 순환 층의 정식화 (Eq. 4)

현재 입력 $\mathbf{x}^{t}$ 와 이전 은닉 상태 $\mathbf{h}^{t-1}$ 로부터 합산 입력 $\mathbf{a}^{t}=W_{hh}\mathbf{h}^{t-1}+W_{xh}\mathbf{x}^{t}$ 를 만들고,

\[\mathbf{h}^{t}=f\Big[\frac{\mathbf{g}}{\sigma^{t}}\odot\big(\mathbf{a}^{t}-\mu^{t}\big)+\mathbf{b}\Big],\qquad \mu^{t}=\frac{1}{H}\sum_{i=1}^{H}a_i^{t},\qquad \sigma^{t}=\sqrt{\frac{1}{H}\sum_{i=1}^{H}\big(a_i^{t}-\mu^{t}\big)^{2}}\]

여기서 $\odot$ 은 원소별 곱이며, $\mathbf{g},\mathbf{b}$ 는 모든 시간 단계에서 공유됩니다.

BN을 RNN에 적용할 때의 문제	LN의 해결
시간 단계마다 별도 통계가 필요	각 단계에서 $\mu^{t},\sigma^{t}$ 를 즉석 계산
테스트 시퀀스가 학습보다 길면 통계가 없음	길이에 무관, 어떤 단계든 같은 계산
긴 시퀀스에서 통계 추정 불안정	한 사례 안의 $H$ 개 유닛으로 추정

🧭 2. 은닉 상태 동역학의 안정화

표준 RNN은 순환 유닛의 합산 입력 크기가 매 시간 단계 커지거나 작아지는 경향이 있어 기울기 폭주·소실로 이어집니다. LN RNN에서는 재스케일링 불변성 덕분에 합산 입력의 스케일이 각 단계에서 정규화되어 훨씬 안정적인 은닉-은닉 동역학을 얻습니다.

🧩 3. LSTM에의 적용 (Appendix)

LSTM에서는 LN을 다음 위치에 따로 적용합니다.

\[\begin{pmatrix}\mathbf{f}_t\\ \mathbf{i}_t\\ \mathbf{o}_t\\ \mathbf{g}_t\end{pmatrix}=\mathrm{LN}(W_h\mathbf{h}_{t-1};\boldsymbol{\alpha}_1,\boldsymbol{\beta}_1)+\mathrm{LN}(W_x\mathbf{x}_t;\boldsymbol{\alpha}_2,\boldsymbol{\beta}_2)+\mathbf{b}\] \[\mathbf{c}_t=\sigma(\mathbf{f}_t)\odot\mathbf{c}_{t-1}+\sigma(\mathbf{i}_t)\odot\tanh(\mathbf{g}_t),\qquad \mathbf{h}_t=\sigma(\mathbf{o}_t)\odot\tanh\big(\mathrm{LN}(\mathbf{c}_t;\boldsymbol{\alpha}_3,\boldsymbol{\beta}_3)\big)\]

은닉-은닉 항 $W_h\mathbf{h}_{t-1}$ 과 입력-은닉 항 $W_x\mathbf{x}_t$ 를 각각 정규화한 뒤 더합니다.
셀 상태 $\mathbf{c}_t$ 에도 출력 게이트 앞 $\tanh$ 직전에 LN을 적용합니다.
실험에서 LN 이득의 초기값이 성능에 영향을 주었으며, attentive reader 실험에서는 이득 스케일 1.0 이 0.1 보다 뚜렷하게 좋았습니다.

💡 Key Takeaway RNN에서 LN은 “시간 단계마다 현재 합산 입력을 그 자리에서 정규화” 하는 방식으로 동작하며, LSTM에서는 은닉 항·입력 항·셀 상태 세 곳에 별도 이득·편향으로 적용하는 것이 관례입니다.

불변성 분석: BN, Weight Norm, LN의 비교

불변성(invariance) 은 정규화 방법이 가중치나 데이터의 어떤 변환에 대해 출력을 바꾸지 않는가를 묻습니다. 논문 Section 5.1은 세 방법을 같은 틀로 비교해, 각 방법이 어디서 강하고 어디서 약한지 드러냅니다.

📋 1. 불변성 표 (Table 1)

변환	가중치 행렬 재스케일링	가중치 행렬 재중심화	가중치 벡터 재스케일링	데이터셋 재스케일링	데이터셋 재중심화	단일 사례 재스케일링
Batch norm	불변	아님	불변	불변	불변	아님
Weight norm	불변	아님	불변	아님	아님	아님
Layer norm	불변	불변	아님	불변	아님	불변

⚖️ 2. 가중치 재스케일링과 재중심화

세 방법 모두 합산 입력을 $h_i=f\big(\tfrac{g_i}{\sigma_i}(a_i-\mu_i)+b_i\big)$ 꼴로 정규화하되, $\mu,\sigma$ 의 계산 방식만 다릅니다.

BN·Weight norm: 개별 가중치 벡터 $\mathbf{w}_i$ 를 $\delta$ 배 해도 $\mu_i,\sigma_i$ 가 함께 $\delta$ 배 되어 출력 불변. 그러나 가중치 벡터 하나를 스케일하는 것과 전체 행렬을 스케일하는 것 모두 불변인 대신, 재중심화에는 불변이 아닙니다.
LN: 전체 가중치 행렬을 $\delta$ 배 스케일하고 모든 입력 가중치를 상수만큼 이동해도($W’=\delta W+\mathbf{1}\boldsymbol{\gamma}^{\top}$) 출력이 같습니다.

\[\mathbf{h}'=f\Big(\frac{\mathbf{g}}{\sigma'}(\mathbf{a}'-\mu')+\mathbf{b}\Big)=f\Big(\frac{\mathbf{g}}{\delta\sigma}\big(\delta W\mathbf{x}+\mathbf{1}\boldsymbol{\gamma}^{\top}\mathbf{x}-\delta\mu-\mathbf{1}\boldsymbol{\gamma}^{\top}\mathbf{x}\big)+\mathbf{b}\Big)=\mathbf{h}\]

하지만 개별 가중치 벡터의 스케일링에는 불변이 아닙니다. 층 전체 통계를 쓰기 때문입니다.

🧷 2-1. 비교 대상으로서의 Weight Normalization

Weight Normalization(Salimans & Kingma 2016)은 활성값이 아니라 가중치 벡터를 정규화합니다. 입력 가중치 $\mathbf{w}_i$ 를 방향과 크기로 분해해

\[a_i=\frac{g_i}{\|\mathbf{w}_i\|_2}\,\mathbf{w}_i^{\top}\mathbf{h}\]

로 두므로, 식의 꼴은 “$\sigma_i$ 자리에 $|\mathbf{w}_i|_2$ 를, $\mu_i$ 자리에 0 을 넣은 것”과 같습니다. 데이터 통계를 전혀 쓰지 않기 때문에 배치 의존성이 없고 RNN 에도 적용할 수 있지만, 같은 이유로 데이터 재스케일링·재중심화에 불변이 아닙니다. 논문이 LN 과 함께 Weight Norm 을 표에 넣은 것은, 배치 독립적인 두 대안 중 LN 만이 데이터 스케일 변화에도 강건하다는 점을 대비하기 위해서입니다.

📊 3. 데이터 재스케일링과 재중심화

모든 방법이 데이터셋 전체 재스케일링에는 불변입니다(Weight norm은 아님, 가중치만 정규화하므로).
BN은 데이터셋 재중심화에 불변이지만 단일 사례의 재스케일링에는 불변이 아닙니다. 배치 전체 통계가 필요하기 때문입니다.
LN은 반대로 개별 훈련 사례 $\mathbf{x}’=\delta\mathbf{x}$ 의 재스케일링에 불변입니다. $\mu’=\delta\mu$, $\sigma’=\delta\sigma$ 이므로 정규화된 합산 입력이 그대로입니다. 이 성질이 입력 스케일이 들쭉날쭉한 시퀀스에서 LN을 강건하게 만듭니다.

💡 Key Takeaway BN은 “사례 간” 변환에, LN은 “사례 내” 변환에 강합니다. LN의 단일 사례 재스케일링 불변성과 가중치 재중심화 불변성이 RNN·온라인 학습에서의 강점을 설명합니다.

기하학적 해석: Fisher 정보와 암묵적 학습률 감소

리만 기하 분석(Section 5.2) 은 정규화가 파라미터 공간의 곡률을 어떻게 바꾸는지 설명합니다. 핵심 결론은 정규화된 모델에서 가중치 노름이 커지면 그 방향의 유효 학습률이 자동으로 줄어든다는 것입니다.

📐 1. 통계 다양체와 Fisher 정보

출력 분포 $P(y\mid\mathbf{x};\theta)$ 를 가진 모델의 파라미터 공간은 통계 다양체이며, 두 모델 사이의 거리는 KL 발산으로 잽니다. 작은 변화 $\delta$ 에 대해

\[ds^{2}=D_{\mathrm{KL}}\big[P(y\mid\mathbf{x};\theta)\,\|\,P(y\mid\mathbf{x};\theta+\delta)\big]\approx\tfrac12\delta^{\top}F(\theta)\delta,\qquad F(\theta)=\mathop{\mathbb{E}}_{\mathbf{x},y}\Big[\frac{\partial\log P}{\partial\theta}\frac{\partial\log P}{\partial\theta}^{\top}\Big]\]

이고 $F$ 는 Fisher 정보 행렬입니다. 논문은 일반화 선형 모델(GLM)에 블록 대각 Fisher 근사를 적용해, 정규화 유무에 따른 블록 $F_{ij}$ 의 형태를 비교합니다.

🪜 2. 암묵적 학습률 감소

정규화된 GLM에서 가중치 벡터 $\mathbf{w}_i$ 의 노름이 두 배가 되면 출력은 바뀌지 않지만 $\sigma_i$ 도 두 배가 되므로, $\mathbf{w}_i$ 방향의 Fisher 블록은 $\tfrac12$ 배로 줄어듭니다. 같은 크기의 파라미터 갱신이 출력에 미치는 영향이 작아지는 것이므로, 가중치 노름이 커질수록 그 방향의 유효 학습률이 줄어드는 효과입니다. 논문은 이를 가중치 성장을 억제하는 암묵적 “조기 종료(early stopping)” 로 해석하며, 학습이 더 안정적으로 수렴하는 데 기여한다고 설명합니다.

🎚️ 3. 이득(크기) 학습의 안정성

모델	가중치 크기 방향의 곡률	함의
표준 GLM	입력 노름 $\|\mathbf{x}\|$ 에 비례	입력 스케일이 크면 같은 갱신이 과도하게 작용
BN·LN 모델	예측 오차의 크기에만 의존	입력·파라미터 스케일링에 강건하게 이득을 학습

정규화된 모델에서 이득 파라미터 $g_i$ 의 학습 곡률은 입력 스케일이 아니라 예측 오차의 크기에만 의존하므로, 입력 스케일이 변해도 이득 학습이 흔들리지 않습니다.

💡 Key Takeaway 정규화는 파라미터 공간의 기하 자체를 바꿔 가중치가 커질수록 그 방향 학습률을 줄이고, 이득 학습을 입력 스케일로부터 분리합니다. 이것이 LN·BN 공통의 안정화 메커니즘입니다.

실험: 순환 모델과 생성 모델에서의 효과

실험(Section 6) 은 LN의 주된 적용처인 RNN 계열 과제 다섯 개와 피드포워드·합성곱 과제로 구성됩니다. 모든 RNN 실험에서 LN은 학습을 가속했고, 상당수에서 일반화도 개선했습니다.

🖼️ 1. 이미지-문장 검색: Order Embeddings (Section 6.1)

Vendrov et al. 의 order-embedding 모델(GRU 문장 인코더 + VGG 이미지 특징)에 LN을 적용했습니다. MS-COCO 5개 테스트 분할(각 1,000 이미지·5,000 캡션)의 평균 결과입니다(Table 2).

모델	캡션 R@1	R@5	R@10	Mean r	이미지 R@1	R@5	R@10	Mean r
OE (재현)	46.6	79.3	89.1	5.2	37.8	73.6	85.7	7.9
OE + LN	48.5	80.6	89.8	5.1	38.9	74.3	86.3	7.6

LN 모델은 기준 모델이 최고 검증 성능에 이르는 시간의 약 60% 만에 같은 지점에 도달했으며, 모든 지표에서 개선되었습니다.

📖 2. 기계 독해: Attentive Reader (Section 6.2)

CNN 질의응답 말뭉치에서 양방향 attentive reader를 LN, 기준, 순환 BN(Cooijmans et al.)과 비교했습니다. 수치 대신 검증 곡선(Fig. 2)으로 보고되며, LN이 더 빠르게 수렴하고 더 좋은 결과에 도달했습니다. LN 이득의 초기 스케일이 중요했고 1.0 이 0.1 보다 뚜렷이 우수했습니다.

📝 3. 문장 표현 학습: Skip-thought (Section 6.3)

BookCorpus에서 skip-thought 인코더-디코더를 1M 반복 학습하고 다운스트림 과제로 평가했습니다(Table 3).

방법	SICK(r)	SICK($\rho$)	SICK(MSE)	MR	CR	SUBJ	MPQA
Original (Kiros et al.)	0.848	0.778	0.287	75.5	79.3	92.1	86.9
Ours	0.842	0.767	0.298	77.3	81.8	92.6	87.9
Ours + LN	0.854	0.785	0.277	79.5	82.6	93.4	89.0
Ours + LN †	0.858	0.788	0.270	79.4	83.1	93.7	89.3

† 는 약 1개월(약 1.7M 반복) 학습한 모델입니다. LN은 모든 과제에서 개선을 보였고, 더 오래 학습하면 추가 향상이 있었습니다.

✍️ 4. 생성 모델과 필기 생성 (Section 6.4, 6.5)

과제	설정	결과
DRAW, 이진 MNIST	64 glimpse, 256 LSTM 유닛	처음 100 에폭에서 거의 두 배 빠른 수렴. 200 에폭 후 테스트 NLL 기준 82.36 → 82.09 nats
필기 생성, IAM-OnDB	400 LSTM 셀 × 3층, 20개 이변량 가우시안 혼합 출력, 미니배치 8, 시퀀스 길이 500	기준과 비슷한 로그우도에 훨씬 빠르게 도달(Fig. 5)

필기 생성은 긴 시퀀스와 작은 미니배치라는, BN에 가장 불리한 설정에서 LN의 이점을 보인 사례입니다.

💡 Key Takeaway RNN 계열 다섯 과제 모두에서 LN은 학습 속도를 높였고 대부분에서 최종 성능도 개선했습니다. 특히 긴 시퀀스·작은 배치처럼 BN이 쓰기 어려운 설정에서 그 가치가 두드러집니다.

한계와 열린 방향

한계는 LN의 가정인 “같은 층의 은닉 유닛은 서로 비슷하게 기여한다”가 깨지는 곳에서 나타납니다. 논문은 이를 합성곱 실험으로 솔직히 보고하고, 이후 연구는 LN의 적용처와 변형을 넓혀 왔습니다.

⚠️ 1. 피드포워드·합성곱에서의 결과 (Section 6.6, 6.7)

설정	결과
순열 불변 MNIST, 784-1000-1000-10	배치 128과 4 모두에서 LN이 BN보다 배치 크기에 강건하고, 모든 층에 BN을 적용한 경우보다 빠르게 수렴(Fig. 6). 수치는 곡선으로만 제시
합성곱 네트워크	예비 실험에서 LN은 비정규화 기준보다 빠르지만 BN이 가장 우수. 수치 미제시

합성곱에서 LN이 밀리는 이유로 저자들은 이미지 경계 근처의 은닉 유닛이 수용 영역 차이 때문에 다른 유닛과 매우 다른 통계를 갖는다는 점을 들며, ConvNet용 LN은 추가 연구가 필요하다고 밝힙니다.

🔍 2. 설계상의 열린 질문

이득·편향 초기화: 본문은 이득 1, 편향 0 을 기본으로 두지만 부록의 LSTM 식에서는 $\alpha$ 를 0, $\beta$ 를 1로 초기화한다고 적혀 있어 표기가 일관되지 않습니다. 실험에서 이득 스케일이 결과에 영향을 주었으므로(attentive reader: 1.0 대 0.1), 재현 시 명시적으로 고정해야 합니다.
층 내 유닛의 이질성: 층의 유닛들이 서로 다른 역할을 할 때(합성곱의 경계 유닛, 희소 활성화) 층 전체 통계가 개별 유닛 정보를 뭉갤 수 있습니다.
기하 분석의 범위: Fisher 정보 기반 해석은 GLM과 블록 대각 근사 아래에서 유도된 것이어서, 깊은 비선형 네트워크로의 일반화는 직관의 수준입니다.

🚀 3. 이후 연구와의 연결

방향	내용
Transformer의 표준 정규화	Vaswani et al. (2017) 이후 Transformer의 모든 서브층은 LN을 사용하며, Pre-LN/Post-LN 배치, RMSNorm(Zhang & Sennrich 2019) 같은 변형이 대형 언어 모델의 표준이 되었습니다. LN의 배치 독립성과 시퀀스 길이 무관성이 결정적이었습니다. RMSNorm 은 평균 차감을 생략하고 $\bar{a}_i=g_i\,a_i\big/\sqrt{\tfrac1H\sum_j a_j^{2}+\epsilon}$ 로 재스케일링만 수행하는데, 이는 Table 1 의 불변성 중 재중심화 불변성을 포기하고 재스케일링 불변성만 남긴 변형으로 읽을 수 있습니다.
Group Normalization	Wu & He (2018)는 채널을 그룹으로 나눠 통계를 내어 합성곱에서 LN의 약점을 보완했습니다. LN은 그룹 수 1, Instance Norm은 그룹 수 = 채널 수인 특수 경우로 해석됩니다.
Instance Normalization	스타일 변환에서는 사례별·채널별 통계가 유리하다는 관찰(Ulyanov et al. 2016)이 LN과 같은 시기에 독립적으로 나왔고, 둘 다 “배치 축을 버린다”는 공통 동기를 가집니다.

💡 Key Takeaway LN은 합성곱에서는 BN에 밀렸지만, 시퀀스 모델에서는 사실상 유일한 선택지가 되어 Transformer 시대의 기본 정규화로 자리 잡았습니다. 재현 시에는 이득 초기화와 LSTM 내 적용 위치를 명시적으로 고정하는 것이 중요합니다.