0. Summary

  • 기본 정보 : ArXiv,2026.10.20, The Router Already Knows
  • 연구 배경 : Mixture-of-Experts(MoE) 레이어는 토큰마다 라우터가 128개 전문가 중 8개를 고르는 희소 선택을 이미 수행한다. 희소 오토인코더(SAE) 역시 조밀한 활성을 큰 사전에서 몇 개 방향으로 쓰는 두 번째 희소 선택을 한다. 그런데 SAE를 전문가 출력의 합 뒤에 두거나, 전문가 정체성을 지운 채 개별 출력에 두면 라우터가 만든 분할(partition)은 버려진다. 이 논문은 “사전 학습된 라우터가 고른 전문가 정체성이 희소 사전 학습에 유용한 구조인가”라는 좁은 질문을 던진다.
  • 제안 방법 : NR-SAE(native-router SAE) 는 128개 라우팅 전문가 각각에 512-피처 사전(bank)을 하나씩 주고, 고정된 라우터의 선택을 그대로 주소로 쓴다. 전문가 76이 실행되면 사전 76이 열리고, 아니면 점수도 선택도 되지 않는다. 각 bank는 ReLU 후 TopK(4)로 최대 4개 피처를 고르며, 토큰 하나는 저장된 65,536개 중 4,096개 후보만 보고 32개 슬롯을 선택한다. 같은 bank 배치를 두 이음새(seam)에서 학습한다. SAE 는 전문가 출력을 받아 자기 자신을 재구성하고, transcoder 는 공통 입력에서 각 전문가 출력을 예측한다. 저장 피처·파라미터를 맞춘 F, 후보 수를 맞춘 B, 구조는 같되 전문가 정체성을 시퀀스마다 무작위 치환한 R 세 대조군과 비교한다.
  • 발견 사실 : Gemma 4 26B-A4B의 block 15에서 C4 1,000만 토큰, 3개 시드로 학습했을 때 NR-SAE는 라우터 가중 전문가 출력의 분산 0.518 을 설명했고, F는 0.481, B는 0.458, R은 0.387이었다. Transcoder에서도 0.432로 0.347, 0.371, 0.118을 모두 앞섰다. 모든 체크포인트(2M, 5M, 10M)에서 A의 가장 낮은 시드가 모든 대조군의 가장 높은 시드를 넘었다. 다만 각 전문가는 모델 폭의 1/4 이하(704/2,816)인 부분공간에 쓰므로 이 이점의 일부는 구조에서 “공짜로” 오는 것이며 그 비중은 측정하지 않았다. 구현은 후보 점수 계산이 1/16임에도 학습 시간이 F의 1.10–1.16배로 더 빨라지지 않았고, 의미적 해석 가능성·하류 손실·인과 충실도는 검증하지 않았다.
  • 핵심 기여 :
    1. 네이티브 라우터 인수분해 : 고정된 MoE 라우터의 전문가 선택을 사전 주소로 재사용하는 NR-SAE를 재구성(SAE)과 예측(transcoder) 두 이음새에서 제안했다.
    2. 매칭된 대조군 : 저장 용량·파라미터(F), 후보 예산(B), 구조 자체(R)를 각각 고정한 세 대조와 짝지은 계층적 부트스트랩 구간으로, 안정된 전문가 정체성의 효과를 조건부 용량·사전 폭 효과에서 분리했다.
    3. 시간 측정 : 산술적으로 1/16의 인코더 후보만 점수화하는 구현이 아직 실제 속도 이득으로 이어지지 않음을 chip-seconds로 보고하고, 설명 분산 외의 어떤 것도 보이지 않았음을 명시했다.

Abstract 쉬운 설명(Gemini)

전문 용어를 모두 빼고, 비전공자도 한눈에 이해할 수 있도록 ‘종합병원의 안내 데스크와 통역사’ 비유를 들어 아주 쉽게 풀어드리겠습니다.

📌 한 줄 핵심 요약 (Key Takeaway)

AI의 속마음을 해석할 때, AI 내부의 ‘안내 데스크(라우터)’가 이미 분류해 놓은 정보를 그대로 활용하면, 백지상태에서 처음부터 분석하는 것보다 훨씬 정확하게 AI의 생각을 읽어낼 수 있다는 내용입니다.

🏥 쉬운 비유로 이해하기: 대형 종합병원과 통역사

최신 AI 모델(MoE)을 128명의 전문의가 일하는 대형 종합병원이라고 상상해 보세요.

논문 속 전문 용어 종합병원 비유 쉬운 설명
MoE (전문가 혼합 모델) 128명의 전문의가 있는 병원 모든 의사가 모든 환자를 보는 게 아니라, 질문(단어)마다 딱 맞는 전문의 몇 명만 나서서 대답을 만듭니다.
라우터 (Router) 병원 1층 안내 데스크 환자가 들어오면 증상을 보고 “3번 내과 선생님과 12번 외과 선생님께 가세요”라고 딱 정해주는 베테랑 직원입니다.
SAE / 트랜스코더 의사들의 대화를 기록하는 통역사 의사들이 자기들끼리 쓰는 어려운 암호(AI의 내부 신호)를 인간이 이해할 수 있는 ‘개념 사전’으로 번역하는 도구입니다.

💡 기존 방식 vs 이 논문의 새로운 방식

지금까지 과학자들은 AI가 무슨 생각을 하는지 알아내기 위해(통역하기 위해) 비효율적인 방법을 썼습니다. 이 논문이 무엇을 바꿨는지 비교해 볼까요?

구분 기존 방식 (백지상태에서 통역하기) 이 논문의 방식 (NR-SAE: 안내 데스크 활용)
작동 방식 안내 데스크가 누구를 지목했는지 무시합니다. 두꺼운 백과사전 하나만 들고, 오늘 진료를 본 의사가 누구인지부터 무슨 말을 했는지까지 통역사가 밑바닥부터 다시 추측합니다. 안내 데스크에게 “방금 몇 번 의사 선생님이 진료했나요?”라고 먼저 물어봅니다. 그리고 그 의사 선생님의 전용 수첩(작은 사전)만 딱 펼쳐서 통역합니다.
결과 (정확도) 누가 말했는지 찾는 데 에너지를 다 써서 번역 정확도가 떨어집니다. (약 38~48% 수준) 이미 누가 말했는지 알고 시작하니까 번역 정확도가 51.8%로 껑충 뜁니다.

❓ 왜 이렇게 했더니 훨씬 잘 될까요?

이유는 아주 간단합니다. 각 전문의(Expert)는 자신이 다루는 분야와 사용하는 말투가 이미 정해져 있기 때문입니다.

예를 들어 ‘피부과 의사’가 진료를 봤다는 사실만 안내 데스크(라우터)를 통해 미리 알아도, 통역사는 심장이나 뼈에 관한 단어는 아예 신경 쓸 필요 없이 피부 관련 단어장만 뒤져보면 됩니다.

결국 논문 제목인 “라우터는 이미 알고 있다(The Router Already Knows)”의 뜻은, “AI 안의 안내 데스크가 이미 어떤 전문가가 나설지 다 분류해 놓았는데, 왜 우리가 그걸 무시하고 처음부터 다시 찾고 있었지? 그냥 안내 데스크가 아는 걸 그대로 가져다 쓰자!”라는 뜻입니다.

⚠️ 아직 남은 숙제 (한계점)

연구진은 정직하게 아직 해결하지 못한 점도 밝혀두었습니다.

  • 속도가 빨라지진 않았음: 128개의 작은 수첩을 따로따로 관리하다 보니, 컴퓨터가 계산하는 속도 자체는 기존 방식보다 빨라지지 않았습니다.
  • 진짜 사람이 보기에 깔끔한지는 확인 필요: AI의 신호를 수학적으로 훨씬 더 비슷하게 복원(51.8%)해 내는 데는 성공했지만, 그렇게 뽑아낸 단어장이 실제 사람 눈에도 얼마나 깔끔하게 정리되어 있는지는 다음 연구에서 확인해 봐야 합니다.

관련 개념

MoE 레이어와 라우터의 희소 선택

Mixture-of-Experts(MoE) 레이어는 많은 파라미터를 소유하지만 토큰마다 그중 일부만 사용합니다. 라우터(router)가 각 토큰에 대해 소수의 전문가 네트워크(expert)를 고르고, 선택된 전문가들의 출력에 라우터 가중치를 곱해 더합니다(Shazeer et al., 2017). 이 논문이 다루는 Gemma 4 26B-A4B는 라우팅 전문가 128개 중 토큰당 8개를 선택하고, 별도의 공유 전문가(shared expert) 하나를 항상 실행합니다.

🧩 1. 표기

논문은 토큰 $t$ 에 대해 다음 기호를 씁니다.

기호 의미
$i_{t,s}$ 라우팅 순위 $s \in {1,\dots,8}$ 에서 선택된 전문가의 ID
$g_{t,s}$ 그 전문가의 라우터 가중치
$y_{t,s} \in \mathbb{R}^{2816}$ 그 전문가의 원시 출력(라우팅 합산과 정규화 이전)
$x_t$ 라우팅 전문가들이 공통으로 받는 입력

여기서 중요한 점은 $y_{t,s}$ 가 합산 전 개별 전문가 출력이라는 것입니다. 보통 SAE는 합산 후의 블록 출력을 보지만, 이 논문은 합산 전의 구성 요소(component)를 봅니다.

🏗️ 2. 전문가 하나의 계산

전문가 $i$ 는 $y = W_i h$ 를 계산합니다. $W_i \in \mathbb{R}^{2816 \times 704}$ 는 다운 프로젝션, $h \in \mathbb{R}^{704}$ 는 전문가 은닉 활성입니다. 즉 전문가 하나의 출력은 최대 704차원 부분공간에 놓이며, 이는 모델 폭 2,816의 1/4입니다. 이 사실은 뒤에서 “라우터가 공짜로 아는 것”의 핵심 논거가 됩니다.

🔀 3. 두 번의 희소 선택

선택 주체 무엇을 고르는가 후보 수
MoE 라우터 토큰을 처리할 전문가 128 중 8
희소 오토인코더 활성을 표현할 사전 방향 수만 중 수십

논문의 출발점은 단순합니다. 모델이 이미 토큰마다 첫 번째 희소 선택을 해 두었는데, 두 번째 희소 선택이 그것을 다시 배워야 할 이유가 있는가입니다.

💡 Key Takeaway MoE 라우터는 토큰마다 “어느 전문가를 볼지”를 이미 결정합니다. 논문은 이 결정을 버리지 않고 SAE의 주소로 되돌려 주자고 제안합니다.

희소 사전은 어디에 놓이는가

희소 오토인코더(Sparse Autoencoder, SAE) 는 조밀한 활성을 훨씬 큰 학습 사전에서 몇 개의 방향으로 다시 쓰는 모델입니다(Cunningham et al., 2024; Gao et al., 2025). 논문은 “사전이 어디에 놓이느냐가 사전이 무엇을 볼 수 있는지를 결정한다”고 말합니다.

📍 1. 세 가지 배치와 잃는 것

배치 사전이 보는 것 라우터 분할의 운명
전문가 합산 뒤 재결합된 업데이트 하나 버려짐
개별 전문가 출력 위, 정체성 없이 모든 전문가 출력을 하나의 모집단으로 버려짐
개별 전문가 출력 위, 정체성 포함(NR-SAE) 전문가별 출력 보존됨

처음 두 배치에서는 누군가 되돌려 주지 않는 한 라우터의 분할이 사라집니다. NR-SAE는 바로 그것을 되돌려 줍니다.

🎯 2. 논문이 묻는 것과 묻지 않는 것

논문은 “MoE 전문가가 해석 가능한가”라는 넓은 질문을 다루지 않습니다. 질문은 그보다 좁습니다. 사전 학습된 라우터가 고른 전문가 정체성이 희소 사전 학습에 유용한 구조인가. 이 범위 설정은 결과 해석에서도 일관되게 유지됩니다. 설명 분산 외에 의미적 해석 가능성이나 인과 통제는 주장하지 않습니다.

🧾 3. 세 가지 기여

  1. 재구성 이음새와 예측 이음새에서의 네이티브 라우터 인수분해
  2. 안정된 전문가 정체성을 조건부 용량·사전 폭에서 분리하는 매칭된 대조군
  3. 그룹화된 구현이 산술적 이점을 아직 속도로 바꾸지 못함을 보이는 시간 측정

💡 Key Takeaway SAE가 합산 뒤에 놓이면 전문가 구조를 볼 수 없습니다. 논문은 합산 전 개별 전문가 출력에 전문가별 사전을 두는 것이 더 나은 사전으로 이어지는지를 통제된 실험으로 묻습니다.

NR-SAE: 전문가 정렬 사전

NR-SAE(native-router SAE) 는 128개 라우팅 전문가 각각에 512개 피처로 이루어진 bank를 하나씩 배정합니다. 고정된 라우터가 전문가 $i$ 를 선택하면 bank $D_i$ 가 열리고, 선택되지 않은 bank는 점수 계산조차 되지 않습니다. 두 번째 라우터는 없습니다.

🧮 1. 인코딩과 디코딩 (Eq. 1)

입력 $u_{t,s}$ (이음새마다 다르게 정의)가 주어지면 선택된 전문가 $i = i_{t,s}$ 의 bank는 다음을 계산합니다.

$$\hat{y}{t,s} \;=\; D_i \,\mathrm{TopK}_4\bigl(\mathrm{ReLU}(E_i\, u{t,s} + b_i)\bigr)$$

  • $E_i$, $b_i$: 전문가 $i$ 의 bank 인코더와 바이어스
  • $D_i$: 전문가 $i$ 의 bank 디코더
  • $\mathrm{TopK}_4$: ReLU 후 가장 큰 4개 항목만 남기고 나머지를 0으로 만듭니다.

TopK에서 0 값 항목도 선택 자격이 있으므로 4는 활성 피처 수의 상한일 뿐 보장이 아닙니다. 식에서 생략된 센터링(centering)은 타깃의 학습 평균 하나를 모든 bank가 공유하며(transcoder에서는 입력 평균도 하나), 전문가 정체성을 담지 않습니다.

📦 2. 토큰 하나가 보는 피처 수

항목 수
저장된 피처 $128 \times 512 = 65{,}536$
토큰이 보는 후보 $8 \times 512 = 4{,}096$
토큰이 선택하는 슬롯 $8 \times 4 = 32$

토큰은 저장된 피처의 1/16만 보고, 그중 32개를 고릅니다. 라우터가 이미 “어느 1/16을 볼지”를 정해 주었기 때문입니다.

📉 3. 손실 함수 (Eq. 2)

학습은 배치 $\mathcal{B}$ 에 대해 라우터 가중 출력의 정규화된 제곱 오차를 최소화합니다.

$$\mathcal{L}{\mathcal{B} } \;=\; \frac{\sum{(t,s)\in\mathcal{B} } \lVert g_{t,s}(y_{t,s} - \hat{y}{t,s}) \rVert_2^2 }{\sum{(t,s)\in\mathcal{B} } \lVert g_{t,s}(y_{t,s} - \bar{y}) \rVert_2^2 }$$

  • $\bar{y}$: 풀링된 타깃 평균
  • 분모는 배치의 $\bar{y}$ 에 대한 총 제곱합으로, 같은 패널의 모든 레이아웃에서 동일합니다. 따라서 손실이 직접 비교 가능하고, $\bar{y}$ 만 예측하면 모든 레이아웃에서 정확히 0점이 됩니다.
  • 라우터 가중치 $g_{t,s}$ 는 손실에만 들어갑니다. bank는 가중되지 않은 입력을 받습니다.

💡 Key Takeaway NR-SAE는 새 라우터를 학습하지 않습니다. 고정된 라우터의 선택이 곧 사전 주소이고, 각 bank는 자기 전문가의 출력만 보며 TopK(4)로 희소 코드를 만듭니다.

라우터가 공짜로 아는 것: 부분공간 논증

논문은 NR-SAE의 이점 중 일부가 학습이 아니라 산술에서 온다고 솔직하게 밝힙니다. 이 부분은 결과 해석에 직접 영향을 주므로 별도로 정리합니다.

📐 1. 전문가 출력의 차원 상한

전문가 $i$ 의 출력은 $y = W_i h$ 이고 $W_i \in \mathbb{R}^{2816 \times 704}$ 이므로, 출력은 최대 704차원 부분공간에 놓입니다. 모델 폭 2,816의 1/4입니다. 어느 전문가가 실행됐는지를 사전에 알려주는 것은 곧 어느 부분공간을 기대해야 하는지를 알려주는 것이며, 이는 사전이 아무것도 배우기 전에 주어집니다.

양 값
모델 폭 2,816
전문가 은닉 폭 (출력 부분공간 차원 상한) 704
bank 폭 512

bank 폭 512는 704라는 상한보다 작습니다. 다만 저자들은 전문가 출력이 실제로 몇 차원을 쓰는지는 측정하지 않았습니다.

⚖️ 2. 이것이 결과 해석에 미치는 영향

저자들의 표현을 빌리면, “전문가를 이름 부르는 것이 부분공간을 이름 부르는 것(naming the expert names the subspace)”입니다. 따라서 A가 대조군을 앞서는 폭 중 얼마가 구조적 공짜이고 얼마가 학습된 이점인지는 분리되지 않았습니다. 초록에서부터 “How much it explains, we have not measured”라고 못박습니다.

🧪 3. 제안된 참조점: 네이티브 뉴런 베이스라인

이 공짜 부분을 재려면 학습이 필요 없는 참조점이 필요합니다. 저자들이 제안하지만 실행하지 않은 것은 전문가 자체의 뉴런을 쓰는 것입니다. $y = \sum_j h_j w_j$ 에서 노름이 가장 큰 네 항 $h_j w_j$ 만 남기는 top-4 네이티브 뉴런 베이스라인입니다($w_j$ 는 $W_i$ 의 $j$ 번째 열).

비교 항목 NR-SAE bank top-4 네이티브 뉴런
후보 수 512 704
계수 부호 ReLU 후 비음수 부호 있음
입력 전문가 출력(SAE) 또는 공통 입력(transcoder) 전문가 은닉 활성
transcoder에서 전문가를 실행하지 않음 근사하려는 전문가를 직접 실행해야 함

매칭된 사전은 아니지만, Herbst et al. (2026)이 전문가 뉴런이 조밀 FFN 뉴런보다 덜 다의적이라고 보고한 만큼 자연스러운 참조점입니다.

💡 Key Takeaway NR-SAE의 이점 중 일부는 “전문가 출력이 좁은 부분공간에 산다”는 구조적 사실에서 공짜로 옵니다. 그 비중은 측정되지 않았고, 저자들은 이를 숨기지 않습니다.

두 이음새: SAE와 Transcoder

같은 bank 배치를 두 지점(seam) 에서 따로 학습합니다. 두 이음새는 서로 다른 질문에 답합니다.

🔁 1. 재구성 이음새 (SAE)

입력이 전문가 출력 자체입니다: $u_{t,s} = y_{t,s}$. bank는 출력을 받아 자기 자신을 재구성합니다. 질문은 “전문가 출력이 전문가 국소(expert-local) 사전을 허용하는가”입니다.

🔮 2. 예측 이음새 (Transcoder)

입력이 라우팅 전문가들의 공통 입력 $x_t$ 입니다. bank는 입력에서 선택된 전문가의 출력을 예측합니다(Dunefsky et al., 2024). 질문은 “그 사전이 각 전문가의 계산을 입력으로부터 기술할 수 있는가”입니다.

이음새 입력 $u_{t,s}$ 타깃 묻는 것
SAE $y_{t,s}$ $y_{t,s}$ 출력이 전문가별 사전을 허용하는가
Transcoder $x_t$ $y_{t,s}$ 사전이 전문가의 계산을 기술하는가

🔍 3. 왜 transcoder가 더 어려운가

Transcoder에서 bank는 라우터 가중치 $g_{t,s}$ 를 입력으로 받지 않습니다(손실에만 들어감). 또한 뒤에서 볼 R 대조군에서는 bank가 자기가 8개 선택 전문가 중 어느 것을 예측해야 하는지조차 알 수 없게 됩니다. 결과에서 R의 transcoder 설명 분산이 0.118까지 떨어지는 이유입니다.

💡 Key Takeaway SAE 이음새는 “출력이 전문가별로 나뉘는가”, transcoder 이음새는 “입력에서 전문가별 계산을 예측할 수 있는가”를 묻습니다. NR-SAE는 두 질문 모두에서 대조군을 앞섭니다.

선행 연구와의 관계

논문은 자신의 위치를 기존 연구 지형 속에 정확히 놓습니다. 특히 “MoE-SAE”라는 이름을 쓰지 않는 이유가 흥미롭습니다.

🗺️ 1. 관련 연구 지도

연구 방향 NR-SAE와의 차이
Switch SAE (Mudide et al., 2025), 다중 전문가 SAE (Xu et al., 2025) 조밀 모델 활성 위에 보조 라우터를 학습 NR-SAE는 라우터를 학습하지 않고 상속·고정
RouterInterp (Lasy et al., 2026) SAE 피처로 사전 학습된 MoE의 라우팅을 설명 반대 방향. 전문가가 하나의 넓은 도메인이 아니라 많은 세밀한 피처에 특화한다고 제안
Herbst et al. (2026) 전문가 뉴런이 조밀 FFN 뉴런보다 덜 다의적, 사전 없이 전문가를 직접 해석하자고 주장 전문가 뉴런이 bank의 자연스러운 참조점이 됨(미측정)
Ahrac et al. (2026) 라우터와 전문가가 학습 중 기하적으로 결합 라우터 선택이 전문가 출력 구조와 연관된다는 배경
Attention-output SAE (Kissane et al., 2024) 출력 프로젝션 전 모든 헤드 출력을 이어 붙여 하나의 사전 학습 사전을 나누지 않고도 헤드 귀속 유지. NR-SAE는 사전을 나눔
Mixture of decoders (Oldfield et al., 2025) 희소 레이어 근사를 위한 transcoder 대안 다른 접근

🏷️ 2. 왜 “MoE-SAE”라 부르지 않는가

Xu et al. (2025)은 보조 라우터를 가진 SAE 혼합을 MoE-SAE라 부릅니다. NR-SAE는 새 라우터를 만드는 것이 아니라 네이티브 라우터를 상속하므로, 혼동을 피하기 위해 그 이름을 쓰지 않습니다. 저자들은 기여를 “그 인수분해에 대한 통제된 증거이지, 새 라우터가 아니다”라고 요약합니다.

🔗 3. RouterInterp의 제안을 검증할 도구

RouterInterp는 각 전문가가 많은 세밀한 피처에 특화한다고 제안합니다. 전문가별 사전은 이 제안을 검증하기에 잘 맞는 도구입니다. 다만 이 논문은 그 검증(피처 라벨링)까지는 가지 않습니다.

💡 Key Takeaway 기존 MoE-SAE 계열은 라우터를 새로 학습합니다. NR-SAE는 모델의 라우터를 그대로 빌려 쓰며, 그래서 이름도 결과 해석도 다릅니다.

매칭된 대조군 설계

사전이 더 좋아 보이는 데에는 세 가지 이유가 있을 수 있습니다. 더 많은 피처를 저장하거나, 더 적은 후보를 점수화하거나, 단지 어떤 분할을 보존하기 때문입니다. 논문은 이 셋을 각각 고정한 네 레이아웃을 비교합니다. 모두 토큰당 32개 슬롯을 선택하고 같은 손실을 씁니다.

🧪 1. 네 레이아웃 (Table 1)

레이아웃 사전 주소 bank × 폭 저장 피처 토큰당 후보
A NR-SAE 진짜 전문가 정체성 $128 \times 512$ 65,536 4,096
F Wide rank bank 라우터 순위 1–8 $8 \times 8{,}192$ 65,536 65,536
B Rank bank 라우터 순위 1–8 $8 \times 512$ 4,096 4,096
R Random identity 치환된 정체성 $128 \times 512$ 65,536 4,096

🔬 2. 각 대조군이 고정하는 것

  • F (wide rank bank): A와 저장 피처·파라미터가 같습니다. 대신 8개 순위 bank 각각에 8,192개 후보를 주어 A bank의 16배를 봅니다. 순위 주소 레이아웃 중 파라미터가 A와 맞는 쪽입니다.
  • B (rank bank): A와 후보 수가 같습니다. 라우팅 순위마다 512-피처 bank 하나를 두고 전문가 정체성에 걸쳐 공유합니다.
  • R (random identity): A의 구조를 정확히 유지하되, 학습과 평가 모두에서 시퀀스마다 전문가 ID→bank ID 전단사(bijection)를 새로 뽑습니다. 파라미터·후보·선택 슬롯·라우팅 구성 요소·토큰당 8개 서로 다른 bank는 보존되지만, 전문가와 bank 사이의 안정된 관계는 파괴됩니다. R bank는 평균적으로 A bank만큼 데이터를 받지만 그것을 한 전문가가 아닌 모든 전문가의 출력에 써야 하고, transcoder에서는 자기가 어느 전문가를 예측하는지 알 수 없습니다.

🧭 3. 세 대조가 함께 주장을 떠받친다

대조 고정되는 것 제거되는 것
A $-$ F 저장 용량, 파라미터 — (후보 예산이 다름)
A $-$ B 가시 후보 예산 — (저장 용량이 다름)
A $-$ R 구조 자체 안정된 전문가 주소

어느 하나의 대조군도 단독으로 주장을 떠받치지 않습니다. 세 대조가 함께 떠받칩니다. 또한 네 레이아웃 중 어느 것도 집계된 MoE 출력 위의 전역(global) SAE가 아니라는 점도 명시합니다.

💡 Key Takeaway “저장을 더 해서”, “후보를 덜 봐서”, “분할만 있어서” 좋은 것이 아님을 각각 F, B, R로 배제합니다. 남는 것은 안정된 전문가 정체성의 효과입니다.

학습과 평가 설정

Gemma 4 26B-A4B(Gemma Team, 2026)의 30개 블록 중 block 15(1-indexed)에서, 패킹된 C4(Raffel et al., 2020)로 학습합니다.

⚙️ 1. 학습 설정

항목 값
모델 / 레이어 Gemma 4 26B-A4B, block 15 of 30
데이터 C4 (en), 학습 분할
토큰 수 1,000만 (611 업데이트 × 16,384 토큰)
시드 0, 1, 2
스케줄 하나의 코사인 스케줄, 61 업데이트 선형 워밍업 → $3\times10^{-4}$ → 코사인 감쇠 → $3\times10^{-5}$
옵티마이저 Adam ($\beta_1=0.9$, $\beta_2=0.999$, $\epsilon=10^{-8}$), weight decay 없음, 전역 gradient clipping 1.0
정밀도 파라미터·행렬곱 bfloat16, Adam 모멘트·리덕션 float32
초기화 디코더 열 단위 노름, 인코더는 디코더 전치, 인코더 바이어스 0
디코더 제약 그래디언트를 접공간에 사영하고 열을 재정규화
활성 ReLU 후 TopK, 0 값도 선택 자격, 동점은 전역 잠재 ID 오름차순
디스패치 10% 용량 여유, 용량 초과나 토큰 드롭은 하드 에러

체크포인트는 명목 2M, 5M, 10M 토큰(실제 2,015,232와 5,013,504 토큰, 업데이트 123과 306)에서 평가합니다. 세 체크포인트가 하나의 코사인 스케줄에서 나오므로 앞의 둘은 해당 예산으로 학습된 런이 아니라 미완성 런의 스냅샷입니다. 마지막 배치는 끝 10,624 토큰을 마스킹해 정확히 10,000,000에서 끝납니다.

📏 2. 평가 캡처와 지표

항목 값
평가 캡처 C4 검증 분할의 고정된 250,000 토큰, 625개 패킹 시퀀스
지표 구성 요소 설명 분산 $1 - \mathrm{SSE}/\mathrm{SST}$, 패널당 분모 하나
구간 시드와 시퀀스에 대한 95% 짝지은 계층적 부트스트랩, 20,000 복제, 다중성 보정 없음

시드가 3개뿐이므로 구간은 주로 시퀀스 간 변동을 반영합니다. 평가 캡처를 “held out”이 아니라 “fixed”라 부르는 이유는 한계 절에서 다룹니다.

🧮 3. 런 수

최종 비교는 24개 학습 런(앞선 실험에서 가져온 aligned 런 6개 + 새로 학습한 대조군 18개)과 72개 평가 셀(2 패널 × 3 시드 × 4 레이아웃 × 3 체크포인트)로 이루어집니다.

💡 Key Takeaway 한 모델, 한 레이어, 한 코퍼스, 세 시드, 1,000만 토큰. 611 업데이트는 점근 성능이 아니라 초기 표본 효율을 재는 설정입니다.

결과: 구성 요소 충실도

모든 체크포인트, 두 패널 모두에서 A가 모든 대조군을 앞섭니다. 그리고 모든 체크포인트에서 A의 가장 약한 시드가 모든 대조군의 가장 강한 시드를 넘습니다.

📊 1. 1,000만 토큰 엔드포인트 (Table 2)

3개 시드 평균 구성 요소 설명 분산(EV). 마진은 A에서 해당 레이아웃을 뺀 값이며 95% 짝지은 계층적 부트스트랩 구간을 함께 적습니다. 마진과 구간은 반올림 전에 계산되었습니다.

레이아웃 SAE EV A $-$ layout Transcoder EV A $-$ layout
A NR-SAE 0.518 — 0.432 —
F Wide rank bank 0.481 0.038 [0.035, 0.040] 0.347 0.085 [0.082, 0.088]
B Rank bank 0.458 0.061 [0.059, 0.062] 0.371 0.060 [0.058, 0.062]
R Random identity 0.387 0.131 [0.127, 0.135] 0.118 0.313 [0.308, 0.320]

🔍 2. 읽기

  • 재구성(SAE): A 0.518 대 F 0.481, 마진 0.038. 가장 좁은 마진은 F 와의 것입니다. F는 파라미터가 같고 후보를 16배 보는데도 A에 미치지 못합니다.
  • 예측(transcoder): A 0.432 대 F 0.347, B 0.371. 가장 좁은 마진은 B 와의 것(0.060)입니다. 즉 이음새에 따라 가장 강한 대조군이 바뀝니다.
  • R: SAE에서 0.131, transcoder에서 0.313 뒤집니다. R은 라우터가 아는 것을 보류합니다. 각 bank의 데이터가 모든 전문가에 흩어지고, transcoder에서는 어느 전문가를 예측하는지 알 수 없습니다. 따라서 A $-$ R 마진은 귀납 편향만이 아니라 라우터가 아는 것 전체를 잽니다.

📈 3. 학습 곡선 (Figure 2)과 시드별 값 (Table A1)

시드별 구성 요소 설명 분산을 오름차순으로 적습니다.

패널 / 레이아웃 2M 5M 10M
SAE A 0.444 0.445 0.447 0.507 0.508 0.508 0.518 0.518 0.519
SAE F 0.417 0.418 0.418 0.468 0.471 0.472 0.478 0.481 0.483
SAE B 0.405 0.407 0.409 0.448 0.449 0.450 0.457 0.458 0.458
SAE R 0.262 0.262 0.263 0.378 0.378 0.378 0.387 0.387 0.388
Transcoder A 0.357 0.358 0.359 0.421 0.422 0.422 0.432 0.432 0.432
Transcoder F 0.275 0.276 0.276 0.335 0.336 0.336 0.345 0.347 0.349
Transcoder B 0.315 0.317 0.318 0.364 0.365 0.366 0.371 0.371 0.373
Transcoder R 0.011 0.011 0.013 0.101 0.104 0.105 0.117 0.118 0.120

시드 간 변동은 소수점 셋째 자리 수준으로 매우 작습니다. 2M 체크포인트에서 transcoder R은 0.011로 거의 아무것도 설명하지 못하며, 10M에서도 0.118에 그칩니다. 어느 체크포인트에서도 A의 최저 시드 > 모든 대조군의 최고 시드가 성립합니다.

🧭 4. 저자들의 가장 평이한 해석

이 레이어와 예산에서, 안정된 전문가 정체성은 라우터 순위보다, 무작위 정체성보다, 훨씬 넓은 순위 사전보다 사전을 더 잘 인덱싱합니다. 사전 학습된 라우터가 유용한 주소를 제공한 것입니다.

💡 Key Takeaway SAE 0.518 vs 0.481/0.458/0.387, transcoder 0.432 vs 0.347/0.371/0.118. 세 대조 모두에서, 모든 체크포인트에서, 모든 시드에서 전문가 정체성이 이깁니다. 특히 transcoder에서 정체성을 지우면(R) 거의 아무것도 예측하지 못합니다.

시스템 비용: 산술 이점이 속도로 바뀌지 않았다

A는 F보다 인코더 후보를 1/16만 점수화합니다. 그러나 디코딩·디스패치·옵티마이저 작업은 작아지지 않았고, 지금까지는 벽시계 시간도 작아지지 않았습니다.

⏱️ 1. 측정값

패널 A의 학습 chip-seconds / F의 학습 chip-seconds
SAE 1.10–1.12배
Transcoder 1.10–1.16배

같은 세대 가속기, 맞춘 타이밍 경계에서 측정했습니다. 타이밍 범위는 고정 용량 스캔과 동기화된 옵티마이저 루프(입력 대기 시간 포함)를 포함하고, 프리페치·1회성 preflight·컴파일·체크포인트 직렬화·평가는 제외합니다.

🕵️ 2. 용의자, 발견 아님

저자들은 프로파일을 완료하지 않았으므로 디스패치, 고정 용량 스캔, 작은 행렬곱, 조밀한 옵티마이저 작업을 용의자(suspects) 로만 남깁니다. 융합(fused) 희소 커널 구현은 별도 프로젝트로 미룹니다.

🧩 3. 함의

“후보를 1/16만 본다”는 산술적 이점은 그룹화된 구현에서 작은 행렬곱 128개로 쪼개지는 비용으로 상쇄될 수 있습니다. 설명 분산의 이점과 계산 효율의 이점은 별개 문제이며, 이 논문은 전자만 보였습니다.

💡 Key Takeaway 후보를 16배 적게 점수화해도 학습은 1.10–1.16배 더 느렸습니다. 인수분해가 속도 이득이 되려면 융합 커널이 필요합니다.

한계와 다음 단계

논문의 한계 절은 이례적으로 상세하며, 결과를 과대 해석하지 않도록 여러 층의 경고를 둡니다.

🆓 1. 공짜로 오는 것

각 전문가는 2,816 중 최대 704차원 부분공간에 쓰므로, A 마진의 일부는 사전 학습 전에 라우터가 공급하는 지식일 수 있습니다. 얼마인지는 측정하지 않았습니다. 두 가지 미실행 참조점을 제안합니다.

참조점 무엇을 가르는가
top-4 네이티브 뉴런 베이스라인 학습 없이 전문가 뉴런만으로 얼마나 설명되는가
같은 128 bank 위의 학습된 라우터 (Switch SAE 방식) 네이티브 주소가 학습된 주소보다 나은지, 아니면 단지 공짜인지

🚫 2. 보이지 않은 것

보고한 것 보고하지 않은 것
구성 요소 설명 분산, 단일 희소도 라우팅 브랜치 분산, 전체 블록 재구성, 로짓, loss recovered, 과제 엔드포인트
— 재조합 후 충실도
— 의미적 특화, 인과 통제, 하류 이득, 보존된 perplexity, MoE 블록의 충실한 대체
— 분할된 사전이 같은 피처를 여러 번 배우는지(Xu et al., 2025)

“여기 있는 어떤 것도 개별 피처가 사람에게 무언가를 의미한다는 것을 보이지 않는다”고 명시합니다.

📦 3. 범위

한 모델, 한 레이어, 한 코퍼스, 세 시드, 1,000만 토큰. 611 업데이트는 초기 표본 효율을 잽니다. 모든 레이아웃이 하나의 옵티마이저·스케줄을 공유했으므로, bank가 가장 넓은 F는 자체 튜닝이나 긴 학습에서 개선될 수 있습니다.

🧼 4. 위생(hygiene)

비대칭 내용 어느 쪽을 유리하게 할 수 있나
평가 캡처 그래디언트 업데이트에서는 제외됐지만, 활성 규칙의 초기 개발 중 참조됨. 그래서 “held out”이 아니라 “fixed” A
런 출처 aligned 런 6개는 앞선 실험에서 가져왔고 결과가 이미 알려진 상태에서, 새 대조군 18개 학습 전에 비교 행렬·엔드포인트·계획된 대조를 고정 A
증거 해시 최종 증거를 생성 후 content-hash → 계보(lineage) 는 확립되지만 사전 등록(preregistration) 은 아님 —

두 비대칭 모두 비교를 보기보다 덜 확증적으로 만들며, 어느 쪽이든 A에 유리할 수 있습니다. aligned 런을 대조군과 함께 재학습하고 새 슬라이스로 평가하면 제거됩니다.

🧭 5. 다음

방향 확립하는 것
다른 레이어·두 번째 공개 MoE로 복제 폭(breadth)
loss recovered 를 포함한 희소도 sweep 실용적 가치
피처 라벨링, 개입, 중복 피처 조사 더 나은 사전이 더 나은 설명인지
융합 희소 커널 인수분해가 속도가 될 수 있는지

🏁 6. 결론

이 레이어와 예산에서, 네이티브 라우팅은 후보 수·파라미터 수·선택 슬롯 예산·임의 분할을 통제한 상태에서 희소 구성 요소 충실도를 높입니다. 아직 학습을 싸게 만들지는 못했고, 피처를 더 명확하게 만든다는 것도 보이지 않았습니다. 저자들의 겸손한 결론은 이렇습니다. MoE 모델은 이미 자기 계산을 유용한 마디에서 잘라 두었고, 그 계산의 희소한 설명은 그 절단을 존중하는 데서 시작해야 한다. 모든 라우팅 모델이 같은 절단을 제공하지만, 이 논문은 그중 한 모델의 한 레이어만 살펴보았습니다.

💡 Key Takeaway 주장은 “전문가 정체성이 더 나은 사전 주소다”까지입니다. 해석 가능성·인과성·속도는 모두 미검증이며, 평가 캡처와 런 출처의 비대칭까지 스스로 밝힌 보기 드물게 투명한 한계 절입니다.