You know maize mean?
Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise
0. Summary
기본 정보 : ArXiv,2026.10.17, Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise
연구 배경
Transformer 언어 모델의 MLP 뉴런은 서로 무관한 여러 개념에 동시에 반응하는 다의성(polysemanticity) 을 가진다고 널리 받아들여져 왔고, 그래서 기계적 해석 가능성 분야는 뉴런 대신 학습된 희소 사전(SAE, transcoder)을 분석의 기본 단위로 삼아 왔다. 특히 MLP 레이어의 입력-출력 사상을 희소하게 근사하는 transcoder 는 현대 attribution graph 방법론(Ameisen et al., 2025; Lindsey et al., 2025b)의 토대다. 그런데 최근 Arora et al.(2026)은 transcoder용 attribution 알고리즘을 날것의 MLP 뉴런에 적용해도 비슷하게 희소하고 충실한 회로를 복원할 수 있음을, Ye et al.(2025)은 임계값을 건 뉴런을 SAE처럼 해석하면 표준 벤치마크에서 학습된 사전과 맞먹음을 보였다. 이 논문은 이 긴장 관계에서 출발해 “transcoder는 MLP 뉴런이 처음부터 갖고 있지 않은 무엇을 회로 분석에 더해 주는가?” 를 묻는다.
제안 방법
먼저 gated MLP 뉴런을 활성 부호별로 둘로 나누고(sign-split) top-$k$ 로 임계값을 걸어 희소화된 MLP(sparsified MLP) 를 하나의 좁은 transcoder처럼 취급한 뒤, 재구성(FVU)·대체(KL)·sparse probing·bigram 탐지·sort eval·attribution graph 등 transcoder가 평가받는 동일한 잣대로 뉴런을 평가한다. 다음으로 encoder와 decoder가 동일한 뉴런의 유효 encoder($W_{\text{up}}^{(i)} \pm W_{\text{gate}}^{(i)}$)와 decoder($W_{\text{down}}^{(i)}$)에 코사인 유사도 0.6–0.7 이상으로 정렬된 transcoder 피처 를 뉴런 피처(neuron feature) 로 정의하고, Gemma·Qwen·Llama 계열의 오픈소스 transcoder 13개에서 그 비율, 활성 패턴, Jacobian 충실도, 시드 간 재현성, 초기화로부터의 이동량을 측정한다. 마지막으로 encoder를 뉴런 방향으로 초기화하는 neuron initialization(NI) 과 피처를 소수 뉴런의 희소 조합으로 정렬시키는 SNRL 손실 같은 학습 시점 개입을 제안한다.
발견 사실
뉴런 피처는 사전 전체에서는 소수(후반 레이어 기준 Gemma 1B→27B에서 5.9%→37.1%)지만 평균 10배 이상 자주 발화하기 때문에 후반 레이어 피처 활성의 절반 이상(57.9%→82.8%) 을 차지하고, attribution graph의 후반 1/3 레이어 노드 중 40% 이상을 차지하며 가지치기 강도를 바꿔도 비율이 유지된다. transcoder가 원래 MLP의 Jacobian과 맞는 부분은 거의 전부 뉴런 피처에서 나오고(전체 정렬도 ≈0.3, 뉴런 피처만으로도 ≈0.3, 비뉴런 피처만으로는 ≈0.05), 두 시드에서 공통으로 발견되는 피처의 절반 이상이 뉴런 피처이며, TopK 학습에서 비뉴런 피처는 랜덤 초기화에서 거의 움직이지 않는다(초기화와의 중앙값 코사인 +0.48). 한편 top-$k$ 뉴런에 선형 보정만 붙이면 KL에서는 transcoder를 앞서지만 FVU는 여전히 높고, sparse probing은 뉴런이 모든 모델에서 동등하거나 우세하지만 bigram 같은 세밀한 개념은 transcoder만 단의적으로 잡아낸다(목표 bigram 발화율 75.6% vs 뉴런 ≈0%).
핵심 기여
- 뉴런 피처의 정의와 특성화 : encoder·decoder 방향이 개별 MLP 뉴런과 정렬되고 활성도 그 뉴런을 따라가는 transcoder 피처 집합을 정의하고, 13개 오픈소스 transcoder에서 그것이 활성·회로·기존 사례 연구(줄바꿈, 산술, 색상) 전반에 만연함을 보였다.
- 뉴런 피처가 transcoder가 학습하는 거의 유일한 일관된 뉴런 정렬 구조라는 세 가지 독립 증거 : transcoder의 선형화(Jacobian)는 뉴런 피처에서만 MLP와 일치하고, 시드를 바꿔도 재현되는 피처는 대부분 뉴런 피처이며, 나머지 피처의 가중치는 초기화 근처에 머문다.
- 비뉴런 부분을 조향할 수 있음을 보인 학습 개입 : neuron initialization으로 뉴런 정렬 피처 비율을 11–12%에서 92–93%로 끌어올리고, SNRL로 피처를 뉴런의 희소 조합으로 정렬시켜도 재구성 손실은 거의 늘지 않음을 보였다. 아울러 연구자를 위한 권고(확장 계수 4배 미만 transcoder 지양, 뉴런 베이스라인은 top-$k\approx 64$ 와 부호 분리로 구성, 시드 간 재현 요소를 중심으로 평가)를 제시했다.
관련 개념
Transcoder와 SAE, 그리고 대체 모델(Replacement Model)
Transcoder(Dunefsky et al., 2024)는 MLP 레이어의 입력 → 출력 사상 자체를 희소하고 더 넓은 선형-조각 함수로 근사하는 사전 학습 모델입니다. 활성 벡터 하나를 그 자체로 재구성하는 SAE와 달리, transcoder는 레이어 입력 $x$ 를 받아 레이어 출력 $\text{MLP}(x)$ 를 예측하므로 원래 MLP를 통째로 갈아끼울 수 있는 대체 모델(replacement model) 이 됩니다. 이 성질 덕분에 attribution graph 방법(Ameisen et al., 2025; Lindsey et al., 2025b)의 기본 단위로 채택되어 왔습니다.
🧱 1. SAE vs Transcoder
| SAE | Transcoder | |
|---|---|---|
| 입력 → 출력 | 활성 $h$ → $\hat{h}$ (자기 자신) | MLP 입력 $x$ → MLP 출력 $\hat{y}$ |
| 근사 대상 | 표현(representation) | 계산(computation) |
| 회로 분석에서의 역할 | 노드의 “의미” 제공 | 노드 간 선형 연결을 직접 제공 → attribution graph |
| 논문에서의 위치 | MLP output SAE는 부록 G에서만 다룸 | 본문 전체의 비교 대상 |
📐 2. 재구성(Reconstruction) vs 대체(Replacement)
논문은 두 지표를 명확히 구분합니다.
| 지표 | 정의 | 무엇을 재는가 |
|---|---|---|
| FVU (fraction of variance unexplained) | 정규화된 L2 손실 | transcoder 출력이 실제 MLP 출력과 얼마나 가까운가 (재구성) |
| KL divergence / top-1 정확도 | 대체 모델 전체의 다음 토큰 분포 vs 원본 | 대체 모델이 원본 모델의 행동을 얼마나 재현하는가 (대체) |
| Replacement Score (Ameisen et al., 2025) | attribution graph에서 오차 노드를 제외한 영향 비율 | 회로가 계산을 얼마나 완전하게 설명하는가 |
재구성이 좋으면 대체도 좋을 것 같지만, 논문의 핵심 관찰 중 하나는 둘이 갈라질 수 있다는 것입니다. transcoder가 학습하는 구조 중 일부는 FVU만 낮추고 모델 행동과는 무관합니다.
💡 Key Takeaway 대체 모델의 목적은 “출력 벡터를 잘 맞추기”가 아니라 “원본과 같은 행동을 하고, 원본과 같은 방식으로 개입에 반응하기”입니다. 이 논문은 이 기준으로 보면 뉴런이 생각보다 훨씬 강력한 기반이라고 주장합니다.
Gated MLP 뉴런의 기하: 부호 분리(Sign-split)와 단일 방향
Gated MLP(Shazeer, 2020)는 Gemma·Qwen·Llama 등 1B–27B 규모 오픈소스 모델의 표준 MLP입니다. 논문의 첫 번째 기술적 주장은 gated MLP 뉴런을 활성 부호로 둘로 나누면 각각이 하나의 encoder 방향과 하나의 decoder 방향을 갖는 “피처”처럼 행동한다는 것입니다.
🧮 1. 수식
Gated MLP는 입력 $x \in \mathbb{R}^{d_{\text{model}}}$ 을 다음과 같이 사상합니다.
\[\text{MLP}(x) = W_{\text{down}}\big(\sigma(W_{\text{gate}}\,x) \odot W_{\text{up}}\,x\big)\]| $i$ 번째 행에 대해 $g_i = W_{\text{gate}}^{(i)} x$, $u_i = W_{\text{up}}^{(i)} x$ 라 쓰면, 뉴런 활성은 $a_i = \sigma(g_i)\,u_i$ 입니다. $ | g_i | $ 가 클 때 GELU/SiLU는 선형 영역이므로 $\sigma(g_i) \approx g_i$, $\sigma’(g_i) \approx 1$ 이고, |
즉 뉴런은 높은 활성에서 근사적으로 쌍선형(bilinear) 이고, 기울기는 $W_{\text{up}}^{(i)}$ 와 $W_{\text{gate}}^{(i)}$ 가 펼치는 2차원 부분공간 안에 있습니다. 고활성은 대부분 $g_i > 0$ 이고 $u_i$ 의 부호만 갈리는 두 영역으로 나뉘므로, 유효 encoder는
| 활성 영역 | 유효 encoder | decoder |
|---|---|---|
| $g_i > 0,\; u_i \gg 0$ ($a_i > 0$) | $W_{\text{up}}^{(i)} + W_{\text{gate}}^{(i)}$ (positive effective encoder) | $+W_{\text{down}}^{(i)}$ |
| $g_i > 0,\; u_i \ll 0$ ($a_i < 0$) | $W_{\text{up}}^{(i)} - W_{\text{gate}}^{(i)}$ (negative effective encoder) | $-W_{\text{down}}^{(i)}$ |
$W_{\text{up}}^{(i)}$ 와 $W_{\text{gate}}^{(i)}$ 가 거의 직교하므로 두 유효 encoder도 거의 직교하고, 논문은 이후 모든 비교에서 뉴런 하나를 부호별 두 개의 피처로 취급합니다.
🔪 2. Top-$k$ 로 희소화하기
뉴런과 transcoder를 같은 조건에서 비교하기 위해, 부호 분리된 뉴런 활성에 레이어별 top-$k$ 임계값을 겁니다($k \in {32, 64, 128}$). post-feedforward LayerNorm이 없는 모델(Qwen 3)은 후반 레이어에서 활성 크기가 10배 가까이 커지므로 절대 임계값 대신 top-$k$ 가 레이어별 스케일을 자동으로 따라갑니다. 이렇게 가지치기된 MLP는 “입력을 top-$k$ 부호 분리 활성으로 인코딩하고 $W_{\text{down}}$ 으로 재구성하는 좁은 transcoder“로 볼 수 있습니다.
💡 Key Takeaway 뉴런이 “방향 없는 스칼라”가 아니라 encoder·decoder 쌍을 가진 피처라는 점이 이후 모든 분석의 전제입니다. transcoder 피처와 뉴런의 가중치를 같은 공간에서 코사인 유사도로 직접 비교할 수 있게 됩니다.
희소화된 MLP의 대체 성능: KL은 이기고 FVU는 진다
Ameisen et al.(2025)은 뉴런이 재구성(FVU)과 대체(KL) 모두에서 transcoder보다 Pareto 열위라고 보고했습니다. 논문은 Gemma 3 4B에서 이를 재현하되(학습 없는 가지치기 뉴런은 KL이 높고 FVU가 1을 넘음), 가벼운 선형 보정만으로 대체 성능이 회복된다는 점을 추가로 보입니다.
⚙️ 1. 네 가지 보정 변형
| 변형 | 수식 | 비고 |
|---|---|---|
| none | $\hat{y} = y$ (top-$k$ 가지치기 MLP 출력 그대로) | 학습 없음 |
| recon | $\hat{y} = W_{\text{recon}}\,y + b$ | $d_{\text{model}} \times d_{\text{model}}$ 선형 사상, 항등 초기화 |
| recon+skip | $\hat{y} = W_{\text{recon}}\,y + W_{\text{skip}}\,x + b$ | 레이어 입력에서 학습 가능한 skip |
| recon+skip+rank1 | 위 + 뉴런별 rank-1 기여(활성 부호별로 독립) | FVU는 더 낮추지만 KL은 변화 없음 |
모든 보정은 FineWeb에서 레이어별 FVU 손실 + KL 정규화 손실로 공동 학습됩니다(10k 스텝, 배치 32, 시퀀스 128, lr $10^{-4}$, 2D 가중치는 Muon·1D 파라미터는 Adam).
📊 2. 결과 패턴
- FVU: none $\gg$ recon $>$ recon+skip $\geq$ recon+skip+rank1. transcoder는 recon과 recon+skip 사이에 위치.
- KL: 보정된 뉴런 변형 모두가 transcoder보다 낮음. 이 패턴은 모델 전반에서 재현됩니다(부록 A.1).
- 즉 FVU는 KL에 영향을 주지 않으면서 더 낮출 수 있고, 이는 transcoder가 잡아내는 구조 중 일부가 모델 행동과 무관하다는 증거입니다.
🧪 3. Attribution graph에서의 Replacement Score
뉴런을 피처 기저로 삼아 RelP로 attribution graph를 만들면, 실용적 $L_0$ 범위(10–100)에서 Gemmascope는 희소화 MLP보다 Replacement Score가 높지만 TopK transcoder는 그렇지 않습니다. 극한에서 전체 MLP의 Replacement Score는 1.0이고, transcoder는 그 곡선을 왼쪽으로 옮길 뿐입니다. 뉴런 attribution graph는 Gemma 3 27B-it에서 distress(강한 부정 정서) 관련 사과·고통 피처를 찾아내는 등 회로 분석에 충분히 유용했습니다.
💡 Key Takeaway “뉴런은 대체 모델로 못 쓴다”는 통념은 학습 없는 가지치기 뉴런에만 해당합니다. $d_{\text{model}}^2$ 짜리 선형 맵 하나만 붙이면 인과적 중요도 지표(KL)에서는 transcoder를 넘어섭니다.
Sparse Probing, Bigram, 그리고 Sort Eval
뉴런과 transcoder의 개념 표현력과 단의성(monosemanticity) 을 비교하기 위해 논문은 세 가지 자동화된 평가를 사용합니다.
🔍 1. Sparse probing (Kantamneni et al., 2025의 113개 이진 분류 과제)
소수의 피처만으로 개념을 선형 분류할 수 있는지 봅니다. transcoder가 더 많은 세밀한 개념을 표현할 수 있으므로 이길 것이라 예상했지만, $k{=}1$ 에서 뉴런이 모든 모델에서 동등하거나 우세했습니다.
| 모델 | Neurons | Transcoder | $\Delta$ |
|---|---|---|---|
| Llama 3.1 8B | 0.856 | 0.845 | $+0.011 \pm 0.007$ |
| Gemma 3 4B | 0.854 | 0.832 | $+0.022 \pm 0.008$ |
| Qwen 3 8B | 0.851 | 0.806 | $+0.045 \pm 0.011$ |
| Qwen 3 4B | 0.833 | 0.794 | $+0.039 \pm 0.011$ |
| Qwen 3 1.7B | 0.811 | 0.762 | $+0.050 \pm 0.010$ |
| Gemma 3 1B | 0.834 | 0.792 | $+0.042 \pm 0.011$ |
| Gemma 2 2B | 0.851 | 0.780 | $+0.071 \pm 0.012$ |
| Llama 3.2 1B | 0.847 | 0.802 | $+0.045 \pm 0.011$ |
(평균 AUC, $k{=}1$)
🔤 2. Bigram 탐지
사전이 뉴런을 이기는 과제는 일관되게 Gurnee et al.(2023)의 bigram 탐지 과제였습니다. 그래서 FineWeb에서 1,500개 구 bigram으로 벤치마크를 확장했습니다.
- transcoder가 이기지만 뉴런도 평균 AUC 0.988 로 매우 높아, AUC만으로는 transcoder가 정말 빠진 bigram을 찾는지 불분명합니다.
- 선택된 피처의 top max-activating 문맥을 직접 확인하면, transcoder 피처는 75.6% 가 목표 bigram에서 발화하는 반면 뉴런은 0%에 가깝습니다.
- 즉 bigram처럼 “흔하지만 개별적으로는 드문” 피처는 transcoder가 손쉽게 단의적으로 잡아내고, 뉴런은 단의적으로 표현하지 못합니다. 다만 MoE 모델인 Gemma 4 26B A4B의 뉴런은 20.1%로 밀집 모델보다 훨씬 높습니다.
- 주의점: sparse probing은 개념이 피처에 실제로 표현되지 않아도 높은 정확도를 낼 수 있으므로, 다른 유형의 피처에서 transcoder가 더 나은지는 결론 내리기 어렵습니다.
🧪 3. Sort eval (Lindsey et al., 2024)
단의성을 판별 가능성(discriminability) 으로 조작화합니다. Claude Haiku 4.5 판정자에게 피처 A와 B의 문맥 발췌 10개씩과 held-out 질의 발췌 하나를 보여 주고 어느 피처인지 맞히게 합니다(설정당 500회, 40토큰 창, SmolLM2 10M 토큰 캐시).
| 표집 방식 | 뉴런 vs transcoder 피처 |
|---|---|
| Top 표집 (상위 10개 활성) | 뉴런이 transcoder 피처와 비슷한 점수 |
| 분위수 표집 (활성 분포 전 구간) | 뉴런 점수가 뚜렷하게 하락 |
즉 뉴런은 활성 분포의 꼭대기에서는 단의적이지만 넓은 활성 범위에서는 다의적입니다. 부록 R은 뉴런의 넓은 활성이 여러 개의 응집된 하위 클러스터를 이룬다는 다의성 모델을 제시합니다.
💡 Key Takeaway 평가 요약(Figure 2): transcoder는 재구성과 세밀한 개념 복원에서 이기고, 가지치기 뉴런은 더 충실한 대체 모델을 만듭니다. 어느 한쪽이 모든 면에서 우월하지 않습니다.
뉴런 피처(Neuron Feature)의 정의와 만연함
뉴런 피처는 이 논문의 중심 개념입니다. 같은 모델에 대해 transcoder와 top-$k$ 뉴런으로 attribution graph를 만들어 비교하면, 많은 transcoder 피처 노드에 대해 top/bottom 로짓·회로 연결·최대 활성이 모두 비슷한 뉴런 노드가 존재합니다. 이를 일반화해, 가중치·활성 패턴·로짓·회로 내 역할이 하나의 MLP 뉴런과 대응하는 transcoder 피처를 뉴런 피처라 부릅니다.
📐 1. 정량적 정의
피처 $j$ 의 encoder $W_{\text{enc}}^{(j)}$ 와 decoder $W_{\text{dec}}^{(j)}$ 를 가장 잘 맞는 뉴런과 비교했을 때,
\[\cos\!\big(W_{\text{up}}^{(i)} \pm W_{\text{gate}}^{(i)},\, W_{\text{enc}}^{(j)}\big) > \tau \quad\text{and}\quad \cos\!\big(W_{\text{down}}^{(i)},\, W_{\text{dec}}^{(j)}\big) > \tau\]가 동일한 뉴런 $i$ 에 대해 성립하면 뉴런 피처입니다. encoder·decoder 코사인 유사도의 결합 분포는 대부분의 transcoder에서 쌍봉(bimodal) 이며, 분리 임계값 $\tau$ 는 transcoder에 따라 0.6–0.9 사이입니다(본문 주장에는 0.6 또는 0.7 사용).
📊 2. 사전에서는 소수, 활성에서는 다수
| 측정 | 값 |
|---|---|
| 후반 레이어 사전 내 비율 (Gemma 1B→4B→12B→27B) | $5.9\% \to 8.9\% \to 15.6\% \to 37.1\%$ |
| 후반 레이어 활성 내 비율 (1B→27B) | $57.9\% \to \mathbf{82.8\%}$ |
| 뉴런 피처의 평균 발화 빈도 | 비뉴런 피처의 10배 이상 |
| 뉴런 피처 : 매칭 뉴런 발화율 중앙값 (Gemma 3 4B L22) | 0.34 (피처는 뉴런이 발화하는 문맥의 부분집합에서 발화) |
Gemma 계열에서 사전 내 비율이 모델 크기에 따라 단조 증가하는 것은, transcoder 폭과 학습 설정이 고정된 채 모델의 뉴런 수만 늘기 때문으로 설명됩니다.
🧭 3. 레이어와 회로에서의 분포
- 초반 레이어에는 거의 없고 모델 중반을 지나면서 50% 이상으로 올라갑니다(Gemma 3 4B, Qwen 3 4B). 초반 뉴런이 더 다의적이라 transcoder 목적함수가 피처 타깃으로 선택하지 않는 것이 한 가지 가능한 원인입니다.
- attribution graph(Pile-10k 프롬프트, circuit-tracer, 최대 200개 그래프)에서 후반 1/3 레이어 노드의 40% 이상이 뉴런 피처입니다(13개 중 Llama 3.2 1B mntss ~38% 하나만 예외). 영향도 기준 가지치기를 $L_0{=}10$ 에서 $100$ 으로 바꿔도 비율이 유지됩니다(Gemma 3 4B 56–61%, Gemma 3 12B 62–75%). 초반 레이어는 33% 이하이고 가지치기가 강해질수록 더 떨어집니다.
- 뉴런 피처는 목표 토큰과 그 근처에서 가장 흔합니다.
📏 4. 충분히 넓으면 모든 뉴런이 피처를 갖는다
| Gemma 3 4B L22, TopK($k{=}64$) transcoder 폭 32k→1M 스윕에서 적어도 하나의 피처와 $ | \cos | \geq 0.7$ 로 매칭되는 뉴런 비율: |
| 임계값 | 32k | 65k | 128k | 256k | 1M |
|---|---|---|---|---|---|
| $\geq 0.5$ | 86.0 | 91.7 | 94.1 | 96.4 | 96.7 |
| $\geq 0.7$ | 78.3 | 86.7 | 89.9 | 93.3 | 93.0 |
| $\geq 0.9$ | 55.9 | 71.5 | 78.1 | 86.0 | 84.6 |
256k에서 포화하며, Gemmascope L0-small(262k)에서는 매칭된 뉴런 대부분이 피처 2개(중앙값 2, 평균 2.5)를 받습니다. 활성 부호별 하나씩, 가끔 복제본 하나입니다.
🔗 5. 활성도 뉴런을 따라간다
뉴런의 토큰별 post-activation에 임계값을 걸어 뉴런 피처의 발화를 예측하면 중앙값 AUC 0.977 이상입니다($\max(\text{AUC}, 1-\text{AUC})$ 보고). 반대로 피처가 발화했을 때 뉴런이 top-$k$ 안에 드는지 보면, 가장 많이 발화하는 피처의 뉴런 순위 중앙값은 12, 32번째 피처에서는 ~250입니다. 회로 가지치기에서 레이어당 상위 64–256개 뉴런을 쓰므로, 저-$L_0$ transcoder의 뉴런 피처는 약 50% 확률로 뉴런 회로에 대응 뉴런이 존재합니다.
💡 Key Takeaway 뉴런 피처는 사전의 한 구석(수 %)에 불과하지만 모델이 실제로 하는 계산(활성·회로)에서는 다수파입니다. transcoder로 만든 회로의 후반부를 보고 있다면 절반 이상은 사실상 뉴런을 보고 있는 셈입니다.
충실도(Faithfulness)는 뉴런 피처에 집중된다: Jacobian 정렬
비뉴런 피처가 소수 뉴런의 희소 조합이든 수많은 뉴런의 확산 조합이든, MLP의 어떤 구조를 모델링하고 있다면 MLP의 Jacobian 재구성에 기여해야 합니다. 논문은 이를 1차(first-order) 충실도로 검증합니다.
🧮 1. 피처별 rank-1 Jacobian 기여
각 transcoder 피처는 decoder 방향과 유효 encoder 방향의 외적에 해당 토큰에서의 활성 도함수를 곱한 rank-1 Jacobian 기여 를 가지며, 이것들의 합이 transcoder의 Jacobian입니다. Lindsey et al.(2025a)을 따라 두 행렬의 Frobenius 코사인 유사도를 Jacobian 정렬(alignment)로 정의합니다.
📊 2. 결과 (Gemma 3 4B, Gemmascope L0-small)
| 합산 범위 | MLP Jacobian과의 정렬도 |
|---|---|
| 전체 transcoder | $\approx 0.3$ |
| 뉴런 피처만 | $\approx 0.3$ (전체와 거의 동일) |
| 비뉴런 피처만 | $\approx 0.05$ |
- 피처별로 보면 뉴런 피처가 비뉴런 피처보다 Jacobian 정렬이 높습니다(Figure 8).
- 모든 레이어에서 뉴런 피처 Jacobian의 합이 전체 transcoder의 Jacobian과 거의 정확히 일치합니다(Figure 7).
- 학습된 보정이 전혀 없는 top-$k$ 가지치기 뉴런이 후반 레이어에서 전체 transcoder의 Jacobian 정렬을 따라잡거나 넘어섭니다.
🔀 3. Cross-layer transcoder(CLT)에 대한 예비 관찰
Gemma 2 2B와 Llama 3.2 1B의 오픈소스 CLT 두 개에서, 피처가 cross-layer decoder를 사용하는 정도는 가장 가까운 뉴런과의 정렬도와 음의 상관(Pearson $\rho$ $-0.59$ ~ $-0.93$)을 보이고, cross-layer decoder가 약한 뉴런 피처 클러스터가 뚜렷합니다. 예비 결과지만 cross-layer 연결이 원본 계산에 충실하지 않을 수 있음을 시사합니다.
💡 Key Takeaway transcoder가 원래 MLP의 국소 계산과 일치하는 부분은 거의 전부 뉴런 피처에서 옵니다. 비뉴런 피처는 FVU를 낮출지언정 MLP의 1차 계산을 설명하지는 않습니다.
시드 간 안정성과 초기화로부터의 이동
Paulo & Belrose(2026)는 서로 다른 시드로 학습한 SAE가 대부분의 피처에서 불일치한다는 것을 보였습니다. 논문은 이 분석을 transcoder에 적용하고, “진짜” 피처라면 시드를 바꿔도 다시 나타나야 한다는 기준으로 뉴런 피처와 비뉴런 피처를 비교합니다.
🎲 1. 시드 간 공유 피처 (Gemma 3 4B L22, TopK $k{=}64$)
run A의 각 피처에 대해 run B에 encoder·decoder 코사인 유사도가 모두 0.7을 넘는 피처가 있으면 “shared”로 셉니다.
| 폭 $M$ | shared (개) | NF (개) | both (개) | shared (활성 %) | NF (활성 %) | both (활성 %) |
|---|---|---|---|---|---|---|
| 32k | 9.8k | 8.1k | 7.6k | 29.6 | 25.0 | 23.3 |
| 65k | 13.0k | 10.2k | 9.6k | 24.9 | 20.2 | 18.5 |
| 128k | 16.5k | 11.8k | 11.1k | 21.6 | 16.3 | 15.3 |
| 256k | 20.4k | 14.2k | 12.6k | 20.4 | 19.6 | 15.8 |
| 1M | 22.0k | 11.5k | 10.5k | 13.7 | 12.8 | 10.5 |
두 가지 결론:
- 시드 간 공유 피처의 대부분이 뉴런 피처입니다. 공유 피처가 주어졌을 때 뉴런 피처일 확률이 대부분 설정에서 50%를 넘습니다.
- 폭을 키워도 새로운 안정적 피처가 많이 늘지 않습니다. 뉴런 피처 수는 일찍 안정화되고 공유 피처 수는 준선형으로 증가합니다. 1M 피처 사전조차 안정적 피처는 2.2만 개로, 부호를 고려한 원본 모델의 뉴런 수 20,480개와 비슷합니다. 즉 단순 스케일링으로 transcoder의 일관성 약점이 극복되리라 기대할 이유가 별로 없습니다.
🧊 2. 비뉴런 피처는 초기화에서 거의 움직이지 않는다
262k TopK transcoder($k{=}64$, 15,000 스텝)의 step 0 초기화를 저장해 두고 학습 후 encoder와의 코사인 유사도를 비교했습니다.
| 피처 유형 | $\cos(W_{\text{enc}}^{\text{trained}}, W_{\text{enc}}^{\text{init}})$ 중앙값 |
|---|---|
| 뉴런 피처 | $\approx 0$ (초기화와 직교하게 회전) |
| 비뉴런 피처 (TopK) | $+0.48$ (많은 피처가 $> 0.8$, 전체적으로 거의 균일 분포) |
JumpReLU 파이프라인(encoder 초기화 스케일을 TopK와 맞춘 유일한 체크포인트)에서는 살아 있는 피처 대부분이 비뉴런 피처라도 크게 회전하지만, 죽은 피처는 여전히 균일하게 분포합니다. 두 경우 모두 뉴런 피처의 높은 발화 빈도만으로는 초기화에서 멀어지는 정도를 완전히 설명하지 못합니다.
🔧 3. 두 파이프라인의 초기화 차이
| TopK 파이프라인 | JumpReLU 파이프라인 | |
|---|---|---|
| encoder 행 초기화 | $\mathcal{U}(-1/\sqrt{d_{\text{model}}}, +1/\sqrt{d_{\text{model}}})$ → 폭 무관 norm $\sqrt{1/3} \approx 0.577$ | $\mathcal{U}(-1/\sqrt{M}, +1/\sqrt{M})$ → norm이 $\sqrt{d_{\text{model}}/M}$ 로 축소 |
| 최적화 | Dion, lr $10^{-2}$, $k$ 를 256→32로 멱법칙 annealing | lr $2\times10^{-4}$, tanh 희소성 손실(decoder norm 가중), $4\times10^8$ 토큰 |
| 1M 폭에서의 결과 | 거의 모든 피처가 발화 유지 | 비뉴런 피처의 66%가 decoder norm 0.1 미만, 뉴런 피처는 전부 생존 |
💡 Key Takeaway 세 가지 독립 증거(Jacobian 정렬, 시드 간 재현, 초기화로부터의 이동)가 같은 방향을 가리킵니다. 뉴런 피처는 transcoder가 MLP에서 일관되게 배우는 거의 유일한 구조이고, 나머지는 시드와 초기화에 의존하는 다소 임의적인 성분입니다.
학습 시점 개입: Neuron Initialization(NI)과 SNRL
비뉴런 피처가 초기화 근처에 머문다는 관찰은 일부 뉴런에 대응하는 피처가 없는 것이 학습 절차의 인공물일 수 있다는 뜻입니다. 그래서 논문은 encoder를 뉴런 방향으로 초기화하면 정렬이 학습 내내 유지되는지 확인합니다.
🌱 1. Neuron Initialization (NI)
- 각 encoder 행을 무작위 부호 분리 방향 $\pm(\text{gate} \pm \text{up})$ 으로 설정하고(대칭을 깨기 위해 10% 가우시안 노이즈 추가), decoder는 0으로 초기화한 뒤 나머지는 동일하게 학습합니다.
- 효과 (Gemma 3 4B L22, 256k 폭):
| 지표 | 랜덤 초기화 | NI |
|---|---|---|
| encoder 유사도 $> 0.5$ 인 피처 비율 | 11% | 92% |
| decoder 유사도 $> 0.5$ 인 피처 비율 | 12% | 93% |
| 정렬 피처의 활성 질량 점유 | 65% | 95% |
- 같은 손실에 더 빨리 수렴하고 죽은 피처가 줄어듭니다(부록 H). 더 중요하게는, 표준 목적함수로는 학습되지 않는 encoder 구조를 드러냅니다.
🧩 2. Sparse Neuron Reconstruction Loss (SNRL, 부록 R.3)
transcoder가 학습하는 방향이 “소수 뉴런 방향의 희소 조합 + 해석 불가능한 노이즈”라는 가설을 검증·활용하기 위한 손실입니다. NI 초기화에서 출발해, 매 스텝 각 피처 $j$ 에 대해:
- 모든 뉴런과의 코사인 유사도 $s^{\text{enc}}{ji} = \cos(W{\text{enc}}^{(j)}, N_i^{\text{enc}})$, $s^{\text{dec}}{ji} = \cos(W{\text{dec}}^{(j)}, N_i^{\text{dec}})$ 를 계산합니다($N_i^{\text{enc}} = W_{\text{up}}^{(i)} \pm W_{\text{gate}}^{(i)}$, $N_i^{\text{dec}} = W_{\text{down}}^{(i)}$).
- encoder·decoder 유사도 합 기준 상위 $k_n{=}4$ 개 뉴런 $\mathcal{S}_j$ 를 고릅니다.
- 피처 행과 그 유사도 가중 재구성 사이의 코사인을 손실로 씁니다.
본문에 따르면 이 개입으로 피처가 뉴런의 희소 조합이 되게 만들어도 재구성 비용은 거의 늘지 않습니다. 다만 저자들은 이 개입이 클러스터를 더 뚜렷하게 만들지는 않으며, 기본 transcoder도 이미 (덜 엄격한 형태로) 찾는 구조를 갖고 있다고 한계에서 인정합니다.
🏗️ 3. Neuron Feature Transcoder (NFT)
뉴런을 구성상 클러스터링하는 아키텍처로, decoder forward pass가 원리적으로 밀집 TopK encoder 대비 최대 ~160배(뉴런 수 / 뉴런 $K$)의 처리량을 낼 수 있지만, 실제로는 메모리 대역폭 병목으로 약 2배에 그칩니다.
💡 Key Takeaway transcoder의 비뉴런 부분은 조향 가능합니다. 초기화 하나만 바꿔도 거의 모든 피처가 뉴런에 정렬되고 손실은 오히려 빨리 내려갑니다. 이는 “transcoder가 뉴런과 다른 기저를 발견했다”는 해석에 신중해야 함을 뜻합니다.
사례 연구: 줄바꿈, 산술, 그리고 “빨강”
기존 문헌에서 transcoder 또는 뉴런으로 해석된 행동들이 뉴런 피처 프레임에서 어떻게 보이는지 세 가지 사례로 확인합니다.
📏 1. 줄바꿈(Linebreaking) — Gurnee et al.(2025)
Claude 3.5 Haiku에서 줄 안의 특정 문자 위치에서 발화율이 정점을 찍는 피처들이 줄바꿈 예측을 담당한다고 보고된 바 있습니다. Gemma 3 4B + Gemmascope L0-small의 layer 20에서 깨끗한 정점 피처 8개 중 7개가 단일 뉴런의 문자 위치 튜닝 곡선을 따라갑니다(예: F3642/N5521+, F8616/N4858−, F29144/N2796+는 약간의 오프셋만 두고 거의 일치). 대부분은 가중치 기준으로도 뉴런 피처이지만, 하나(F414/N6751−)는 튜닝 곡선만 비슷하고 가중치는 정렬되지 않은 반례입니다. 뉴런 정렬 문자 수 피처는 L18–L26에 집중됩니다.
➕ 2. 산술 — Feucht et al.(2026)
Llama-3.1-8B의 10진 덧셈은 layer 18 MLP의 뉴런 28개에 국소화되며, 이들은 저차원 출력 부분공간에 쓰고 Fourier 주기로 조직됩니다. 세 개의 오픈소스 transcoder에서 같은 구조가 발견되었고, 그 부분공간에 쓰는 피처의 다수가 이 뉴런들의 뉴런 피처이며 강한 인과 효과를 가진 유일한 피처였습니다. 이들의 기여를 제거하면 덧셈 정확도가 94.3% → 30.6% 로 떨어집니다. 격자 활성 패턴도 뉴런과 유사하고, 덜 정렬된 약한 피처 집단은 transcoder 학습의 인공물로 간주됩니다.
🔴 3. 색상 “빨강” — 뉴런 여러 개에 대응하는 피처
러시아어 “빨강”의 번역을 예측하는 attribution graph에서 Gemma 3 4B는 전용 “빨강” 뉴런 대신 다의적 layer 22 뉴런 세 개를 활성화합니다. 이 지점의 transcoder 피처도 뉴런에 대응하지만, 2–4개 뉴런을 섞어 의미를 더 깨끗하게 만들고 단의적 “빨강” 피처를 발견합니다. 피처가 함께 활성인 뉴런 활성만 모아 보면 다른 무관한 활성과 분리된 뚜렷한 클러스터를 이룹니다. 저자들은 이것을 transcoder가 뉴런 기저를 재조합해 실제 다의성을 해소할 수 있다는 예비 증거로 봅니다.
💡 Key Takeaway 이미 뉴런으로 설명된 회로(산술)든 transcoder로 설명된 회로(줄바꿈)든, 핵심 피처는 양쪽에서 같은 뉴런으로 수렴합니다. transcoder의 고유한 가치는 “빨강”처럼 소수 뉴런을 재조합해야 하는 경우에 남아 있습니다.
평가 대상 모델과 Transcoder, 그리고 계산 비용
논문은 1B–27B 범위의 밀집 모델과 공개 transcoder를 폭넓게 사용했습니다.
🗂️ 1. 13개 오픈소스 transcoder (Table 9, $\tau{=}0.7$ 기준)
| Transcoder | 사전 내 NF% (전반/후반) | 활성 내 NF% (전반/후반) |
|---|---|---|
| Gemma 3 1B L0-small | 2.1 / 3.6 | 27 / 48 |
| Gemma 3 1B L0-big | 4.9 / 6.7 | 46 / 52 |
| Gemma 3 4B L0-small | 2.6 / 7.2 | 22 / 53 |
| Gemma 3 4B L0-big | 6.7 / 11.2 | 41 / 59 |
| Gemma 3 12B small | 2.5 / 10.7 | 12 / 43 |
| Gemma 3 27B small | 3.9 / 17.7 | 22 / 55 |
| Qwen 3 1.7B (mwhanna) | 3.8 / 3.8 | 26 / 14 |
| Qwen 3 4B (mwhanna) | 5.5 / 7.1 | 39 / 51 |
| Qwen 3 8B (mwhanna) | 5.6 / 7.9 | 42 / 52 |
| Qwen 3 14B (mwhanna) | 6.5 / 9.4 | 46 / 55 |
| Llama 3.1 8B LXTC-8× (OpenMOSS) | 25.9 / 31.1 | 24 / 34 |
| Llama 3.2 1B mntss (CLT) | 8.4 / 7.2 | 10 / 25 |
| Gemma 2 2B mntss (CLT) | 23.9 / 21.7 | 43 / 35 |
Gemmascope는 google/gemma-scope-2-{1,4,12,27}b-pt, mwhanna는 mwhanna/qwen3-{1.7,4,8,14}b-transcoders, mntss 두 개는 cross-layer transcoder입니다. 자체 학습 transcoder는 SmolLM2 데이터셋에서 TopK(Dion 옵티마이저)와 JumpReLU 두 파이프라인으로 학습했습니다. 저자들은 Qwen용 transcoder가 상대적으로 약해 뉴런 피처가 전반적으로 적다고 언급합니다.
💰 2. 계산 비용
보고된 수치를 낸 실험의 GPU 예산은 약 1,000–1,200 H200-시간이며, transcoder 학습과 sparse probing의 활성 캐싱이 지배적입니다. sort eval은 Claude 판정 호출 5–8만 회, 회로 attribution은 약 65 H200-시간, Jacobian 정렬은 10 H200-시간 미만입니다.
💡 Key Takeaway 뉴런 피처 현상은 Gemma·Qwen·Llama, TopK·JumpReLU, per-layer·cross-layer, 그리고 부록의 MoE transcoder와 MLP output SAE까지 아키텍처와 학습 코드베이스를 가로질러 재현됩니다.
함의와 한계
🧭 1. 연구자를 위한 세 가지 권고
- 확장 계수 4배 미만의 transcoder 사용을 피할 것. MoE 모델에서는 사실상 transcoder를 쓰지 말라는 뜻입니다(부록 O).
- 뉴런 베이스라인은 top-$k \approx 64$ 로 임계값을 걸고 양·음 활성을 별개의 의미 단위로 취급할 것. 사전 학습 방법을 훈련할 때는 뉴런 기반 초기화(NI)를 고려할 것.
- 시드 간 재현되고 원본 모듈의 계산과 정렬되는 요소를 더 면밀히 평가할 것.
⚠️ 2. 논문이 스스로 밝힌 한계
| 영역 | 한계 |
|---|---|
| 범위 | base 모델, 대부분 영어 데이터, 1B–27B 밀집 모델, per-layer transcoder 위주. MoE와 CLT는 예비 관찰에 그침 |
| 활성 범위 | 희소하고 큰 활성만 특성화. 낮은 활성·다중 토큰 패턴은 다루지 않음 |
| 정의의 견고성 | 뉴런 피처 비율이 사전 아키텍처와 임계값(0.6/0.7/0.9)에 의존. 비뉴런 피처가 초기화 방향을 일부 유지하므로 가중치 기반 정의가 견고하지 않음 |
| 충실도 | 1차(Jacobian) 충실도만 측정, 개입 하 충실도는 미측정 |
| 미해결 | JumpReLU에서 시드 간 재현되지만 뉴런 피처가 아닌 피처, “거의 뉴런 피처”인 피처, 수십·수백 뉴런의 확산 조합, transcoder decoder 방향의 기원 |
| 평가 | 체계적 인간 평가 없음. 자동 지표만 사용하므로 sparse probing에서 뉴런이 찾은 피처가 단지 상관된 다른 개념일 가능성 |
🤔 3. 더 큰 질문
저자들은 같은 레이어 안의 MLP 뉴런 중첩(superposition)을 사전 학습으로 해소할 수 있다는 가능성에 의문을 제기합니다. bigram과 색상처럼 원래 기저에 없는 단의적 피처가 발견되기는 하지만, 그것이 원본 모델에 실제로 표현된 것인지는 불확실하다고 봅니다. 반면 supernode graph를 이용한 레이어 간 중첩 해소에는 조심스럽게 낙관적입니다.
💡 Key Takeaway 이 논문은 “transcoder가 뉴런보다 해석 가능하다”는 벤치마크 결과를 뒤집기보다 그 격차의 정체를 설명합니다. transcoder가 잘하는 부분(세밀한 개념, 재구성)과 뉴런이 이미 잘하는 부분(인과적 대체, 회로의 핵심 노드)을 구분하고, 모델이 실제로 사용하는 비뉴런 구조를 귀속시킬 더 나은 방법을 요구합니다.