0. Summary

  • 기본 정보 : ArXiv,2026.10.19, Shaped SAEs: Expanding the Toolkit for Mechanistic Interpretability
  • 연구 배경 : 희소 오토인코더(SAE)는 LLM의 조밀하고 다의적인(polysemantic) 활성을 과완비(overcomplete) 사전에 대한 희소 조합으로 분해해 해석 가능한 피처를 얻으려는 도구다. TopK, BatchTopK, Gated, JumpReLU, Matryoshka 등 다양한 변형이 제안되었지만, 이들은 모두 주어진 활성을 그대로 입력으로 받아 희소성과 재구성 품질의 균형만 다르게 잡는다. 한편 SAE Probes, MIB, AxBench 같은 벤치마크는 SAE 피처가 조밀 활성이나 단순 베이스라인보다 항상 낫지는 않다는 점을 보여 왔다. 이 논문은 “SAE를 학습하기 전에 활성을 선형 변환으로 성형(shaping)하면 사전 원자(atom)의 의미적 선택성(semantic selectivity)을 높일 수 있는가”라는 단순한 질문을 던진다. 특히 적은 수의 피처만 쓸 수 있는 빡빡한 피처 예산(tight feature budget) 에서의 성능 향상을 목표로 한다.
  • 제안 방법 : 두 가지 성형 기법을 제안한다. 첫째, J-space 성형은 Gurnee et al. (2026)의 평균 야코비안 $J_\ell$(현재 레이어 잔차 스트림이 최종 레이어에 미치는 1차 영향의 코퍼스 평균)을 SVD로 분해해, 특이값이 큰 상위 $r$개 우특이벡터가 이루는 live 부분공간에 활성을 사영하고 나머지 quiet 부분공간 성분을 버린다. 둘째, Matched Filter SAE(MF-SAE) 는 통신 이론의 정합 필터(matched filter)와 백색화(whitening)에서 착안한 새로운 SAE 구조로, (a) 학습 가능한 아핀 변환 $(W_e, b_e)$ 을 인코딩 앞에, $(W_d, b_d)$ 를 디코딩 뒤에 두고 사전과 함께 재구성 손실로 공동 학습하며, (b) 단위 노름 원자 $\hat d_j$ 에 대한 정류된 사영 $\mathrm{ReLU}(\hat d_j^\top z)$ 가 큰 TopK개를 선택하고, (c) 선택에 쓴 것과 같은 원자로 재구성한다. 두 기법은 독립적으로도, 결합해서도(live 활성 위에 MF-SAE) 적용할 수 있다.
  • 발견 사실 : Gemma-2-2B 레이어 12·20에서 (1) SAE 없이 live 사영만 해도 SAEBench 희소 프로빙 정확도가 원본 조밀 활성보다 모든 $r$에서 높았고, SAE Probes에서도 나빠지지 않았다. (2) 원본 활성에 학습한 MF-SAE는 SAEBench TopK SAE, Gemma Scope JumpReLU SAE 등 공개 베이스라인을 두 레이어·두 희소도($k=40, 80$) 모두에서 앞섰다. (3) live 활성 위의 MF-SAE는 레이어 12, $k=80$ 처럼 일부 설정에서만 원본 MF-SAE보다 더 좋았고 나머지에서는 비슷해, 성형과 희소 코딩을 어떻게 결합할지는 열린 문제로 남았다. (4) 113개 데이터셋의 SAE Probes에서는 개선 폭이 미미했다. 재구성 측면에서 원본 MF-SAE는 CE 손실의 97–99%를 회복하고, live MF-SAE는 단독으로 89–94%(quiet 성분을 복원하면 99%)를 회복하며, 살아 있는 원자 비율이 81–99%로 원본(62–89%)보다 높아 죽은 원자 문제를 별도 장치 없이 완화했다.
  • 핵심 기여 :
    1. J-space 성형 : 평균 야코비안의 특이값 분해로 잔차 스트림을 하류 전달 이득이 큰 live 부분공간과 작은 quiet 부분공간으로 나누고, live 사영이 SAE 학습 전 “의미적 잡음 제거”로 작동함을 프로빙 벤치마크로 보였다.
    2. Matched Filter SAE : 학습 가능한 아핀 성형 + 단위 원자에 대한 TopK 정합 필터 선택 + 동일 원자 재구성이라는 구조를 제안하고, TopK SAE와의 차이(스케일·바이어스·인코더-디코더 결합)를 수식으로 정리했으며, 같은 폭의 TopK SAE와 계산 비용이 같음을 밝혔다.
    3. 체계적 평가 : SAEBench(36개 과제)와 SAE Probes(113개 데이터셋), 재구성·CE 회복률, 자동 해석 가능성 점수로 조밀 활성과 최신 SAE들을 함께 비교하고, 희소도·사전 크기·선형 사영 유무·GPT-2 Small 에 대한 ablation을 부록에 제공했다.

Abstract 쉬운 설명(Gemini)

🕵️‍♂️ AI의 복잡한 뇌 속을 들여다보는 기술

우리가 쓰는 AI는 수억 개가 넘는 인공 뉴런(뇌세포)들이 서로 얽혀서 작동합니다. AI가 “안녕”이라는 단어를 볼 때, 뇌 속에서는 수천 개의 뉴런이 동시다발적으로 불꽃놀이처럼 번쩍거리며 반응합니다.

문제는 이 불꽃놀이가 너무 복잡해서 과학자들도 “AI가 지금 정확히 무슨 생각을 하며 이 단어를 골랐는지” 알기가 어렵다는 점입니다.

  • 기존의 해결책 (SAE): 과학자들은 이 복잡한 불꽃놀이 속에서 ‘개념’들을 하나씩 분리해 내는 돋보기(SAE라는 도구)를 개발했습니다. 예를 들어 “수많은 뉴런이 번쩍이는 복잡한 상태”를 분석해서, 실제로는 [귀여움 30%] + [강아지 50%] + [동물 20%]라는 개별 개념들이 섞여 있었던 것임을 밝혀내는 도구입니다.

🛠️ 이번 논문이 해결하고자 한 문제: “불필요한 잡음 줄이기”

기존의 돋보기(SAE)는 한 가지 문제가 있었습니다. AI의 뇌 속에는 진짜 중요한 생각(예: ‘강아지’)뿐만 아니라, 쓸데없는 뇌세포의 미세한 떨림이나 잡음(노이즈)도 섞여 있었거든요. 이 모든 걸 한 번에 분석하려니 돋보기 성능이 떨어졌습니다.

이 논문은 아주 기발하고 단순한 아이디어를 냅니다.

“돋보기로 들여다보기 전에, 쓸데없는 잡음을 먼저 걸러내고(Shaping), 진짜 중요한 생각의 흐름만 모아서 들여다보면 어떨까?”

🌟 이 논문이 제안하는 핵심 해결책 2가지

이 연구팀은 AI의 생각을 다듬기 위해 두 가지 방법을 사용했습니다.

1. J-공간(J-space)을 활용한 ‘핵심만 추리기’ ✂️

AI의 뇌 속 신호 중에서 “최종 답변을 내는 데 실제로 큰 영향을 준 신호”만 골라내고, 답변에 영향이 없는 자질구레한 신호들은 과감하게 깎아냅니다. (이것을 ‘변형(Shaping)’이라고 부릅니다.)

2. 정합 필터 SAE (MF-SAE) 개발 📻

마치 무전기나 라디오에서 지지직거리는 잡음을 다 지우고 목소리 신호만 깨끗하게 키워서 듣는 ‘정합 필터’ 기술처럼, AI의 생각 속에서 가장 선명하고 중요한 개념만 쏙쏙 골라내는 새로운 인공지능 분석 도구(MF-SAE)를 만들었습니다.

📌 한 줄 요약 (Key Takeaway)

💡 “AI의 복잡한 뇌 신호에서 쓸데없는 잡음(노이즈)을 먼저 깨끗이 청소한 뒤 분석하는 새로운 기술을 개발하여, AI가 무슨 생각을 하는지 훨씬 더 명확하고 정확하게 알 수 있게 되었습니다.”

관련 개념

희소 오토인코더(SAE)와 “피처 예산”

희소 오토인코더(Sparse Autoencoder, SAE) 는 LLM의 잔차 스트림 활성 $h \in \mathbb{R}^d$ 를 $n \gg d$ 개의 사전 원자(dictionary atom)로 이루어진 과완비 사전에 대해 희소하게 표현하고, 그 희소 코드로 원래 활성을 재구성하도록 학습하는 모델입니다. 하나의 활성에 여러 개념이 겹쳐 있는 다의성(polysemanticity)을 풀어, 각 원자가 하나의 개념에 대응하기를 기대합니다.

🧱 1. 기존 SAE 변형들

계열 희소성 부여 방식 비고
$L_1$ 정규화 SAE 코드에 $L_1$ 벌점 초기 표준 방식, 수축(shrinkage) 문제
TopK / BatchTopK 상위 $k$개 pre-activation만 유지 희소도를 정확히 고정
Gated SAE 선택 게이트와 크기 추정을 분리 수축 문제 완화
JumpReLU SAE 원자별 학습 임계값 Gemma Scope에 사용, L0가 가변
Matryoshka SAE 중첩된 사전 접두사를 동시에 학습 다중 해상도 피처

이들은 모두 희소성과 재구성 충실도를 어떻게 맞바꿀지가 다를 뿐, 입력 활성은 그대로 받습니다. 이 논문은 바로 그 지점, 즉 입력을 먼저 바꿀 수 있다는 자유도를 추가합니다.

⚠️ 2. SAE에 대한 경고와 이 논문의 입장

벤치마크 지적
SAE Probes (Kantamneni et al., 2025) 희소 프로빙에서 SAE가 조밀 활성·단순 베이스라인을 꾸준히 이기지 못함
MIB (Mueller et al., 2025) 인과 변수 위치 찾기에서 SAE 피처가 균일하게 더 낫지 않음
AxBench (Wu et al., 2025) 개념 탐지·스티어링에서 단순 비(非)SAE 베이스라인이 매우 경쟁력 있음
Chanin et al. (2025) 피처 분열(splitting)·흡수(absorption)로 일관돼 보이는 잠재가 예상 사례를 놓침

논문은 “SAE가 쓸모 있는가”라는 큰 질문을 풀려 하지 않습니다. 대신 빡빡한 피처 예산에서 의미적 선택성을 높이는 비지도 희소 표현의 종류를 늘리는 것으로 범위를 명확히 한정합니다.

📏 3. 피처 예산이란

프로빙 벤치마크에서는 전체 피처 중 $k_{\text{probe}} \in {1, 2, 4, 8, 16, 32}$ 개만 골라 로지스틱 회귀 프로브를 학습합니다. 피처 몇 개만으로 개념을 맞혀야 하므로, 개별 원자가 얼마나 깨끗하게 하나의 의미를 담는지가 직접 점수에 반영됩니다. 이 논문에서 “의미적 선택성”은 사실상 이 설정에서의 프로빙 정확도를 뜻합니다.

💡 Key Takeaway 이 논문의 질문은 “재구성을 더 잘하는 SAE”가 아니라, “피처 몇 개만 써야 할 때 더 잘 맞히는 사전” 을 어떻게 만들 것인가입니다. 그 수단으로 SAE 앞단의 선형 성형을 제안합니다.

평균 야코비안과 J-space

평균 야코비안(averaged Jacobian) 은 Gurnee et al. (2026)이 도입한 행렬로, 레이어 $\ell$ 의 잔차 스트림 활성이 조금 바뀌었을 때 최종 레이어 잔차 스트림이 얼마나 바뀌는지를 1차 근사로 나타내고, 이를 프롬프트와 토큰 위치에 대해 평균한 것입니다.

🧮 1. 정의

\[J_\ell \;=\; \mathbb{E}_{\,t,\ t' \ge t,\ \text{prompt}\sim\mathcal{D}}\left[\frac{\partial h_{\text{final},\,t'}}{\partial h_{\ell,\,t}}\right] \in \mathbb{R}^{d \times d}\]
  • $h_{\ell,t}$: 레이어 $\ell$, 위치 $t$ 의 잔차 스트림 활성
  • $h_{\text{final},t’}$: 최종 레이어, 위치 $t’ \ge t$ 의 잔차 스트림
  • $\mathcal{D}$: 사전학습 분포와 비슷한 프롬프트 코퍼스

Gurnee et al. 은 이 행렬을 활성에 곱한 뒤 unembedding하는 J-lens 로 “이 활성이 평균적으로 어떤 토큰을 내보내려 하는가”를 읽어냈습니다. 이 논문은 같은 행렬을 전혀 다른 용도로 씁니다. 읽기가 아니라, SAE 학습 전에 활성을 성형하는 기준으로 삼습니다.

📡 2. 왜 야코비안인가: 분산 ≠ 하류 전달

활성 공간에서 분산이 큰 방향이 반드시 출력에 많이 전달되는 방향은 아닙니다. Gurnee et al. 의 핵심 통찰 중 하나가 활성 분산과 하류 정보 전달이 직접 연결되지 않는다는 것이었습니다. PCA처럼 분산을 기준으로 차원을 고르면 출력에 거의 영향을 주지 않는 큰 성분을 붙들 수 있습니다. 야코비안의 특이값은 “이 방향으로 밀면 출력이 얼마나 움직이는가”를 재므로, 모델이 실제로 하류에 쓰는 방향을 골라냅니다.

🔗 3. 관련되지만 다른 것: Jacobian SAE

Farnik et al. (2025)의 Jacobian Sparse Autoencoder는 MLP 레이어의 입력 피처·출력 피처·둘 사이 연결을 동시에 희소화하려는 방법으로, 이름만 비슷할 뿐 이 논문의 접근과는 무관합니다. 이 논문은 야코비안을 희소화 대상이 아니라 사영 기준으로 씁니다.

💡 Key Takeaway 평균 야코비안은 “어느 방향이 출력까지 살아남는가”를 알려주는 지도입니다. 이 논문은 그 지도에서 잘 전달되는 방향만 남기고 SAE를 학습하자고 제안합니다.

Live / Quiet 부분공간과 J-space 성형

J-space 성형(J-space shaping) 은 평균 야코비안을 특이값 분해(SVD)하여 잔차 스트림을 두 부분공간으로 나누고, 활성을 live 부분공간에 사영하는 선형 변환입니다.

🧮 1. 정의

\[J = U \Sigma V^\top, \qquad \Sigma = \mathrm{diag}(\sigma_1, \ldots, \sigma_d),\quad \sigma_1 \ge \sigma_2 \ge \cdots \ge \sigma_d\]
구분 정의 해석
live 공간 상위 $r$개 특이값에 대응하는 우특이벡터 $V_{\text{live}} \in \mathbb{R}^{d \times r}$ 의 span 하류 전달 이득이 큰 방향
quiet 공간 live 공간의 직교 여공간 ($d-r$ 차원) 평균 전달 이득이 작은 방향

성형된 활성은 다음과 같습니다.

\[h_{\text{live}} = V_{\text{live}} V_{\text{live}}^\top h\]

quiet 성분을 버리는 것은 일종의 잡음 제거(denoising) 로 볼 수 있습니다. 다만 논문은 용어가 상대적임을 강조합니다. quiet 방향은 “선택된 평균 야코비안으로 덜 전달될 뿐”, 정확한 영공간도 아니고 의미 정보가 없다고 단정할 수도 없으며, 특정 문맥이나 중간 레이어에서는 중요할 수 있습니다.

📉 2. 스펙트럼과 $r$ 의 선택

Gemma-2-2B 레이어 12에서 야코비안의 특이값은 급격히 감소합니다(Figure 1). 소수의 방향이 하류 이득의 대부분을 차지하고 나머지는 출력에 거의 영향을 주지 않습니다. 논문은 $r \in {768, 1152, 1536, 1792}$ 를 실험하고, $r = 1536$(quiet 768차원) 을 기본값으로 씁니다. $d = 2304$ 이므로 전체 차원의 2/3를 남기는 셈입니다.

🔬 3. 야코비안 추정 설정

항목 값
추정 방식 역방향 자동 미분
프롬프트 수 1,000개, 64 토큰으로 절단
목표 최종 블록
공유 레이어당 한 번 추정하고 그 레이어의 모든 SAE가 공유

💡 Key Takeaway J-space 성형은 학습이 필요 없는 고정 사영 하나입니다. 비용이 거의 들지 않으면서도, 이후 실험에서 SAE 없이 사영만으로도 프로빙 정확도가 올라간다는 점이 이 기법의 설득력입니다.

Matched Filter SAE(MF-SAE)의 구조

Matched Filter SAE(MF-SAE) 는 학습 가능한 외부 아핀 인코더, $n$개 원소의 사전, 학습 가능한 외부 아핀 디코더로 이루어진 SAE입니다. 사전 원소의 노름은 제약하지 않지만(학습 단순화), 실제 인코딩·디코딩에 쓰는 원자는 단위 노름으로 정규화한 버전입니다. 입력 $x$ 는 원본 활성 $h$ 이거나 live 사영 $h_{\text{live}}$ 입니다.

🧮 1. 순전파 수식

(1) 외부 인코더 — 입력을 잠재 공간으로 보냅니다.

\[z = W_e x + b_e, \qquad W_e \in \mathbb{R}^{d \times d},\ b_e \in \mathbb{R}^d\]

(2) 정규화된 원자 — 사전 $D \in \mathbb{R}^{n \times d}$ 의 행 $d_j$ 를 단위 노름으로 만듭니다. 원자에는 바이어스가 없고, 같은 단위 벡터를 탐지와 재구성 모두에 씁니다.

\[\hat d_j = d_j / \lVert d_j \rVert_2\]

(3) 정합 필터 점수와 TopK 선택 — 각 원자 방향으로의 정류된 사영을 계산하고 상위 $k$개를 고릅니다.

\[w_j = \mathrm{ReLU}(\hat d_j^\top z),\quad j = 1, \ldots, n \qquad\qquad \mathcal{S} = \operatorname*{arg\,top\text{-}k}_j\ w_j\]

양수인 사영이 $k$개 미만이면 선택 원자 수는 $k$ 보다 작아집니다. 희소 코드 $c \in \mathbb{R}^n$ 은 $j \in \mathcal{S}$ 에서 $c_j = w_j$, 그 외 $0$ 입니다.

(4) 디코딩 — 선택된 원자로 잠재를 재구성하고 외부 디코더로 되돌립니다.

\[\hat z = \sum_{j \in \mathcal{S}} w_j \hat d_j, \qquad \hat x = W_d \hat z + b_d\]

📻 2. 통신 이론과의 유비

통신 이론 개념 MF-SAE 대응 역할
정합 필터(matched filter) 단위 원자 $\hat d_j$ 와의 상관 $\hat d_j^\top z$ 데이터의 지배적 방향에 “정합”된 탐지기
백색화(whitening) 학습 가능한 선형 변환 $W_e$ 정합 필터는 잡음이 백색일 때만 최적이므로, 앞단에서 공간의 계량(metric)을 바꿔 줌
성상도 중심화(constellation centering) 바이어스 $b_e$ 데이터를 표현하는 데 필요한 원자 에너지를 최소화하는 학습 가능한 중심 이동

즉 인코더 $(W_e, b_e)$ 는 정합이 이루어지는 공간과 그 계량을 성형하는 역할을 합니다.

⚙️ 3. 기울기와 비용

  • 선택은 분리된(detached) 점수로 하고, 선택된 원자의 계수는 미분 가능하게 다시 계산합니다. 따라서 $W_e$, $W_d$, 원자는 $\mathcal{S}$ 를 통해서만 기울기를 받습니다.
  • 모든 원자 점수 계산은 행렬곱 $Z \hat D^\top$ 하나, 디코딩도 조밀 행렬곱 하나이므로 같은 폭의 TopK SAE와 계산 비용이 동일합니다.

💡 Key Takeaway MF-SAE의 핵심은 “정합 필터 하나가 탐지와 재구성을 모두 맡는다“는 것입니다. 인코더와 디코더가 따로 노는 대신 단위 원자 하나로 묶이고, 그 대신 앞뒤의 아핀 변환이 공간을 성형합니다.

MF-SAE와 TopK SAE의 세 가지 차이

같은 선형 사영 $z = W_{\text{in}} h + b_{\text{in}}$, $\hat h = W_{\text{out}} \hat z$ 로 감싼 TopK SAE와 비교하면 MF-SAE의 구조적 선택이 분명해집니다.

🧮 1. TopK SAE의 pre-activation

\[p_j = e_j^\top (z - b_{\text{pre}}) + b_j = \lVert e_j \rVert\, \lVert z - b_{\text{pre}} \rVert \cos\angle(z - b_{\text{pre}},\, e_j) + b_j\]

$e_j$ 는 자유로운 인코더 행, $b_j$ 는 자유로운 바이어스입니다. 상위 $k$개 pre-activation을 $\mathrm{ReLU}(p_j)$ 계수로 유지하고 자유로운 디코더 열 $W_{\text{dec}}[:, j]$ 로 복원합니다.

🔍 2. 세 가지 차이

차이 TopK SAE MF-SAE
(i) 스케일 $\lVert e_j \rVert$ 와 $b_j$ 가 정합도와 무관하게 원자를 선택에서 이기게 만들 수 있고, 계수는 pre-activation 그 자체 점수는 정렬(alignment)에만 의존하고, 계수는 단위 원자의 최소제곱 적합값
(ii) 바이어스 잠재마다 자유 바이어스 학습 (TopK, BatchTopK, Matryoshka, JumpReLU 모두; JumpReLU는 임계값도 추가) 원자별 오프셋은 $\hat d_j^\top b_e$ 뿐 — 원자 방향과 공유 벡터 하나로 결정
(iii) 결합(tying) $e_j$ 와 $W_{\text{dec}}[:, j]$ 가 독립 활성 공간에서 인코더 방향은 $W_e^\top \hat d_j$, 디코더 원자는 $W_d \hat d_j$ 이고 $W_d$ 가 가역이면 $W_e^\top \hat d_j = G\,(W_d \hat d_j),\ G = W_e^\top W_d^{-1}$ — 모든 원자가 하나의 선형 사상 $G$ 로 결합

🧩 3. 선형 사영이 중복이 아닌 이유

TopK SAE에서는 $W_{\text{in}}$, $W_{\text{out}}$ 을 $e_j$, $W_{\text{dec}}$ 에 흡수할 수 있어 바깥 사영이 중복입니다. 반면 MF-SAE에서는 인코더와 디코더가 단위 원자로 묶여 있으므로, 바깥 아핀 변환이 인코더가 디코더와 달라질 수 있는 유일한 통로입니다. 부록 D의 ablation(레이어 12, 16K, $k=40$)에서 $W_e$, $W_d$ 를 제거하면 원본·live 두 설정 모두 프로빙 정확도가 크게 떨어졌습니다.

🔁 4. Matching Pursuit SAE와의 관계

비음수 제약 하에서 $w_j \hat d_j$ 는 원자 $j$ 하나만으로 $z$ 를 추정한 최소제곱 해입니다. 따라서 MF-SAE는 비음수 matching pursuit의 첫 단계를 모든 원자에 동시에 적용한 것으로 볼 수 있습니다. 잔차를 갱신하며 순차 선택하는 MP-SAE(Costa et al., 2026)와 달리 잔차 갱신이 없습니다. 순차 선택은 LLM 활성 재구성은 개선하지만 희소 프로빙·피처 흡수는 개선하지 못했고(Chanin & Garriga-Alonso, 2026), 인코더를 $k$ 번 직렬로 통과해야 합니다.

💡 Key Takeaway TopK SAE는 원자마다 “노름·바이어스·디코더 열”이라는 자유도를 따로 가집니다. MF-SAE는 이 자유도를 원자 방향 하나 + 공유 아핀 변환으로 줄여, 선택이 정합도만으로 결정되게 만듭니다.

학습 목적함수

MF-SAE는 재구성 손실에 작은 계수 크기 정규화를 더한 목적함수로 학습합니다. 희소성은 TopK 선택이 이미 보장하므로 보조 항은 스케일만 다룹니다.

🧮 1. 손실 함수

$B$ 개 토큰 배치의 입력 $x_b$ 와 재구성 $\hat x_b$ 에 대해

\[\mathcal{L} = \frac{1}{B\,m}\sum_{b=1}^{B}\big\lVert \hat x_b - x_b \big\rVert_2^2 + \lambda\,\bar c, \qquad \bar c = \frac{1}{B\,k}\sum_{b=1}^{B}\sum_{j \in \mathcal{S}_b} c_{bj}\]
기호 의미
$m$ 입력이 사는 공간의 차원 — 원본이면 $m = d$, live면 $m = r$
$\bar c$ 활성 원자 계수의 평균 크기 (계수가 비음수이므로 평균 절대값과 같음)
$\lambda$ 모든 실험에서 $0.01$

live 설정에서는 재구성을 다시 live 공간에 사영한 뒤 live 방향에서만 오차를 재고 $r$ 로 정규화합니다.

⚠️ 2. $\lambda$ 는 왜 작아야 하는가

보조 항은 희소성이 아니라 계수 스케일만 규제합니다. 논문은 $\lambda$ 를 키우면 사전이 소수의 살아 있는 원자로 붕괴한다고 보고합니다. 그래서 $0.01$ 로 고정했습니다.

🏋️ 3. 학습 설정

항목 값
데이터 The Pile (uncopyrighted subset), 128 토큰 시퀀스
배치 구성 2,048 시퀀스의 활성을 풀에 모아 섞고, 스텝마다 4,096 토큰 미니배치 추출 (여러 문맥 혼합)
스텝 / 토큰 7,000 스텝, 약 28.7M 토큰
최적화 AdamW, 학습률 $2 \times 10^{-4}$, weight decay 없음
사전 크기 $n \in {16{,}384,\ 32{,}768}$
희소도 $k \in {40, 80, 160, 320, 640}$
모델 Gemma-2-2B ($d = 2304$, 26 레이어) 블록 12·20 뒤 잔차 스트림; GPT-2 Small 레이어 7·8은 부록

💡 Key Takeaway 손실은 거의 순수한 재구성 손실입니다. 죽은 원자를 되살리는 보조 손실이나 재초기화 장치가 없는데도 살아 있는 원자 비율이 높게 나온다는 점이 뒤에 나올 결과의 포인트입니다.

평가 프로토콜: 희소 프로빙 벤치마크

논문은 SAE 피처의 의미적 선택성을 두 가지 희소 프로빙 벤치마크로, 재구성 품질을 세 가지 지표로, 해석 가능성을 자동 파이프라인으로 평가합니다.

📊 1. 두 프로빙 벤치마크

벤치마크 구성 절차 보고 지표
SAEBench 희소 프로빙 8개 데이터셋(Bias in Bios, Amazon 리뷰·감성, GitHub 코드, AG News, Europarl)의 36개 이진 분류 과제, 과제당 학습 4,000 / 테스트 1,000, 문맥 128 토큰 피처를 토큰에 대해 평균 풀링 → 클래스 평균 차이가 큰 $k_{\text{probe}}$ 개 선택 → 로지스틱 회귀 과제 평균 테스트 정확도 SB-Acc, $k_{\text{probe}} \in {1,2,4,8,16,32}$
SAE Probes (Kantamneni et al., 2025) 표준 데이터 설정의 113개 이진 데이터셋 상위 $k_{\text{probe}}$ 피처에 프로브 데이터셋 평균 테스트 정확도

SAE Probes 쪽 과제가 더 넓고 복잡하여, 논문은 Gemma-2-2B가 GPT-2 Small보다 높은 정확도를 내는 이유를 모델 규모에서 찾습니다.

🧱 2. 베이스라인

베이스라인 설명
조밀 활성 $h$ SAE 없이 원본 좌표를 직접 프로빙
성형 활성 $h_{\text{live}}$ SAE 없이 live 사영 좌표를 프로빙 — 성형 효과를 희소 코딩 효과와 분리
SAEBench TopK SAE Gemma-2-2B 16K, $k \in {40,80,160,320,640}$; 약 30M 토큰 체크포인트(이 논문의 28.7M과 유사)와 300M 토큰 최종 체크포인트 둘 다 사용
Gemma Scope JumpReLU 16K·32K 폭, L0가 학습 임계값으로 결정되므로 평균 L0가 가장 가까운 MF-SAE와 짝지음
Matryoshka BatchTopK 32K, L0 = 40 (Gemma-2-2B에 유일하게 공개된 설정)

🔧 3. 재구성·하류 손실 지표

  • PVE : MF-SAE 입력 $x$ 에 대한 설명 분산 비율. live 설정은 $h_{\text{live}}$ 기준이므로 원본 PVE와 직접 비교 불가.
  • Alive 비율 : 평가 토큰 중 하나 이상에서 활성화된 원자의 비율.
  • CE 회복률 :
\[\text{CE recovered} = \frac{\mathrm{CE}_{\text{zero}} - \mathrm{CE}_{\text{rec}}}{\mathrm{CE}_{\text{zero}} - \mathrm{CE}_{\text{clean}}}\]

live MF-SAE는 세 가지 방식으로 패치합니다.

패치 방식 모델에 넣는 값 의미
live only (L) $\hat x$ SAE 재구성만
live + quiet (L+Q) $\hat x + (h - h_{\text{live}})$ 버린 quiet 성분을 정확히 복원
projection only (P) $h_{\text{live}}$ SAE 없이 사영만 — quiet를 버리는 비용 자체, L의 상한

🤖 4. 자동 해석 가능성

The Pile 6,000 시퀀스(128 토큰)에서 피처별 최상위 활성 윈도우를 모으고, Qwen2.5-7B-Instruct 에 12개 윈도우를 보여 한 줄 설명을 쓰게 합니다. 그 설명만 보고 같은 모델이 보류한 활성 윈도우 8개 vs 무작위 다른 피처의 상위 윈도우 8개를 분류하고, 균형 정확도를 detection score 로 보고합니다. 활성 윈도우 20개 미만 피처는 채점하지 않습니다. 예시로 원본 MF-SAE의 “a little bit”, “the reason behind”, live MF-SAE의 “later”, “example” 피처 대시보드를 보여 주며, 점수 0.7 이상 피처 전체 대시보드를 Hugging Face에 공개했습니다.

💡 Key Takeaway 조밀 활성 $h$ 와 성형 활성 $h_{\text{live}}$ 를 SAE 없이 베이스라인으로 넣은 설계 덕분에, “성형 자체의 효과”와 “희소 코딩의 효과”를 따로 읽을 수 있습니다.

결과 1: SAE 없이 성형만 해도 프로빙이 좋아진다

SAE를 학습하기 전에, live 사영이 프로브가 의존하는 정보를 보존하는지 먼저 확인합니다. $r \in {768, 1152, 1536, 1792}$ 의 $h_{\text{live}}$ 좌표를 원본 $h$ 와 직접 프로빙합니다(Figure 4).

📊 1. 결과

벤치마크 레이어 12 레이어 20
SAEBench $h_{\text{live}}$ 가 모든 $r$ 에서 $h$ 보다 높음 $h_{\text{live}}$ 가 모든 $r$ 에서 $h$ 보다 높음
SAE Probes $h$ 와 비슷 $h$ 보다 약간 높음

두 벤치마크 모두에서 성형은 한 번도 프로빙을 해치지 않았고, 결과는 $r$ 선택에 민감하지 않았습니다.

🔍 2. 해석

quiet 방향을 버려도 과제에 필요한 정보가 사라지지 않았습니다. 오히려 좌표 몇 개만 쓸 수 있는 프로브 입장에서는 그 정보를 찾기 쉬워졌습니다. 이는 J-space 성형이 “의미적 잡음 제거”로 작동한다는 가설과 일치합니다.

💡 Key Takeaway 학습이 전혀 없는 고정 사영 하나가 조밀 활성보다 나은 프로빙 베이스라인이 됩니다. 이 결과만으로도 “SAE 전에 성형한다”는 발상의 타당성이 확인됩니다.

결과 2: 희소 프로빙에서 MF-SAE vs 베이스라인

16K 사전, $k \in {40, 80}$, 레이어 12·20에서 원본(raw) MF-SAE와 live MF-SAE를 공개 SAE들과 비교합니다. Gemma Scope는 L0가 고정되지 않아 가장 가까운 평균 L0의 SAE를 쓰므로 근사 비교입니다.

📊 1. SAEBench (Figure 5)

관찰 내용
베이스라인 대비 원본·live MF-SAE 둘 다 두 레이어·두 희소도 모든 패널에서 베이스라인을 앞섬
원본 vs live 대부분 설정에서 비슷. 예외는 레이어 12, $k=80$ 으로, live MF-SAE가 모든 $k_{\text{probe}}$ 에서 일관되게 더 좋음
함의 베이스라인 대비 개선의 대부분은 MF-SAE 구조 자체에서 오고, 성형은 일부 설정에서 추가 이득을 줌

SAE 없이 성형했을 때의 이득(결과 1)이 희소 코딩을 거치면 부분적으로만 유지됩니다. 서론에서 밝힌 대로, live MF-SAE는 아주 빡빡한 피처 예산에서 원본 MF-SAE보다 약간 낫고 예산이 커지면 차이가 사라집니다.

📊 2. SAE Probes (Figure 6)

113개 데이터셋에서는 MF-SAE가 베이스라인보다 미미하게만 좋았고, 원본과 live도 비슷했습니다. 이는 “이 넓은 벤치마크에서 SAE 피처의 이점이 작다”는 Kantamneni et al. (2025)의 결론과 일치하며, SAEBench에서의 이득이 완전히 옮겨가지는 않음을 보여 줍니다.

🔬 3. 부록 ablation 요약

ablation 결과
희소도 (16K, 부록 B) $k = 320$ 이 SAE Probes에서는 모든 설정에서 최고, SAEBench에서는 최상위권이지만 항상 최고는 아님
사전 크기 32K (부록 C) 16K와 같은 경향. SAE Probes $k=40$ 에서 Matryoshka SAE가 레이어 12에서는 MF-SAE와 비슷하고 레이어 20에서는 MF-SAE를 앞섬
선형 사영 제거 (부록 D) $W_e$, $W_d$ 를 빼면 원본·live 모두 SAEBench 정확도가 크게 하락
GPT-2 Small (부록 E) 레이어 7: Bloom (2024)의 ReLU-L1 SAE(24,576 잠재, L0 ≈ 62)와 $n = 24{,}576$, $k = 64$, $r = 512$ 로 비교. 레이어 8: Gao et al. (2025)의 TopK SAE(32,768 잠재, $k=32$)와 같은 설정으로 비교. SAEBench에서는 MF-SAE가 앞서고 SAE Probes에서는 이득이 미미

💡 Key Takeaway MF-SAE는 SAEBench에서 분명히 이기지만, SAE Probes에서는 거의 비기고, 32K Matryoshka에는 한 설정에서 집니다. 논문도 이 변동성을 숨기지 않고 “성형과 희소 코딩의 최적 결합은 열린 문제”라고 적습니다.

결과 3: 재구성, CE 회복률, 살아 있는 원자

Table 1은 16K 사전에서 원본·live MF-SAE의 재구성 지표입니다. live PVE는 $h_{\text{live}}$ 기준이라 원본 PVE와 같은 그룹 안에서만 비교할 수 있습니다.

📊 1. Table 1 (Gemma-2-2B, 16K)

레이어 $k$ 입력 PVE Alive CE 회복 (Raw / L) L+Q P
12 40 Raw 0.91 0.62 0.98 – –
12 40 Live 0.84 0.81 0.93 0.99 0.95
12 80 Raw 0.92 0.81 0.99 – –
12 80 Live 0.86 0.96 0.94 0.99 0.95
20 40 Raw 0.86 0.77 0.97 – –
20 40 Live 0.79 0.97 0.89 0.99 0.92
20 80 Raw 0.88 0.89 0.98 – –
20 80 Live 0.82 0.99 0.90 0.99 0.92

🔍 2. 읽기

  • 원본 MF-SAE는 CE 손실의 97–99% 를 회복합니다.
  • live MF-SAE를 단독으로 패치하면 89–94% 인데, SAE 없이 사영만 했을 때의 상한(P)이 92–95% 이므로, 격차의 대부분은 희소 코딩이 아니라 quiet 성분을 버린 사영 자체에서 옵니다.
  • quiet 성분을 복원(L+Q)하면 모든 설정에서 99% 를 회복합니다.
  • 살아 있는 원자 비율은 live가 81–99%, 원본이 62–89% 로 live가 더 높고, 둘 다 $k$ 가 커질수록 증가합니다.

💀 3. 죽은 원자 문제

TopK 계열 SAE는 보통 죽은 잠재(dead latent)를 되살리기 위한 보조 손실이나 재초기화를 둡니다. MF-SAE는 그런 장치 없이 높은 alive 비율을 달성했고, 논문은 이를 MF-SAE 구성의 부수 효과로 꼽습니다.

💡 Key Takeaway quiet 성분을 버리는 비용은 CE 기준 약 5–8%이지만, 그 성분은 SAE 바깥에서 그대로 더해 줄 수 있습니다(L+Q = 99%). 즉 “live만 희소화하고 quiet는 통과시키는” 하이브리드 구성이 실용적인 선택지가 됩니다.

한계와 열린 문제

논문이 명시한 한계는 다음과 같습니다.

⚠️ 1. 저자가 밝힌 한계

영역 내용
성형 기법의 결합 SAEBench에서 성형 > 조밀 활성, MF-SAE > 최신 SAE는 보였지만, 둘을 결합한 이득은 빡빡한 예산에서만 나타남. 성형 기법들을 어떻게 합칠지는 향후 과제
야코비안 분석 live/quiet 성분의 상세 분석이 부족. 야코비안은 문맥·목표 위치에 대해 평균한 선형화이므로, 평균 이득이 작은 quiet 방향도 특정 문맥이나 중간 레이어에서는 중요할 수 있음
범위 주요 결과가 Gemma-2-2B 두 레이어, 부록에 GPT-2 Small. 더 큰 모델은 미검증
베이스라인 Gemma Scope와 Matryoshka는 다른 데이터·토큰 예산으로 학습됐고 희소도도 근사 매칭. SAE Probes 결과는 이들 베이스라인에 대해 단일 희소도에서만 가용
자동 해석 가능성 설명과 detection score가 단일 7B 모델에서 나오고, 음성 예제가 비활성 텍스트가 아니라 다른 피처의 활성 윈도우에서 추출됨

🧭 2. 논문이 다루지 않기로 한 것

MIB·AxBench가 지적한 스티어링, 개념 탐지, 인과 변수 위치 찾기에서 지도 학습 기법이 SAE를 앞서는 격차는 이 논문의 범위 밖입니다. 논문은 비지도·희소·의미 선택적 표현을 개선하는 상보적 질문에만 집중한다고 명시합니다.

💡 Key Takeaway 이 논문은 “활성을 성형한 뒤 SAE를 학습한다”는 새 설계 축을 열었고, 그 축 위에서 두 가지 구체적 도구(J-space 사영, MF-SAE)를 검증했습니다. 두 도구를 합쳤을 때의 이득이 제한적이라는 점을 솔직히 남긴 것이, 후속 연구가 들어갈 자리를 분명히 해 줍니다.