You know maize mean?
A Symmetry-Matching Approach to Blind-Spot Reduction in Sparse Autoencoders
0. Summary
기본 정보 : ArXiv,2026.10.17, A Symmetry-Matching Approach to Blind-Spot Reduction in Sparse Autoencoders
연구 배경
언어 모델은 의미적으로 서로 다른 입력을 표현 수준에서 거의 같은 것으로 취급할 수 있다. 예를 들어 임상 파이프라인에서 “환자가 3회 투여받았다”와 “8회 투여받았다”는 반드시 구별되어야 하지만, 희소 오토인코더(SAE)의 학습된 특성 공간에서 이런 숫자 변화는 섭동 응답(perturbation response) 분포의 약한 하위 꼬리(weak lower tail) 에 떨어질 수 있다. 즉 변화가 가장 중요한 쌍에서 SAE 코드가 거의 움직이지 않는다. 논문은 이를 지식의 실패가 아니라 특성 기저의 방향(orientation) 실패로 본다. 관련 구별이 은닉 상태(hidden state)에는 존재하더라도 특성 기저 안에 잘못 배치되어 있어 코드 공간에서의 분리가 충분하지 않다는 것이다. 기존 SAE 목적함수(재구성, 희소성, 기술 길이)는 이 문제를 전혀 겨냥하지 않는다. 저자는 가중 모듈러 산술 기반 체크섬이 특정 전치(transposition) 오류를 검출하지 못하는 현상(헝가리 환자 식별번호 TAJ, 미국의 NPI·DEA 식별자가 공유하는 블라인드 스팟)과 같은 대수적 현상이 신경 표현에서도 나타난다고 지적하고, 해결책은 더 많은 중복(redundancy)이 아니라 기존 인코딩의 더 나은 방향 설정이라고 주장한다.
제안 방법
유한 알파벳 위의 오류 검출 코드 이론에서 온 대칭 매칭 조건(symmetry-matching condition) $\operatorname{Stab}(G,F)\cap E={e}$ 을 출발점으로 삼아, 이를 연속적인 SAE 인코더에 맞게 단계적으로 완화한 섭동 응답 계층(perturbation-response hierarchy) 을 정의한다. 정확한 불변성(stabiliser) → 표본화된 영응답 집합 $S_0$ → 저응답 마진 집합 $S_\gamma$ → 하위 꼬리 응답 $L_{20}$ → 응답 프로파일의 Gini 불균형 $V_{\mathrm{Gini}}$ 순서로 이어지는 이 계층 중, 미분 가능한 $V_{\mathrm{Gini}}$ 를 SAE 학습 손실에 정규화 항으로 추가한다. 지정된 섭동 가족(perturbation family) 안에서 응답이 고르지 않을수록 벌점을 주되, 기저 언어 모델의 가중치는 고정하고 SAE의 특성 기저만 수정한다. 섭동 쌍의 은닉 상태는 사전 캐싱되어 추가 학습 비용이 거의 없다.
발견 사실
GPT-2 small, Gemma 2 2B, Qwen 2.5 3B에 대한 고정 다중 시드(frozen multi-seed) 평가에서 $V$-정규화는 상대 및 절대 하위 꼬리 응답을 모두 높이고 응답 프로파일 불균형을 줄였으며, OpenWebText 일반 텍스트 재구성 품질에는 유의미한 저하가 없었다. 양성 가족 비율(positive-family fraction)은 세 모델 모두 1.0이다. 반면 JumpReLU와 MDL 목적함수는 같은 프로토콜 아래에서 표준 $L_1$ SAE의 프로파일과 거의 같은 자리에 머물렀다($L_{20}(D)$ 와 $V_{\mathrm{Gini}}$ 변화 0.001 미만). 이 효과는 평균 감도를 억제해서가 아니라 약한 방향을 들어올려서 얻어진 것이며(Gemma 2 typo 감도 +219%), 템플릿 중복이나 단일 지배 가족으로는 설명되지 않는다. 학습에 쓰이지 않은 OpenI 흉부 방사선 보고서 최소 쌍(minimal pairs)과 72종의 미사용 섭동 가족에서도 하위 꼬리 상승이 관찰되었다. 다만 다운스트림 확률 마진으로의 전이는 과제·모델에 따라 달랐고, 표준 코드가 이미 천장(ceiling)에 있는 과제(숫자 용량 값 프로브, 포화된 편측성 과제)에서는 오히려 약간 나빠지는 부정 결과도 함께 보고한다.
핵심 기여
- 표현적 블라인드 스팟을 측정·국소화 가능한 양으로 정의 : 전역적 정확 불변성, 표본화된 영응답 집합, 저응답 영역, 하위 꼬리 응답 크기, 유한 응답 프로파일 불균형을 연결하는 섭동 응답 계층을 연속 SAE 표현에 대해 정의했다. 이로써 섭동 인지(perturbation awareness)를 계층 전반에서 측정할 수 있고, 그중 불균형 성분은 직접 최적화할 수 있다.
- $V_{\mathrm{Gini}}$ 정규화 도입과 다중 시드 검증 : 미분 가능한 섭동 감도 조건화 항을 SAE 학습에 넣고, 고정 다중 시드 프로토콜에서 세 모델 모두 하위 꼬리 응답 상승과 불균형 감소가 동시에 일어남을 보였다. 통일된 “진짜 마지막 토큰(true-last-token)” 추출 규칙으로 서로 다른 패딩 관례를 가진 모델 간에 같은 시퀀스 위치에서 응답을 비교했다.
- 기존 세 가지 SAE 목적함수의 한계 입증과 검증 장치 추가 : $L_1$, JumpReLU, MDL 모두 섭동 응답 불균형을 줄이지 못함을 보여, 섭동 인지가 재구성·희소성·기술 길이 압력으로는 포착되지 않음을 확립했다. 여기에 가족 기하 통제, 보류(held-out) 프로브, 영가설 보정(null-calibrated) 분리 검정, 실제 임상 감사, 다중 인자 SAE 아키텍처를 더해 방법이 어디서 도움이 되고 어디서 안 되는지를 경계 지었다.
관련 개념
희소 오토인코더(SAE)와 특성 기저의 “방향” 문제
희소 오토인코더(Sparse Autoencoder, SAE) 는 언어 모델의 은닉 상태 $h\in\mathbb{R}^{d_{\mathrm{in}}}$ 를 훨씬 큰 차원의 희소 코드 $z\in\mathbb{R}^{d_{\mathrm{sae}}}$ 로 인코딩한 뒤 다시 $\hat h$ 로 복원하도록 학습하는 모델입니다. 중첩(superposition)된 활성을 해석 가능한 단일 의미 특성(feature)들의 희소 조합으로 분해하려는 목적으로 쓰이며, 이 논문에서는 $d_{\mathrm{sae}}=4{,}096$ 의 ReLU SAE가 기본형입니다.
🧱 1. 표준 SAE 목적함수가 보는 것
| 목적함수 | 벌점 대상 | 논문에서의 역할 |
|---|---|---|
| 표준 $L_1$ SAE | 재구성 오차 $|h-\hat h|^2$ + $\lambda_1|z|_1$ | 기준선(Standard) |
| JumpReLU SAE (Rajamanoharan et al., 2024) | 학습 가능한 임계값 + $L_0$ 대리 손실 | 비교 대상 |
| MDL SAE (Ayonrinde et al., 2024) | 기술 길이(description length) 벌점 | 비교 대상 |
세 목적함수 모두 “활성을 얼마나 적은 특성으로 얼마나 정확히 복원하는가”를 묻습니다. “입력이 의미 있게 바뀌었을 때 코드가 충분히 움직이는가” 는 어느 것도 묻지 않습니다.
🧭 2. 지식(knowledge) vs 방향(orientation)
논문은 신뢰할 수 있는 AI에 두 가지 독립 조건이 필요하다고 말합니다.
| 조건 | 무엇을 해결하는가 | 어떻게 다루어져 왔는가 |
|---|---|---|
| 지식 | 구별에 필요한 정보가 은닉 상태에 존재하는가 | 스케일링 법칙(더 큰 모델, 더 많은 데이터) |
| 섭동 인지(perturbation awareness) | 존재하는 정보가 특성 기저에 보이도록 배치되어 있는가 | 본 논문이 다루는 축 |
핵심 주장은 “관련 구별이 은닉 상태에는 있는데 특성 기저 안에 나쁘게 배치되어 코드 공간 분리가 부족한 경우”가 실제로 존재하고, 이는 SAE 손실만 바꿔서 고칠 수 있다는 것입니다. 저자는 이 작업이 “SAE 특성이 올바른 분석 단위인가”라는 논쟁(Leask et al., 2025 등)과는 직교한다고 밝힙니다. 특성이 “옳은지”가 아니라, 특성들이 펼치는 기저가 과제 관련 섭동을 균일하게 보이도록 방향 잡혀 있는지를 묻기 때문입니다.
💡 Key Takeaway SAE는 고정 용량(폭 4,096) 안에서 같은 데이터로 학습되더라도, 목적함수에 따라 어떤 입력 변화에 민감하고 어떤 변화에 둔감할지가 달라집니다. 이 논문은 그 민감도 분포를 설계 가능한 양으로 만듭니다.
표현적 블라인드 스팟(Representational Blind Spot)과 체크섬 비유
표현적 블라인드 스팟은 논문에서 “명시된 평가 기준 아래에서 인코딩이 불충분한 응답을 보이는 과제 관련 입력 변화”로 정의됩니다. 핵심은 단일 입력 하나의 성질이 아니라, 평가 기준과 함께 정의되는 등급화된(graded) 개념이라는 점입니다.
🔢 1. 체크섬(check digit)에서 온 직관
가중 모듈러 산술로 만든 십진 체크섬은 특정 인접 전치(adjacent transposition) 나 점프 전치를 검출하지 못합니다. 산술 구조 자체가 그 전치를 “보이지 않게” 만들기 때문입니다.
| 영역 | 인코딩 | 보이지 않는 변화 | 처방 |
|---|---|---|---|
| 체크섬 (TAJ, NPI, DEA) | 가중 모듈러 합 | 특정 자리 바꿈 | 더 많은 자릿수가 아니라 가중치(방향)의 재선택 |
| 신경 표현 | SAE 인코더 $F$ | 코드가 거의 움직이지 않는 입력 변화 | 더 큰 모델이 아니라 특성 기저의 재방향화 |
두 경우 모두 “정보가 부족해서”가 아니라 “정보가 배치된 방식 때문에” 변화가 숨습니다.
🏥 2. 왜 임상 도메인이 동기인가
| 구별 | 표면 토큰이 직접 드러내는가 | 블라인드 스팟의 위험 |
|---|---|---|
| 투여 횟수 3 vs 8 | ✓ (숫자가 텍스트 표면에 있음) | 다운스트림이 숫자를 직접 읽을 수 있어 안전망 존재 |
| 부정(negation), 중증도(severity), 편측성(laterality) | ✗ (단일 표면 토큰이 없음) | 약한 꼬리 기하가 다운스트림 접근성 저하로 직결 |
논문은 이 구분을 나중의 “부정 결과” 해석에도 그대로 씁니다. 숫자 값 프로브에서는 표준 코드가 이미 천장이므로 개선 여지가 없고, 안전 우려는 표면 중복이 없는 구별에 적용된다는 것입니다.
💡 Key Takeaway 블라인드 스팟은 “모델이 모른다”가 아니라 “표현은 하지만 코드가 거의 안 움직인다”는 상태입니다. 이를 정의하려면 어떤 변화가 과제 관련인지(가족 $E$) 와 얼마나 작아야 불충분한지(기준) 를 모두 명시해야 합니다.
대칭 매칭 조건(Symmetry-Matching Condition)
대칭 매칭 조건은 Balogh(2026)의 오류 검출 코드 대수 이론에서 가져온 것으로, “과제 관련 변환 중 어느 것도 인코딩에 보이지 않아서는 안 된다”를 군(group) 언어로 적은 것입니다. 모든 인코딩에는 대칭(symmetry), 즉 인코딩 상태를 바꾸지 않는 입력 변환이 있습니다. 체크섬에서는 미검출 전사 오류가, 신경 표현에서는 표현이 분리하지 못하는 입력 변화가 그것입니다.
🧮 1. 정의
- $G$ : 입력 공간 $X$ 에 작용하는 군. 원소 $g\in G$ 는 채널에서 가능한 입력 변환, 작용은 $g\cdot x$
- $F\colon X\to Z$ : 인코딩. 여기서는 은닉 상태를 코드로 보내는 SAE 인코더
- $E\subseteq G$ : 과제 관련 변환 가족. 다운스트림 과제가 표현에게 추적하라고 요구하는 변화들
인코딩의 안정자(stabiliser) 는 코드가 움직이지 않는 변환의 집합입니다.
\[\operatorname{Stab}(G,F)=\{\,g\in G \mid F(g\cdot x)=F(x)\ \text{on the evaluated domain}\,\} \tag{1}\]안정자에 속하는 변환은 인코딩에 보이지 않습니다(invisible). 대칭 매칭 조건은 과제 관련 변환 중 어느 것도 보이지 않아서는 안 된다는 요구입니다.
\[\operatorname{Stab}(G,F)\cap E=\{e\} \tag{2}\]여기서 $e$ 는 항등 변환입니다. 교집합에 항등이 아닌 원소가 있으면, 그것은 인코딩이 볼 수 없는 과제 관련 변화이며 표현적 블라인드 스팟의 정확한 전역적 경우입니다.
🔁 2. 유한 알파벳에서 연속 인코더로
| 대수적 원천 (체크섬) | 본 논문 (SAE) | |
|---|---|---|
| 군 $G$ | 유한 | 입력 변환 가족 |
| 안정자 | 유한한 시퀀스 변환 집합 | 학습된 인코더의 불변 방향 |
| 조건 판정 | 열거로 결정 가능 | 정확 불변성은 등급화된 응답의 경계 사례일 뿐 |
실험은 모든 변환을 전체 도메인에서 검사하지 않습니다. 대신 유한한 관측 쌍 가족
\[E_{\mathrm{obs}}:=\{(x_i,\;g_i\cdot x_i)\}_{i=1}^{K},\qquad g_i\in E\]위에서 모든 양을 정의합니다. 논문은 전역 대수 조건 (2)와 그 표본화 유사체를 반드시 구분해서 읽어야 한다고 강조합니다.
💡 Key Takeaway 대칭 매칭 조건은 “블라인드 스팟이 없다”를 정확히 적은 이상적 기준입니다. 연속 SAE에서는 이 조건을 그대로 쓸 수 없으므로, 다음 절의 응답 프로파일 계층으로 단계적으로 완화합니다.
섭동 응답 프로파일(Perturbation-Response Profile)과 계층 구조
섭동 응답 프로파일은 관측 쌍 가족의 각 쌍에 대해 “SAE 코드가 얼마나 움직였는가”를 모은 유한 벡터 $(D_1,\ldots,D_K)$ 입니다. 논문은 정확한 불변성부터 다운스트림 프로브까지를 하나의 계층(hierarchy) 으로 정리하고(Table 1), 어떤 단일 양도 혼자서는 블라인드 스팟을 판정하지 않는다고 못 박습니다.
📐 1. 기본 응답과 정확 영응답 집합
각 표본 쌍 $i$ 에 대해 $z_i^{\mathrm{orig}}=F(x_i)$, $z_i^{\mathrm{pert}}=F(g_i\cdot x_i)$ 라 할 때 상대 SAE 코드 응답은
\[D_i=\frac{\|z_i^{\mathrm{pert}}-z_i^{\mathrm{orig}}\|}{\|z_i^{\mathrm{orig}}\|+\varepsilon} \tag{3}\]코드 노름으로 정규화했으므로 쌍 사이에 비교 가능합니다. 정확한 표본 영응답 집합은
\[S_0(F,E_{\mathrm{obs}})=\{\,i \mid F(g_i\cdot x_i)=F(x_i)\,\}=\{\,i\mid D_i=0\,\} \tag{4}\]이는 전역 안정자 조건의 점별(pointwise) 표본 유사체입니다. $g\in\operatorname{Stab}(G,F)$ 이면 $g$ 가 만든 모든 쌍이 영응답이지만, 역은 성립하지 않습니다. 단일 표본 등식은 점별 충돌(collision) 일 뿐입니다.
📏 2. 마진 집합, 커버리지, 하위 꼬리
연속 표현에서 부동소수점 코드 벡터가 “정확히 같다”는 조건은 너무 취약합니다. 실제 질문은 응답이 충분히 작은가입니다. 그래서 고정 마진 $\gamma$ 에 대해
\[S_\gamma(F,E_{\mathrm{obs}})=\{\,i\mid D_i<\gamma\,\},\qquad C_\gamma(F,E_{\mathrm{obs}})=\frac{1}{K}\sum_{i=1}^{K}\mathbf{1}[D_i\ge\gamma] \tag{5, 6}\]$\gamma\to 0$ 이면 $S_\gamma$ 는 $S_0$ 로 수축하므로, 마진 버전은 영응답 집합의 연속 완화이고 $\gamma$ 가 검출 스케일을 정합니다. 마진 없는 요약으로는 하위 꼬리 $L_{20}(D)$ (응답이 가장 작은 하위 1/5의 평균)와 절대 코드 변위 하위 꼬리 $L_{20}(|\Delta z|)$ 를 씁니다. 유한 가족에서 $L_{20}(D)$ 는 “하위 1/5 크기의 모든 부분집합 중 평균 응답의 최솟값”과 정확히 일치합니다(Appendix B). 즉 가장 약한 응답들의 크기를 재는 최악 부분집합 통계입니다.
🗺️ 3. 계층 전체 (Table 1)
| 대상 | 측정하는 것 | 역할 |
|---|---|---|
| $\operatorname{Stab}(G,F)\cap E={e}$ | 전역 과제 관련 불변성의 부재 | 대수적 기준 조건 |
| $D_i$ | 쌍별 상대 코드 변위 | 기본 표본 응답 |
| $S_0$ | 정확한 표본 영응답 집합 | 표본 정확 응답 경계 |
| $S_\gamma$ | 저응답 마진 집합 | 운영적 응답 임계 |
| $C_\gamma$ | 고정 마진 위의 커버리지 | 임계 위의 질량 |
| $V_{\mathrm{Gini}}$ | 응답 프로파일 불균형 | SAE 학습 목적 |
| $L_{20}(D)$ | 하위 꼬리 상대 응답 | 약한 응답 들어올리기 |
| $L_{20}(|\Delta z|)$ | 하위 꼬리 절대 코드 변위 | 스케일 민감 보조 |
| 보류 프로브 | 판별 가능성 증거 | 다운스트림 전이 확인 |
| 영가설 보정 AUROC | 교란 통제 대비 분리 | 보정된 표현 확인 |
💡 Key Takeaway 계층의 위쪽은 “정의”, 아래쪽은 “검증”입니다. 학습이 직접 만지는 것은 가운데의 $V_{\mathrm{Gini}}$ 하나뿐이고, 나머지 양들은 그 최적화가 실제로 약한 방향을 들어올렸는지 확인하는 독립 증인으로 기능합니다.
응답 프로파일의 Gini 불균형 $V_{\mathrm{Gini}}$
$V_{\mathrm{Gini}}$ 는 응답 프로파일 $(D_1,\ldots,D_K)$ 의 Gini 계수입니다. 마진 집합과 하위 꼬리가 약한 응답의 “크기”를 재는 반면, 정규화기는 그와 상보적인 성질인 가족 내 응답의 불평등(inequality) 에 작용합니다.
🧮 1. 쌍별 형태와 정렬 형태
평균 $\bar D=K^{-1}\sum_i D_i$ 에 대해, 불균형은 모든 쌍의 응답 차이 절댓값 평균을 평균의 두 배로 정규화한 것입니다.
\[V_{\mathrm{Gini}}(D)=\frac{1}{2K^2\bar D}\sum_{i=1}^{K}\sum_{j=1}^{K}\lvert D_i-D_j\rvert \tag{7}\]분자는 가족 안 모든 변환 쌍의 응답 격차를 합하므로, 소수의 방향이 응답 대부분을 흡수하고 나머지가 약할 때 커지고 모든 방향이 똑같이 응답하면 0입니다. $\bar D$ 로 나누어 응답 스케일을 제거했으므로 프로파일의 모양만 남습니다.
정렬된 응답 $D_{(1)}\le\cdots\le D_{(K)}$ 로 쓰면 계산이 싼 동치 형태가 됩니다.
\[V_{\mathrm{Gini}}(D)=\frac{2\sum_{i=1}^{K} i\,D_{(i)}}{K\sum_{i=1}^{K} D_{(i)}}-\frac{K+1}{K} \tag{8}\]정렬 형태는 $K^2$ 번의 쌍별 차이 대신 정렬 한 번으로 끝나므로 학습에 쓰입니다. 두 항은 설계 선택이 아니라 쌍별 분자에서 각 응답이 몇 번 등장하는지 세면 그대로 나옵니다. 정렬 후 $D_{(i)}$ 는 아래 $i-1$ 개보다 크고 위 $K-i$ 개보다 작으므로 부호 계수는 $2i-(K+1)$ 이고, 식 (7)의 이중합이 비순서 쌍을 두 번 세기 때문에
\[\sum_{i}\sum_{j}\lvert D_i-D_j\rvert=4\sum_{i} i\,D_{(i)}-2(K+1)\sum_{i} D_{(i)}\]첫 항은 순위 가중 평균(큰 응답이 높은 순위에 있을수록 커짐), 둘째 항 $\tfrac{K+1}{K}$ 는 완전 균등 프로파일에서 첫 항이 갖는 값이므로, 빼 주면 균등에서 0이 되고 집중될수록 1을 향해 커집니다.
⚖️ 2. 해석을 고정하는 두 성질
| 성질 | 내용 | 함의 |
|---|---|---|
| 집중도 측정 | 모든 응답이 같을 때만 0, 단일 변환에 응답이 몰릴 때 최대 | 크기(magnitude)가 아니라 모양을 잰다 |
| 스케일 불변성 | $V_{\mathrm{Gini}}(cD)=V_{\mathrm{Gini}}(D)$ for all $c>0$ (식 9) | 모든 응답이 균일하게 작아도 $V$ 는 낮을 수 있다 |
둘째 성질 때문에 논문은 낮은 $V_{\mathrm{Gini}}$ 만으로는 검출 가능성의 증거로 읽지 않는다고 반복해서 명시합니다. 스케일 불변 통계가 학습 목표인 이유는 그것이 미분 가능한 목적함수가 모양을 잡을 수 있는 양이기 때문이고, 식 (9)가 버린 크기 정보는 $L_{20}(D)$ 와 $L_{20}(|\Delta z|)$ 가 따로 들고 갑니다. 그래서 모든 결과는 이 둘을 나란히 보고합니다.
🔧 3. 미분 가능성 (Appendix A)
응답의 엄격한 순서가 고정된 영역에서 $V_{\mathrm{Gini}}$ 는 정렬되지 않은 응답들의 매끄러운 선형분수 함수이고, 순위 $\pi(j)$ 에 대해
\[\frac{\partial V_{\mathrm{Gini}}}{\partial D_j}=\frac{2\,\pi(j)}{K\cdot S}-\frac{2\sum_{i} i\,D_{(i)}}{K\cdot S^2},\qquad S=\sum_i D_i \tag{11}\]구현은 torch.sort 의 역전파로 순서 일관 분기를 하나 택하고, 분모에 $S+10^{-8}$ 을 쓰며 결과를 $[0,1]$ 로 클램프합니다. 영 프로파일에서는 관례로 $V=0$ 을 부여하는데, 스케일 불변이므로 이는 연속 확장이 아닙니다. 고정 $K$ 에서 해석적 값의 범위는 $[0,(K-1)/K]$ 입니다.
💡 Key Takeaway $V_{\mathrm{Gini}}$ 는 “가장 약한 방향이 평균에 비해 얼마나 뒤처졌는가”를 미분 가능하게 적은 양입니다. 크기와 모양을 분리했기 때문에 학습 신호로 쓸 수 있지만, 같은 이유로 혼자서는 안전 인증서가 될 수 없습니다.
$V$-정규화 SAE 학습
$V$-정규화 SAE 는 표준 $L_1$ SAE 손실에 표본화된 섭동 가족에 대한 평균 Gini 불균형 항을 더한 것입니다.
🧮 1. 손실 (Eq. 10)
\[\mathcal{L}=\|h-\hat h\|^2+\lambda_1\|z\|_1+\lambda_2\,\bar V_{\mathrm{Gini}}(z,E) \tag{10}\]$\bar V_{\mathrm{Gini}}$ 는 표본화된 섭동 가족들에 대한 평균입니다. 바뀌는 것은 SAE 특성 기저뿐이고, 기저 언어 모델의 가중치는 고정됩니다.
⚙️ 2. 학습 프로토콜
| 항목 | 설정 |
|---|---|
| 공통 | $\lambda_1=10^{-3}$, 학습률 $3\times10^{-4}$, 배치 64, 5,000 스텝, Adam |
| $V$-정규화 | $\lambda_2=0.1$, 스텝마다 3개 가족 × 8쌍 표본 |
| 16-가족 joint | 모든 16 가족을 매 스텝 $V$ 손실에 포함, $\lambda_2=0.2$, 7,500 스텝 |
| 섭동 은닉 상태 | 사전 캐싱(쌍당 고정 LM 1회 순전파) → 추가 비용 무시 가능, 스텝 간 확률적 변동 없음 (Appendix U) |
| 하드웨어 | 단일 Apple M-series GPU |
📊 3. 다섯 변형
| 변형 | 벌점 대상 |
|---|---|
| Standard | $L_1$ 희소성 |
| JumpReLU | 학습 임계값 + $L_0$ 대리 |
| MDL | 기술 길이 |
| V-reg | 원시 응답 $D$ 의 $V_{\mathrm{Gini}}$ |
| V-regn | 입력 정규화 이득 $g$ 의 $V_{\mathrm{Gini}}$ (Appendix N) |
V-regn의 입력 정규화 이득은 특성 공간 응답을 은닉 상태 응답으로 나눈 것입니다.
\[g_i=\frac{\|z_i^{\mathrm{pert}}-z_i^{\mathrm{orig}}\|/\|z_i^{\mathrm{orig}}\|}{\|h_i^{\mathrm{pert}}-h_i^{\mathrm{orig}}\|/\|h_i^{\mathrm{orig}}\|} \tag{15}\]오타는 글자 하나, 의미 치환은 임베딩 거리가 들쭉날쭉한 내용어 하나를 바꾸므로 가족마다 복잡도가 다릅니다. $g_i$ 의 Gini는 SAE가 입력 변화 크기 대비 비슷한 증폭률을 적용하는지를 재며, V-regn은 세 모델 여섯 가족 모두에서 $V_{\mathrm{gain}}$ 이 0.000으로 반올림됩니다. 다만 V-reg와 V-regn은 서로 다른 목표를 최소화하므로 서로의 지표를 최소화하지는 않으며, 섭동 인지의 Pareto 면 위에서 상보적인 점을 차지합니다.
💡 Key Takeaway 정규화 항 하나를 더했을 뿐이고 기저 모델과 배포 스택은 그대로입니다. 임상용 LM을 만드는 팀이라면 용량 변화, 금기 부정, 단위 치환 같은 안전 관련 가족을 지정하고 그 가족에 $V$-정규화를 적용하는 방식으로 쓸 수 있습니다.
실험 설정: 모델, 추출 규칙, 섭동 가족
🧪 1. 모델과 SAE
| 모델 | 파라미터 | 은닉 차원 | 레이어 | SAE 폭 |
|---|---|---|---|---|
| GPT-2 small | 124M | 768 | 12 | 4,096 |
| Gemma 2 2B | 2.6B | 2,304 | 13 | 4,096 |
| Qwen 2.5 3B | 3B | 2,048 | 18 | 4,096 |
세 모델은 규모(124M~3B), 학습 데이터(영어 전용~다국어), 아키텍처 계열(OpenAI, Google, Alibaba)이 모두 다릅니다.
📍 2. 진짜 마지막 토큰(true-last-token) 추출
디코더 전용 모델들은 패딩 관례가 다르므로, 어텐션 마스크로 계산한 마지막 비패딩 토큰 위치에서 은닉 상태를 추출합니다. 이렇게 해야 세 모델 모두에서 섭동 응답이 같은 시퀀스 위치에서 비교됩니다. 재구성 품질은 OpenWebText(OWT) 은닉 상태 표본에 대한 정규화 MSE(NMSE)로 측정합니다.
🗂️ 3. 섭동 가족
| 그룹 | 가족 | 쌍 수 | 예시 |
|---|---|---|---|
| 원래 6가족 | 의미 치환 | 50 | “The cat sat…” → “The dog sat…” |
| 오타(인접 문자 전치) | 50 | “hospital” → “hopsital” | |
| 부정 | 50 | “The drug is safe” → “…is not safe” | |
| 동의어 | 50 | “very big” → “very large” | |
| 숫자 교체 | 50 | “received 3 doses” → “8 doses” | |
| 어순(인접 단어 교환) | 50 | “The black cat” → “The cat black” | |
| 의료 10가족 (자동 생성) | 해부학적 방향, 신체 부위 좌우, 인과 역전, 상태 부정, 날짜/시간, 약물명, 빈도, 성별, 중증도, 측정 단위 | 각 30 | “anterior mediastinum” → “posterior…”, “mg” → “g” |
합계 16가족 600쌍입니다. 의료 10가족은 지표나 학습 프로토콜 설계에 쓰이지 않았고, 일반화 연구(§5.11)에서만 평가됩니다. 별도로 30쌍씩 고정된 100가족 풀(이 중 84가족은 학습에 전혀 쓰이지 않음)이 보류 가족 감사를 지원합니다.
💡 Key Takeaway 섭동 가족은 숨은 가정이 아니라 명시적 입력입니다. 결론은 실무자가 지정한 가족에 의존하며, 논문은 그 의존성의 양면(학습 측·평가 측)을 각각 통제 실험으로 다룹니다.
주요 결과: 하위 꼬리 상승과 불균형 감소
📈 1. 고정 다중 시드 평가 (Table 2, 3시드 평균 ± 표준편차)
| 모델 | $\Delta L_{20}(D)$ | $\Delta L_{20}(|\Delta z|)$ | $\Delta V_{\mathrm{Gini}}$ | 양성 가족 | $\Delta$ OWT NMSE |
|---|---|---|---|---|---|
| GPT-2 | $+0.0562\pm0.0010$ | $+5.3584\pm0.1202$ | $-0.2919\pm0.0008$ | 1.0 | $+0.0000$ |
| Gemma 2 | $+0.1301\pm0.0042$ | $+10.3454\pm1.1553$ | $-0.2322\pm0.0001$ | 1.0 | $-0.0004$ |
| Qwen 2.5 | $+0.1316\pm0.0006$ | $+2.4650\pm0.1129$ | $-0.2432\pm0.0001$ | 1.0 | $+0.0006$ |
세 모델 모두 하위 꼬리 상대 응답과 절대 코드 변위가 오르면서 불균형은 줄고, OWT 재구성은 사실상 변하지 않습니다. 분포 수준에서 보면(Fig. 1) 표준 SAE의 하위 20% 응답 영역에 남는 질량이 GPT-2 0.0%, Gemma 2 5.5%, Qwen 2.5 0.0%로 떨어집니다. 16가족 전체에서도 $\Delta L_{20}(D)$ 는 16/16 가족에서 양수입니다(Table 3).
🧱 2. 기존 목적함수는 프로파일을 바꾸지 않는다 (Table 6)
| 모델 | 목적함수 | $\Delta L_{20}(D)$ | $\Delta V_{\mathrm{Gini}}$ | 양성 가족 |
|---|---|---|---|---|
| GPT-2 | JumpReLU | $-0.0001$ | $-0.0009$ | 0.354 |
| MDL | $-0.0003$ | $+0.0001$ | 0.063 | |
| V-reg | $+0.0562$ | $-0.2919$ | 1.000 | |
| Gemma 2 | JumpReLU | $-0.0005$ | $-0.0001$ | 0.042 |
| MDL | $-0.0006$ | $-0.0001$ | 0.042 | |
| V-reg | $+0.1301$ | $-0.2322$ | 1.000 | |
| Qwen 2.5 | JumpReLU | $-0.0005$ | $+0.0001$ | 0.063 |
| MDL | $-0.0007$ | $+0.0003$ | 0.042 | |
| V-reg | $+0.1316$ | $-0.2432$ | 1.000 |
JumpReLU와 MDL은 $L_{20}(D)$ 와 $V_{\mathrm{Gini}}$ 를 0.001 미만으로만 움직이며 Standard를 그대로 따라갑니다. 단일 실행 비교에서도 세 비-$V$ 목적함수 간 차이는 모든 가족·모델에서 0.02 미만입니다. 재구성·희소성·기술 길이 압력은 구성상 섭동 응답 프로파일을 조건화하지 않습니다.
🔼 3. 억제가 아니라 감도 증가 (§5.9, Appendix M)
낮은 $V$ 가 “모든 쌍을 똑같이 안 보이게” 만들어 얻어진 것은 아닌지가 자연스러운 우려입니다. 가족별 통제는 반대를 보여 줍니다.
| 모델 | 평균 감도 변화 |
|---|---|
| GPT-2 | 부정 +58%, 어순 +34% |
| Gemma 2 | 오타 +219%(3배 이상), 숫자 교체 +154% |
| Qwen 2.5 | 모든 가족에서 평균 감도 증가 |
Gemma 2의 숫자 교체 가족에서는 평균 감도가 거의 그대로(0.073 → 0.075)인데 하위 꼬리가 약 두 배(0.035 → 0.074)가 됩니다. 불균형 감소가 약한 방향을 들어올려서 생긴다는 직접 증거입니다.
🌐 4. 16가족 일반화와 단일 방향성
- 16가족 joint 실행(Table 8): 평균 $V$ 가 GPT-2 0.314 → 0.002($-99.3\%$, 16/16 가족 <0.05, 15/16 <0.005), Qwen 2.5 0.239 → 0.000($-100\%$). 설계에 쓰이지 않은 의료 10가족이 원래 6가족 이상으로 줄어듭니다(GPT-2: 의료 0.322 → 0.000 vs 원래 0.302 → 0.006). severity_change(0.428 → 0.000), drug_name_swap(0.266 → 0.000), unit_of_measure(0.296 → 0.000) 같은 임상 핵심 가족이 포함됩니다.
- 단일 가족 SAE vs joint SAE(§5.8, Table 7): 한 가족에만 정규화하면 그 가족만 개선되고 다른 가족은 거의 그대로이지만, 여섯 가족을 동시에 정규화한 joint SAE는 여섯 가족 모두에서 저불균형 영역에 도달합니다(평균 $V$: GPT-2 0.028, Gemma 2 0.0003, Qwen 0.001). 동시에 $V\approx0$ 을 달성하는 데 필요한 병렬 특성 기저의 최소 개수는 $m^*=1$, 즉 여섯 가족은 대수적으로 충돌하지 않고 잘 방향 잡힌 기저 하나로 충분합니다.
- 숫자 가족의 규모 의존성(§5.7): 숫자 교체 불균형이 GPT-2 0.264 → 0.034, Gemma 2 0.287 → 0.004, Qwen 2.5 → 0.005. 규모는 SAE에 어떤 정보가 주어지는지에, SAE 목적함수는 그 정보가 어떻게 배치되는지에 영향을 준다는 해석과 일치합니다.
💡 Key Takeaway 같은 폭, 같은 데이터, 다른 목적함수. 이 조건에서 프로파일을 바꾼 것은 $V$-정규화뿐이고, 그 변화는 세 아키텍처·16가족에 걸쳐 약한 방향의 상승으로 일관되게 나타납니다.
통제와 외재적 검증: 템플릿 기하, 보류 프로브, 임상 감사
외재적 엔드포인트(extrinsic endpoints) 는 목적함수가 한 번도 보지 않은 양입니다. $V_{\mathrm{Gini}}$ 는 스케일 불변이므로 그것만 줄었다고 섭동이 더 접근 가능해졌다고 말할 수 없고, 논문은 이 점을 여러 독립 검사로 메웁니다.
🧬 1. 가족 기하 통제 (§5.3, Appendix R)
600쌍에 대해 정확 골격(exact-skeleton) 템플릿 클러스터를 만들었더니 424개 클러스터가 나왔고 250/600쌍(41.7%)이 반복 템플릿에 속합니다. 고정 가족 템플릿 클러스터 부트스트랩과 가족 재표본 구간을 모두 계산했습니다.
| 모델 | $\Delta L_{20}(D)$ 고정 가족 구간 | 가족 재표본 구간 |
|---|---|---|
| Gemma 2 | $+0.1332\,[+0.1256,+0.1361]$ | $[+0.0891,+0.1811]$ |
| GPT-2 | $+0.0558\,[+0.0527,+0.0567]$ | $[+0.0417,+0.0699]$ |
| Qwen 2.5 | $+0.1310\,[+0.1248,+0.1328]$ | $[+0.0868,+0.1792]$ |
424/424 템플릿 클러스터 각각을 빼고 다시 계산해도(leave-one-template-out), 가족 하나씩을 빼도(leave-one-family-out) 효과는 양수로 유지됩니다. 템플릿 중복이나 단일 지배 가족으로는 설명되지 않습니다.
🎯 2. 영가설 보정 분리 검정 (Table 5)
0 거리가 아니라 의미 보존 교란 통제(meaning-preserving nuisance controls) 를 영가설로 두고, 절대 코드 거리의 가족 매크로 AUROC 차이를 봅니다.
| 모델 | $\Delta$ AUROC | 고정 가족 95% CI | 가족 재표본 95% CI |
|---|---|---|---|
| Gemma 2 | $+0.037$ | $[+0.013,+0.063]$ | $[-0.014,+0.087]$ |
| Qwen 2.5 | $+0.048$ | $[+0.024,+0.077]$ | $[+0.007,+0.091]$ |
| GPT-2 | $-0.010$ | $[-0.049,+0.024]$ | $[-0.078,+0.064]$ |
Gemma 2와 Qwen 2.5는 고정 가족 구간에서 양수, GPT-2는 방향이 불확실합니다.
🔍 3. 보류 프로브와 접근성 패턴
보류 부정(negation) 프로브에서 Qwen 2.5의 은닉 상태에는 구별이 완전히 존재(AUROC 1.00)하지만 표준 SAE 코드는 일부를 잃고(0.85), $V$-정규화 코드가 이를 회복합니다(0.91). 이것이 약한 꼬리 서명이 예측하는 “정보는 있는데 접근이 어렵다”는 패턴이며, 표준 코드에 개선 여지(headroom)가 있는 곳에서 나타납니다. 하위 꼬리 확률 마진 점추정도 세 모델 모두 오르지만(GPT-2 0.0052 → 0.3627 등) 부트스트랩 구간이 0을 포함해 “시사적” 수준입니다.
두 통제 설계가 메커니즘을 분리합니다.
- 전용 짝 실험(Appendix D): 동일 초기화·동일 재구성 미니배치 스트림에서 $V$ 항만 다르게 학습. 학습 가족의 불균형이 GPT-2 0.233 → 0.0009, Qwen 0.113 → 0.0008로 거의 0이 되면서 OWT 설명 분산은 그대로이거나 상승(Qwen 0.995 → 0.996).
- 비포화 합성 실험(Appendix E): 구성상 천장이 아닌 영역에서 보류 프로브 AUROC $+0.016$, 하위 꼬리 변위 $+0.51$. 표준 코드가 천장에 가까워질수록 프로브 이득이 줄어드는 헤드룸 패턴이 실제 모델과 일치.
🏥 4. 실제 임상 제로샷 감사 (Appendix C, Table 11)
고정된 16가족 일반 체크포인트를 OpenI 흉부 방사선 보고서의 최소 쌍에 제로샷으로 적용했습니다. “There is a small pleural effusion” vs “There is no pleural effusion”, “left lower lobe” vs “right lower lobe” 같은 쌍입니다.
| 모델 | 가족 | $L_{20}$ Standard | $L_{20}$ V-reg | $\Delta L_{20}$ [95% CI] |
|---|---|---|---|---|
| GPT-2 | 부정 | 0.0157 | 0.0200 | $+0.0042\,[+0.0030,+0.0053]$ |
| GPT-2 | 편측성 | 0.0024 | 0.0034 | $+0.0009\,[+0.0008,+0.0011]$ |
| Qwen 2.5 | 부정 | 0.0298 | 0.0397 | $+0.0099\,[+0.0081,+0.0123]$ |
| Qwen 2.5 | 중증도 | 0.0117 | 0.0153 | $+0.0035\,[+0.0026,+0.0046]$ |
8개 모델×가족 셀 모두에서 하위 꼬리가 오르고 보고서 클러스터 구간이 0을 제외합니다. 다만 상승 폭과 학습 통계의 순위는 완벽히 정렬되지 않습니다. Qwen의 최대 상승(부정, $+0.0099$)은 $V_{\mathrm{Gini}}$ 변화가 $-0.003$ 에 불과하고, GPT-2의 최대 불균형 감소(해부학적 방향, $-0.056$)는 최소 상승($+0.0008$)과 함께 옵니다. 스케일 불변 정규화기가 모양을 직접 겨냥할 뿐 평균·절대 응답 변화는 보상하지 않기 때문입니다. 72종의 미사용 가족(그중 18종은 학습과 기계적 중복이 전혀 없음)에서도 같은 자릿수의 상승이 관찰됩니다(Appendix F).
💡 Key Takeaway 표현 수준의 개선은 목적함수 밖의 여러 엔드포인트에서 재현됩니다. 그러나 다운스트림 확률 마진으로의 전이는 과제·모델별이며, 표준 코드에 헤드룸이 있을 때만 나타납니다.
다중 인자 SAE와 가족 호환성 $m^*$
다중 인자(multi-factor) SAE 는 오류 검출 코드 이론의 다중 체크 디지트 구성 $D_n^m$ 을 본뜬 아키텍처입니다. 알파벳 크기 $n$ 위의 $m$ 개 독립 검사 함수가 단일 함수보다 넓은 오류 부류를 검출하듯, $m$ 개의 병렬 인코더가 서로 다른 섭동 가족을 나눠 맡을 수 있는지를 묻습니다.
🏗️ 1. 구조 (Appendix K)
| 구성 요소 | 내용 |
|---|---|
| 인코더 | $m$ 개 병렬, 각각 $h\in\mathbb{R}^{d_{\mathrm{in}}}\to z^{(k)}\in\mathbb{R}^{d_{\mathrm{factor}}}$ |
| 디코더 | 공유, 연결 코드 $z=[z^{(1)};\ldots;z^{(m)}]\to\hat h$ |
| 용량 | $d_{\mathrm{factor}}\times m=d_{\mathrm{sae}}$ 로 고정 → 인자화 효과만 분리 |
| 가족 배정 | 라운드 로빈 ($i \bmod m$), 인자 $k$ 의 $V$ 손실은 $z^{(k)}$ 에만 |
| 평가 | 연결 코드 전체의 $V_{\mathrm{Gini}}$ |
| 보조 벌점 | $\lambda_{\mathrm{ortho}}|W^{(j)\top}W^{(k)}|_F^2$ 로 인자들이 상보 부분공간을 펼치도록 유도 |
$m=1,2,3,6$ 에서 검사했고, 여섯 가족 분석에서는 단일 인코더로 충분($m^*=1$)함을 확인했습니다.
🧩 2. $m^*$ 의 의미
Balogh(2026)의 안정자 단조성 정리에 따르면 대수적 설정에서 인자를 추가하면 안정자는 줄어들기만 합니다. 따라서 $m^$ 는 선택한 섭동 가족 집합의 호환성을 정량화합니다. 새 가족이 추가되었을 때 같은 프로토콜로 여전히 $m^=1$ 인지, $m^*>1$ 이 필요한지를 판정할 수 있고, 후자라면 다중 인자 아키텍처가 일정한 총 용량에서 $m$ 개 병렬 인코더를 제공합니다.
💡 Key Takeaway “하나의 기저로 모든 안전 관련 가족을 동시에 볼 수 있는가”를 수로 답하는 장치입니다. 이번 논문의 여섯 가족은 $m^=1$ 이었지만, 더 넓은 섭동 분류체계에서 $m^$ 를 결정하는 것은 저자가 명시한 다음 과제입니다.
한계와 부정 결과: 헤드룸과 천장 효과
논문은 “어디서 도움이 되는가”만큼 “어디서 안 되는가”를 분명히 적습니다. 공통 설명은 하나입니다. 표준 코드가 이미 포화(saturated)되었거나 구별이 사소하게 디코딩 가능한 표면 토큰에 실려 있으면 닫을 접근성 격차가 없다.
⛔ 1. 보고된 부정·경계 사례
| 사례 | 결과 | 해석 |
|---|---|---|
| 숫자 용량 값 프로브 (Appendix G) | $\Delta$AUROC $-0.04\sim-0.16$ (세 모델) | 숫자는 표면에서 선형 디코딩 가능 → 표준 코드가 천장. 표현 수준 하위 꼬리는 똑같이 올라가지만 readout은 이미 포화 |
| OpenI 실제 부정, 보고서 그룹 교차검증 | $\Delta$AUROC 구간 $[-0.002,+0.008]$ (0 포함) | 표준 코드가 천장에 근소하게 못 미칠 뿐 → 영 결과 |
| 전용 Qwen 부정 단일 가족 실행 | 보류 선형 분리도 AUROC 1.00 → 0.81 | 이미 천장인 가족에 집중 목적을 걸면 오히려 악화 가능 |
| OpenI 편측성 프로브 (Gemma 2) | 마진 델타 $-0.0747$, CI $[-0.163,-0.012]$ | 포화된 외부 과제에서의 다운스트림 비용. 인증서 게이트 수리(Appendix J)도 측정 가능한 이득 없음 |
| Qwen 섭동 쌍 도메인 재구성 | 가족별 NMSE 약 0.006–0.008 → 0.040–0.044 | 일반 OWT 재구성은 그대로지만 섭동 쌍 도메인에서는 재구성 오차 상승 |
| 사전 점검 (Appendix H, I) | Qwen 숫자 가족에 비포화 영역 없음; 중증도 가족은 세 모델 모두 이미 포화 | 집중 학습 전에 헤드룸을 먼저 확인해야 함 |
🧭 2. 방법의 전제 조건
$V$-정규화는 특성 기저를 재방향화할 뿐, 은닉 상태가 인코딩하지 않은 정보를 만들어내지 못합니다. 선택한 레이어에 관련 구별이 표현되어 있지 않으면 어떤 SAE 목적함수 변경도 그것을 복구할 수 없고, 한계는 정규화기가 아니라 은닉 상태에 있습니다.
📋 3. 저자가 명시한 범위 제한
- $V_{\mathrm{Gini}}$ 는 가족 내 응답 균일성을 재지 절대 검출 가능성을 재지 않습니다. 안전 관련 가족 전체에 균일하게 둔감한 시스템도 $V$ 는 낮을 수 있으므로, 인증 용도라면 절대 감도 임계값이나 다운스트림 검증이 추가로 필요합니다.
- 섭동 가족은 합성·영어 기반입니다. 다른 언어나 임상 하위 도메인에서는 그 환경에 맞는 가족별 섭동 집합을 새로 만들어야 합니다.
- 16가족 joint 실행은 GPT-2와 Qwen 2.5에서만 수행되었고, Gemma 2는 고정 다중 시드 프로토콜로만 평가되었습니다.
- 이득은 헤드룸이 입증된 엔드포인트에 특정적이며, $V_{\mathrm{Gini}}$ 는 다운스트림 분리 가능성의 독립 인증서가 아닙니다.
저자는 향후 SAE 학습을 재구성·희소성·섭동 인지·압축성에 대한 다목적 문제로 봐야 하며, 블라인드 스팟 분석을 계산 가능한 계층으로 만든 것이 자동화의 전제 조건이라고 주장합니다. 손으로 지정한 섭동 가족 없이 약한 방향을 스스로 발견·감사하는 방법, 그리고 $V(\lambda_2,d_{\mathrm{sae}},\mathrm{scale})$ 표면의 지도화와 더 넓은 섭동 분류체계에 대한 $m^*$ 결정이 다음 단계로 제시됩니다.
💡 Key Takeaway 이 논문의 결론은 “지표 하나가 다운스트림 안전을 보장한다”가 아니라, 응답 프로파일 조건화가 섭동 인지로 가는 실행 가능한 경로라는 것입니다. 부정 결과들은 그 경로가 유효한 조건, 즉 “표준 코드에 아직 닫을 격차가 남아 있을 때”를 정확히 경계 짓습니다.