0. Summary

  • 기본 정보 : ArXiv,2026.11.16, Pretty Linear Liars: Unregularized Probes Favor Intervention-Unfaithful Features
  • 연구 배경 : 선형 프로빙(linear probing)은 기계론적 해석가능성의 표준 도구이지만, 어떤 피처가 활성에서 해독 가능(decodable) 하다는 사실이 네트워크가 그 피처를 실제로 사용한다는 뜻은 아니다. 네트워크가 피처를 쓰는지의 올바른 기준은 해독 정확도가 아니라 개입 충실성(intervention faithfulness) 이다. 한편 프로브 정규화(regularization)는 피처 발견에 쓰여 왔지만(Gurnee & Tegmark 2024 의 ridge, Heinzerling & Inui 2024 의 PLS), 정규화가 피처의 인과성에 어떤 영향을 주는지는 설명된 적이 없었다. 신경영상 분야의 Haufe et al. (2014) 는 디코더가 신호 없는 채널에 큰 가중치를 줄 수 있음을 보였지만 그 설정에서는 가중치를 개입으로 검증할 수 없다.
  • 제안 방법 : 같은 활성·같은 타깃에 대해 세 가지 방식으로 피처 방향을 뽑아 비교한다. OLS 프로브(비정규화 최소제곱)와 ridge 프로브(L2 페널티 $\lambda$ 만 다름)는 해독 가능성으로 방향을 맞추고, DAS(Distributed Alignment Search) 는 개입 결과에 대한 경사 하강으로 방향을 맞추는 인과적 기준점이다. 이론적으로는 주성분(PC) 기저에서 ridge 목적함수가 방향별로 분리됨을 이용해, 방향 $v$ 의 가중치가 $w=\mathrm{cov}_{vf}/(\sigma_v^2+\lambda/n)$ 임을 보이고, 타깃과 무관한 저분산 방향이 표본 잡음만으로 얻는 공분산이 OLS 에서 $\sigma_f/(\sigma_v\sqrt{n})$ 규모로 폭발함을 유도한다. 실험은 정답 출력을 정확히 계산할 수 있는 Mess3 HMM 토이 트랜스포머(4층, 폭 64, 길이 1–8 전수 열거)와 Llama-2-7B 출생 연도(8층 잔차 스트림, 4096차원, 8000개 프롬프트)에서 수행하고, 개입 손실이 가장 낮은 $\lambda$ 를 “개입 최적 ridge 프로브”로 고른다.
  • 발견 사실 : 두 테스트베드 모두에서 OLS 프로브는 표본 내 해독 손실이 가장 낮지만(HMM $9.46\times10^{-5}$, Llama $6.71\times10^{-2}$) 개입에는 거의 반응하지 않으며(Llama 개입 손실 13.7 은 개입을 아예 안 했을 때와 같음), 방향의 분산이 대안보다 수 자릿수 작고(HMM $1.16\times10^{-8}$ vs ridge $5.10$), DAS 와 거의 직교한다(89.8°, 84.7°). 개입 최적 ridge 프로브는 개입 손실을 DAS 수준으로 낮추고(HMM $1.95\times10^{-3}$ vs DAS $1.88\times10^{-3}$, Llama 7.07 vs 6.42) DAS 와 26–29° 안에 든다. 개입 손실은 $\lambda$ 에 대해 내부 최솟값을 갖고, HMM 에서는 분산 $10^{-18}$ 의 단일 방향이 OLS 질량의 0.915 를 차지한다. 가장 무거운 OLS 성분 100개의 span 에서 DAS 를 돌려도 인과적으로 작동하는 방향이 없다. HMM 의 80/20 held-out 분할에서도 OLS 는 $4.3\times10^{-4}$ 로 여전히 잘 일반화하면서 여전히 비활성이므로, held-out 해독 가능성은 이 실패를 잡지 못한다.
  • 핵심 기여 :
    1. 이론적 설명 : 타깃과 무관한 저분산 주성분이 표본 잡음으로 얻는 공분산이 OLS 에서 $1/\sigma_v$ 로 증폭되며, ridge 는 분모가 $\lambda/n$ 아래로 떨어지지 않게 하여 이를 억제함을 보였다. 큰 $\lambda$ 가 단순히 분산을 최대화하는 것이 아니라 공분산 방향으로 수렴함도 밝혔다(Remark 3.4).
    2. 해독 가능성과 개입 충실성의 분리를 실험으로 입증 : 전수 데이터(HMM)에서조차, 그리고 held-out 에서도 잘 해독되는 OLS 프로브가 인과적으로 비활성임을 보여, held-out 해독 가능성이 인과 검증을 대체할 수 없음을 보였다.
    3. 정규화의 기계론적 정당화와 실천 권고 : 개입 효과로 고른 ridge 프로브가 고분산 방향을 차지하고 DAS 방향과 수렴함을 보여, 회귀 프로빙에서 $\lambda$ 를 개입 충실성을 최대화하는 스윕으로 고르라고 권고한다.

Abstract 쉬운 설명(Gemini)

관련 개념

선형 프로빙과 두 가지 기준: 해독 가능성 vs 개입 충실성

선형 프로브(linear probe) 는 네트워크 내부 활성에서 관심 변수로 가는 선형 사상입니다. 해독 정확도가 높으면 “네트워크가 그 변수를 표현한다”는 증거로 받아들여지곤 하지만, 선행 연구(Geiger et al. 2021; Elazar et al. 2021; Huang & Chang 2025)는 변수가 해독 가능해도 프로브의 방향이 네트워크에 의해 실제로 쓰이지 않을 수 있음을 보였습니다. 따라서 네트워크가 피처를 쓰는지에 대한 적절한 검정은 해독 가능성이 아니라 인과 개입(causal intervention) 입니다. 이 논문의 질문은 그 다음 단계입니다. 프로브를 맞추는 절차 자체, 특히 정규화가 개입 검정의 결과를 바꾸는가?


📐 1. 회귀 프로브의 정의 (Definition 2.1)

네트워크의 고정된 지점에서 얻은 활성 $a\in\mathbb{R}^{d}$ 와 연속 타깃 $f\in\mathbb{R}^{k}$ 가 주어질 때, 회귀 프로브는 $\hat{f}=W^{\top}a+b$ 를 내는 선형 사상입니다. $n$ 개의 활성–타깃 쌍 $(A,F)$ 에 대해 OLS 프로브는

$$ \mathcal{L}{\mathrm{OLS} }=|AW+\mathbf{1}b^{\top}-F|{F}^{2} $$

를 최소화하고, ridge 프로브는 $W$ 에만(편향 $b$ 에는 아님) $L_2$ 페널티를 더합니다.

$$ \mathcal{L}{\mathrm{ridge} }=\mathcal{L}{\mathrm{OLS} }+\lambda|W|_{F}^{2},\qquad \lambda>0 $$

최적 편향은 항상 $b=\bar{f}-W^{\top}\bar{a}$ 이므로, 편향을 두고 맞추는 것은 $A$ 와 $F$ 를 평균 중심화한 뒤 $W$ 만 맞추는 것과 같습니다. 논문은 이후 활성과 타깃이 중심화되었다고 가정합니다. 프로브의 MSE 를 프로브 손실(probe loss) 이라 부르고, 이것이 낮으면 타깃이 그 지점에서 선형 해독 가능하다고 말합니다.


🧭 2. 방향, 분산, 질량, 죽은 가중치

용어 정의
방향 $v$ 를 따른 분산 데이터셋 전체에서 $v^{\top}a$ 의 분산
프로브 방향 ($k=1$) 정규화된 가중치 벡터. 두 방향은 사잇각으로 비교
프로브 부분공간 ($k>1$) 가중치 벡터들이 펼치는 부분공간. DAS 는 부분공간만 찾고 그 안에 선호 기저가 없으므로 주각(principal angle) 으로 비교하되 더 큰 각을 보고
주성분 $i$ 위의 질량(mass) $m_i = w_i^2 / \sum_j w_j^2$, 즉 제곱 가중치의 몫
인과 작동성(causal operativity) 어떤 방향의 좌표를 소스 입력에서 베이스 입력으로 교환했을 때 출력의 평균 절대 변화
인과적 비활성(causally inert) 인과 작동성이 0 에 가까운 방향
죽은 가중치(dead weight) 인과적으로 비활성인데도 프로브가 큰 가중치를 두는 방향

HMM 테스트베드에서는 세 신념 좌표의 합이 1 이므로 프로브 가중치가 펼치는 부분공간은 평면입니다. 주각은 직선 사이의 각을 부분공간으로 일반화한 것으로, 모든 주각이 0° 이면 두 부분공간이 일치하고 90° 이면 직교합니다.


🎯 3. 개입 충실성 (Definition 2.2)

타깃 $f$ 의 어떤 값에 대해서도 올바른 네트워크 출력을 지정하는 정답 함수 $g$ 가 알려져 있다고 합시다. 프로브 방향(또는 부분공간)과 표현된 $f$ 값을 $\delta f$ 만큼 이동시키는 개입 프로토콜이 주어질 때, 개입 후 출력이 $g(f+\delta f)$ 와 일치하는 정도만큼 프로브는 개입 충실(intervention-faithful) 합니다. 정량화는 개입 손실(intervention loss) 로 합니다.

$$ \mathcal{L}_{\mathrm{int} }=\mathbb{E}\big[|\tilde{y}-g(f+\delta f)|^{2}\big] $$

여기서 $\tilde{y}$ 는 개입 후 네트워크 출력이고 기댓값은 개입 타깃과 데이터 샘플에 대한 것입니다.

💡 Key Takeaway 이 논문은 “해독 가능성”과 “개입 충실성”을 명시적으로 분리해 정의하고, 프로브 가중치가 어느 주성분 위에 얼마나 놓이는지(질량)와 그 주성분이 인과적으로 작동하는지를 따로 재는 어휘를 마련합니다. 뒤의 모든 결과는 이 두 축의 어긋남을 보여 주는 것입니다.

세 가지 방향 추출 방법: OLS, Ridge, DAS

같은 활성·같은 타깃에서 피처 방향을 뽑는 세 방법을 비교하면 맞추는 절차만이 변수로 고립됩니다.


🔍 1. 비교 대상

방법 최적화 대상 역할
OLS 프로브 해독 가능성 ($\lambda=0$) 비정규화 기준
Ridge 프로브 해독 가능성 + $\lambda|W|_F^2$ 정규화 강도만 다름. $\lambda$ 는 로그 격자 스윕
DAS (Geiger et al. 2024) 개입 결과에 대한 경사 하강 해독 가능성은 보지 않는 인과적 기준점

Ridge 프로브는 해독 가능성만으로 맞추며, 인과 데이터는 $\lambda$ 를 고르는 데만 씁니다. 개입 손실이 가장 낮은 $\lambda$ 의 프로브를 개입 최적 ridge 프로브(intervention-optimal ridge probe) 라 부릅니다. 반면 DAS 는 인과만으로 훈련됩니다.


🧪 2. DAS 의 구체적 설정

  • Llama-2-7B : 무작위 초기화된 단일 단위 방향을 학습하며, 교환 후 모델의 미분 가능한 기대 십년(expected decade)과 소스의 십년 사이 MSE 를 최소화합니다.
  • HMM : 활성 공간의 직교 회전을 학습하고, 회전된 좌표 두 개를 교환합니다. 신념 심플렉스의 자유도 2 에 맞춘 것이며, 소스 신념에 대한 Bayes 최적 다음 토큰 분포와의 MSE 를 최소화합니다.

DAS 는 해독 가능성을 최적화하지 않으므로 엄밀히는 프로브가 아니지만, Table 1 에 보고된 DAS 의 “프로브 손실”은 그 부분공간 위에 맞춘 선형 readout 의 손실입니다.

💡 Key Takeaway DAS 가 개입에 충실한 것은 훈련 목적이 그것이므로 놀랍지 않습니다. 논문이 정보라고 보는 부분은 해독 가능성만으로 맞춘 ridge 프로브가 DAS 쪽으로 수렴한다는 점입니다.

테스트베드 1: Mess3 HMM 과 신념 상태 기하

개입 충실성을 검정하려면 개입 후 정답 출력이 정확히 알려진 설정이 필요합니다. Mess3 HMM(Shai et al. 2024)은 정답 잠재 변수(신념 상태)와 임의 신념에 대한 정답 출력 둘 다 정확히 계산할 수 있어 이상적입니다.


🎲 1. 모델 정의

3-상태 은닉 마르코프 모델로, 전이 행렬 $T_{ij}=P(s_{t+1}=j\mid s_{t}=i)$ 와 방출 분포 $E_{ik}=P(x_{t}=k\mid s_{t}=i)$ 를 혼합 파라미터 $x=0.05$ 와 방출 집중도 $\alpha=0.85$ 로 매개화합니다. $P(x_{t+1}\mid x_{1:t})$ 의 Bayes 최적 예측기는 관측에 조건화된 은닉 상태의 사후분포인 신념 상태 $b_t=P(s_t\mid x_{1:t})$ 를 유지해야 하며, 이것이 다음 토큰 예측의 최소 충분통계량입니다.

$$ P(x_{t+1}\mid x_{1:t})=\sum_{s_{t},s_{t+1} } b_{t}(s_{t})\,T_{s_{t},s_{t+1} }\,E_{s_{t+1},x_{t+1} } $$

은닉 상태가 3개이므로 신념은 2-심플렉스 위에 삽니다.


🏗️ 2. 네트워크와 데이터

항목 설정
네트워크 Shai et al. (2024) 이 사전학습한 4층 트랜스포머, 폭 64
선행 결과 선형 프로브가 신념 심플렉스를 거의 완벽히 복원함을 보였으나 인과 검증은 하지 않음
데이터 길이 1–8 의 모든 시퀀스를 전수 열거, 각 접두사의 정확한 신념과 확률 계산
프로빙 지점 마지막 토큰, 최종 LayerNorm 에서의 잔차 스트림 활성
피팅 3차원 신념 타깃에 대한 가중 최소제곱. 각 시퀀스를 HMM 하의 확률로 가중

데이터가 전수 열거이므로 표본 잡음이 없고 표본량과 모집단량이 일치합니다. 이 점이 뒤의 이론에서 중요합니다. 전수 데이터에서조차 OLS 가 실패한다면 그 원인은 표본 잡음이 아닙니다.

💡 Key Takeaway Mess3 HMM 은 “정답이 무엇이어야 하는지”를 정확히 알 수 있는 드문 설정입니다. 선행 연구가 “해독 가능하다”에서 멈춘 바로 그 지점에서, 이 논문은 “그 방향으로 개입하면 출력이 정답대로 움직이는가”를 묻습니다.

테스트베드 2: Llama-2-7B 의 출생 연도

Heinzerling & Inui (2024) 의 Wikidata 데이터를 써서 Llama-2-7B 에서 인물의 출생 연도를 프로빙합니다. Gurnee & Tegmark (2024) 는 이런 수치 속성이 잔차 스트림에서 선형 해독 가능함을, Heinzerling & Inui (2024) 는 선형적으로 인과 작동함을 보였습니다. 논문이 이 설정을 고른 이유는 인과적으로 작동하는 방향이 존재한다고 알려져 있기 때문입니다. 그러면 프로브가 steering 에 실패할 때 책임은 프로브에 있지, 쓸 만한 방향의 부재에 있지 않습니다.


⚙️ 1. 설정

항목 설정
타깃 인물의 실제 출생 연도(모델이 표현한 값이 아님). 평균 0, 분산 1 로 이동·스케일
프롬프트 “{name} was born in 19” 형태의 완성
연도 범위 1900–1999 로 제한하여 readout 이 십년 자리 숫자 하나가 되게 함
출력 요약 열 개 숫자 토큰에 대해 재정규화한 다음 토큰 분포로부터 기대 십년 $\mathbb{E}[d]=\sum_{d} d\cdot P(d)\in[0,9]$
프로빙 지점 이름의 마지막 토큰, 8층 잔차 스트림 벡터(4096차원)
층 선택 개입 효과의 층 스윕(Appendix A, 200 base–source 쌍)에서 8층이 최적
데이터 $n=8000$ 프롬프트. 차원 4096 의 두 배이므로 OLS 해가 유일

생성 텍스트가 아니라 숫자 로짓에서 직접 읽는 점, 그리고 모델의 표현값이 아니라 참값에 맞추는 점이 선행 연구와 다릅니다.


📊 2. 층 스윕 (Appendix A, Figure 6)

각 층마다 자체 개입 최적 ridge 프로브를 맞추고, 출생 연도 교환의 개입 손실(MSE)과 프로브 손실(MSE)을 층별로 보고합니다. 개입은 8층에서 가장 잘 작동하며, 이것이 Llama-2-7B 실험의 지점으로 쓰였습니다. 구체적 수치는 본문에 표로 제시되지 않습니다.

💡 Key Takeaway LLM 테스트베드는 “작동하는 방향이 있다”가 선행 연구로 확립된 설정이라는 점이 핵심입니다. 따라서 OLS 가 실패하면 그것은 프로브 절차의 실패로 해석됩니다.

개입 프로토콜

두 테스트베드의 개입 방식은 다르지만, 둘 다 자연스럽게 나타나는 값의 범위 안에서 개입하도록 설계되었습니다. Makelov et al. (2024) 이 경고한 “네트워크가 결코 쓰지 않는 경로를 활성화하는 비자연적 개입”의 위험을 구조적으로 제한하기 위함입니다.


🧮 1. HMM: 프로브 매개 steering

프로브 $W$ 와 원하는 신념 이동 $\delta f$ 가 주어지면 활성을 $\Delta a=(W^{\top})^{+}\delta f$ 로 교란합니다. $(W^{\top})^{+}$ 는 의사역행렬이며, 이 편집은 프로브의 평면을 펼칩니다. 개입은 신념을 심플렉스 안에서 움직이며, 타깃마다 20 단계로 매끄럽게 이동합니다. 개입 손실은 steering 된 다음 토큰 분포를 신념이 함의하는 다음 토큰 분포와 비교하며, 심플렉스 각 꼭짓점 근처의 세 시작 상태에서 균일한 496 점 타깃 신념 격자에 대해 평균합니다.


🔁 2. LLM: 자연 크기 교환(natural-magnitude interchange)

출생 연도 타깃은 스칼라($k=1$)이므로 프로브는 단일 방향입니다. Heinzerling & Inui (2024) 를 따라, 한 인물에서 다른 인물로 방향을 이식(transplant) 하여 소스의 알려진 출생 연도가 정답 타깃을 제공하게 합니다. 베이스 프롬프트(예: 1920년대생), 소스 프롬프트(예: 1980년대생), 후보 단위 방향 $v$ 가 있을 때, 베이스 프롬프트를 입력하되 베이스 활성의 $v$ 성분을 소스에서 같은 성분이 갖는 값으로 바꿉니다.

$$ \Delta a=\left(v^{\top}a_{\mathrm{src} }-v^{\top}a_{\mathrm{base} }\right)v $$

$v$ 가 개입 충실하다면, 즉 모델이 출생 연도에 실제로 쓰는 방향이라면, 예측 십년은 베이스에서 벗어나 소스 쪽으로 움직여야 합니다. LLM 의 개입 손실은 교환 후 기대 십년과 소스 십년 사이의 MSE 입니다.


📏 3. 인과 작동성 측정

어떤 방향의 인과 작동성은 위 교환을 적용하고 출력 변화를 기록하여 잽니다. HMM 에서는 다음 토큰 분포 사이의 L1 거리, Llama-2-7B 에서는 기대 십년의 절대 변화입니다. 주성분은 프로브와 달리 readout $(W^{\top})^{+}$ 이 없으므로 “타깃 값으로 steering” 이 정의되지 않고, 교환 자체만이 정의되는 유일한 개입입니다. 이것이 Figure 5 에서 주성분별 작동성을 재는 방식입니다.

💡 Key Takeaway “자연 크기 교환”은 소스가 실제로 보이는 활성값만 복사하므로, 개입이 분포 밖으로 나가 생기는 해석 착시를 줄입니다. 그 조건 아래서도 OLS 방향은 출력을 움직이지 못합니다.

이론: OLS 프로브가 개입 불충실 방향을 찾는 이유

논문은 중심화된 활성 행렬의 주성분(PC) 기저에서 작업하며, 회귀 프로브가 각 주방향에 어떤 가중치를 두는지 묻습니다.


📐 1. 표기

주방향을 $v_1,\dots,v_d$ 라 하고 샘플 $j$ 의 활성이 $v_i$ 를 따라 갖는 좌표를 $z_j^{(i)}=v_i^{\top}a_j$ 라 쓰면 각 활성은 $a_j=\sum_i z_j^{(i)}v_i$ 입니다. 한 주방향 $v$ 를 고정하고 첨자를 떼면 $z_j=v^{\top}a_j$, $f_j$ 는 중심화된 타깃입니다. $k>1$ 이면 타깃 좌표마다 따로 적용하며 $\sigma_f$ 는 해당 좌표의 표준편차입니다.

$$ \sigma_{v}^{2}=\frac{1}{n}\sum_{j}z_{j}^{2},\qquad \mathrm{cov}{vf}=\frac{1}{n}\sum{j}z_{j}f_{j} $$

Llama-2-7B 에서 $n$ 개 프롬프트는 이름–연도 프롬프트 분포 $D$ 에서의 독립 추출이고 모집단량은 $D$ 하의 기댓값입니다. HMM 에서는 아무것도 표본추출되지 않아 표본량과 모집단량이 일치합니다.


🧮 2. 방향별 가중치 (Proposition 3.1)

PC 기저에서 활성 좌표는 데이터셋 전체에서 서로 무상관이고($i\neq l$ 에 대해 $\sum_j z_j^{(i)}z_j^{(l)}=0$) 모든 변수가 중심화되어 있으므로, 전체 목적함수

$$ \mathcal{L}(w_{1},\dots,w_{d})=\sum_{j}\Big(\sum_{i}w_{i}z_{j}^{(i)}-f_{j}\Big)^{2}+\lambda\sum_{i}w_{i}^{2} $$

는 가중치 사이 교차항이 없어 $d$ 개의 독립적인 1차원 문제로 분리됩니다. 고정 방향 $v$ 의 가중치 $w$ 에 대한 1차원 목적함수는

$$ \mathcal{L}{v}(w)\equiv\sum{j}\left(wz_{j}-f_{j}\right)^{2}+\lambda w^{2} $$

이고, 그 최소점은

$$ w=\frac{\sum_{j}z_{j}f_{j} }{\sum_{j}z_{j}^{2}+\lambda}=\frac{\mathrm{cov}{vf} }{\sigma{v}^{2}+\lambda/n} $$

입니다. $\lambda=0$ 이면 OLS 프로브입니다. 모든 주방향에 같은 식이 성립하므로, 한 방향의 가중치는 분자의 타깃 공분산과 분모의 자기 분산에만 의존합니다.


💥 3. 타깃 무상관 방향과 OLS 폭발 (Definition 3.2, Corollary 3.3)

어떤 방향 $v$ 의 모집단 공분산이 0 이면 타깃 무상관(target-uncorrelated) 이라 합니다. 그러나 타깃 무상관이라고 표본 공분산이 0 이 되지는 않습니다. 표본 데이터에서 곱 $z_jf_j$ 는 독립인 영평균 항이므로, 그 평균인 표본 공분산은 표준오차 규모의 전형적 크기를 갖습니다.

$$ \mathrm{std}(\mathrm{cov}{vf})=\frac{\sigma{v}\sigma_{f} }{\sqrt{n} } $$

따라서 타깃 무상관 방향에 대한 OLS 가중치의 전형적 크기는

$$ \left|w_{\mathrm{OLS} }\right|=\frac{\left|\mathrm{cov}_{vf}\right|}{\sigma_{v}^{2} }\;\sim\;\frac{\sigma_{f} }{\sigma_{v}\sqrt{n} } $$

이며, 방향의 분산 $\sigma_v$ 가 0 으로 갈수록 한없이 커집니다. Ridge 는 분모만 바꾸는데, 분모는 $\lambda/n$ 아래로 떨어질 수 없으므로 가중치는 최대 $n \mathrm{cov}_{vf} /\lambda\sim\sigma_v\sigma_f\sqrt{n}/\lambda$ 이고, 이는 방향이 조용해질수록 폭발하는 대신 0 으로 사라집니다.
  OLS 가중치 규모 Ridge 가중치 상한 $\sigma_v\to 0$ 일 때
타깃 무상관 방향 $\sigma_f/(\sigma_v\sqrt{n})$ $\sigma_v\sigma_f\sqrt{n}/\lambda$ OLS 는 발산, ridge 는 0

🧩 4. 해석과 “스퓨리어스 방향”의 정의

고차원 잔차 스트림에서 대부분의 주성분은 주어진 타깃을 인과적으로 인코딩하지 않을 것입니다. 위 논증은 자기 분산에 비해 타깃 공분산이 작지 않은 모든 주성분이 비정규화 회귀에서 큰 가중치를 받는다는 것을 보여 줍니다. 표본 데이터에서는 그런 성분이 표본 잡음만으로 얻는 공분산을 정량화할 수 있고, 전수 데이터에서는 정량화할 잡음이 없지만 어떤 이유로든 성분이 지니는 공분산이 똑같이 부풀려집니다.

논문은 개입 불충실하면서도 타깃과 0 이 아닌 표본 공분산을 지니는 방향을 그 공분산의 기원과 무관하게 스퓨리어스(spurious) 라 부릅니다. 표본 데이터의 타깃 무상관 방향은 기원이 표본 잡음뿐인 특수 사례로, 공분산 규모를 예측할 수 있습니다. 저분산 스퓨리어스 방향이 잔차 스트림에 실제로 있다면 OLS 프로브의 방향을 지배할 것이고, 표본 내 해독 가능성은 이 실패를 드러낼 수 없습니다. Held-out 해독 가능성도 반드시 드러내지는 않는데, OLS 의 held-out 손실이 나쁘리라는 보장이 없고, 해독 가능성이 개입 충실성과 함께 가지 않기 때문입니다.


⚖️ 5. 고전적 불안정성과의 차이, 그리고 Remark 3.4

이 증폭은 고전적입니다. 저분산 방향을 따른 OLS 의 교과서적 불안정성(Hoerl & Kennard 1970)입니다. 그러나 고전적 우려는 held-out 예측이지 인과가 아닙니다. Held-out 해독 가능성은 재현되지 않는 공분산만 벌하는데, 공분산은 네트워크가 그 방향을 전혀 쓰지 않아도 표본 간에 지속될 수 있습니다(Section 4.1).

Remark 3.4 (큰 $\lambda$ 는 분산을 최대화하지 않음) : ridge 가 단순히 가장 크게 변하는 방향을 선호한다고 걱정할 수 있습니다. 그러나 $\lambda\to\infty$ 이면 가중치 식은 $w\propto\mathrm{cov}_{vf}$ 를 주므로, ridge 는 타깃과의 공분산 방향으로 수렴하지 최대 분산 방향으로 수렴하지 않습니다. 타깃과 무관한 큰 분산 방향은 가중치 0 을 받습니다.

💡 Key Takeaway 핵심 식은 $w=\mathrm{cov}_{vf}/(\sigma_v^2+\lambda/n)$ 하나입니다. OLS 는 분모가 $\sigma_v^2$ 뿐이라 조용한 방향의 작은 공분산을 $1/\sigma_v^2$ 로 키우고, ridge 는 분모 바닥 $\lambda/n$ 으로 그 증폭을 막습니다. 이는 예측 안정성이 아니라 인과 사용에 관한 주장이라는 점이 고전 통계와 다릅니다.

이론의 범위와 타깃 무상관성 검정

논문은 전수 HMM 데이터에서 조용한 방향이 지니는 작은 공분산의 출처에 대해 불가지론적이며, 그 규모를 유도하는 대신 직접 측정합니다.


🔬 1. 세 가지 검정 가능한 징후

표본 데이터에서 타깃 무상관성은 직접 확인할 수 없지만 두 가지 검정 가능한 징후가 있고, 스퓨리어스 방향 일반에 대한 세 번째 기대가 있습니다.

# 징후 적용 범위
1 표본 공분산이 표준오차 규모를 넘지 않음 타깃 무상관 방향
2 서로소인 프롬프트 표본에서 재현되지 않음 타깃 무상관 방향
3 그 방향을 따른 교환이 출력을 충실하게 움직이지 않음 모든 스퓨리어스 방향

충실한 방향은 정의상 3 을 위반하며, 네트워크가 쓰는 방향은 타깃과 진짜 공분산을 지니므로 1·2 도 위반해야 합니다. Section 4 는 OLS 프로브의 질량이 세 징후를 모두 만족하는 방향에 집중됨을 보입니다.


🚧 2. 이론이 약속하지 않는 것

이 논증은 정규화된 프로브가 개입 충실 방향을 찾는다고 약속하지 않습니다. OLS 프로브가 그럴 것이라 기대해서는 안 된다는 것만 말합니다. 또한 네트워크가 쓰는 방향이 고분산이라고 가정하지도 않습니다. 그 방향이 어디에 있든 OLS 프로브의 질량은 저분산 잡음으로 끌려가며, 이론이 확립하는 것은 그 끌림이지 진짜 신호의 위치에 대한 주장이 아닙니다.


📈 3. 공분산이 예측된 규모에 있는가 (Appendix C, Figure 8)

Llama-2-7B 8층의 4096개 주성분 전부에 대해 표준화 출생 연도 공분산 $z_i=\sqrt{n}\,\mathrm{cov}_i/(\sigma_i\sigma_f)$ 를 분할 반(split-half) 으로 계산합니다. 프롬프트의 절반이 PC 방향을 고정하고 나머지 절반이 $\sigma$ 와 $\mathrm{cov}$ 를 제공합니다. 4096개 중 3976개 PC 가 0 의 3 표준오차 안에 들어, Section 3.2 의 표본 잡음 규모와 일치합니다.

💡 Key Takeaway 이론은 부정적 주장입니다. 4096개 PC 중 97% 가량이 잡음 규모의 공분산만 지닌다는 측정은, 그런 방향들이 OLS 에서 얼마나 큰 가중치를 받을지를 식 하나로 예측하게 해 줍니다.

실험 결과 1: OLS 프로브는 해독하지만 인과적으로 비활성 (Table 1)

프로브는 전체 데이터셋에서 훈련/테스트 분할 없이 맞추고 평가합니다. HMM 은 전수 열거이고, Llama-2-7B 는 8000 샘플입니다.


📋 1. 전체 표 (Table 1)

테스트베드 방향 프로브 손실 (MSE) 개입 손실 (MSE) 분산 ($v^{\top}\Sigma v$) DAS 와의 각
Mess3 HMM OLS 프로브 $9.46\times10^{-5}$ $2.14\times10^{-1}$ $1.16\times10^{-8}$ 89.8°
  Ridge 프로브 ($\lambda=0.1$) $3.99\times10^{-3}$ $1.95\times10^{-3}$ $5.10\times10^{0}$ 28.9°
  DAS $3.21\times10^{-3}$ $1.88\times10^{-3}$ $9.72\times10^{0}$ 0°
Llama-2-7B (출생 연도) OLS 프로브 $6.71\times10^{-2}$ $1.37\times10^{1}$ $2.10\times10^{-2}$ 84.7°
  Ridge 프로브 ($\lambda=10^{4}$) $2.51\times10^{-1}$ $7.07\times10^{0}$ $3.83\times10^{0}$ 26.3°
  DAS $6.89\times10^{-1}$ $6.42\times10^{0}$ $8.28\times10^{0}$ 0°

두 테스트베드가 비슷한 이야기를 합니다. OLS 프로브는 프로브 손실이 가장 낮지만(Llama 는 표본 내), 방향의 분산이 수 자릿수 작고, DAS 와 거의 직교하며, 그 방향을 따른 개입은 출력을 거의 움직이지 못합니다. Llama-2-7B 에서 OLS 의 개입 손실 13.7 은 개입을 아예 하지 않았을 때와 같은 값이고, ridge(7.1)와 DAS(6.4)는 이를 대략 절반으로 줄입니다.


🎨 2. 그림으로 보는 충실성 (Figure 1, 3, 4)

  • Figure 1 : 개입 하의 네트워크 출력 변화($y$)를 정답이 예측하는 변화($x$)에 대해 그립니다. HMM 에서는 무작위 시작 신념 20개를 각 심플렉스 꼭짓점 쪽으로 20 강도로 steering 하며, 각 단계가 방출 확률마다 점 하나씩 세 점을 줍니다. Llama-2-7B 에서는 400회 base–source 교환을 실행하고 각각이 기대 십년의 이동 점 하나를 줍니다. 충실한 방향은 점을 대각선 위에, 비활성 방향은 0 의 수평선 위에 놓습니다. OLS 프로브는 인과적으로 비활성이고, 개입 최적 ridge 프로브는 대체로 충실하며 개입 효과가 DAS 와 비슷합니다.
  • Figure 3 : 정답, OLS, 개입 최적 ridge, DAS 의 신념 심플렉스 복원. OLS 프로브는 심플렉스를 거의 완벽히 복원하지만 인과적으로 비활성입니다. 두 개입 충실 방법은 왜곡 모양은 서로 다르지만 둘 다 눈에 띄게 왜곡된 복원을 내며, 프로브 손실은 OLS 보다 한 자릿수 이상 높습니다.
  • Figure 4 : 신념 심플렉스 전체에 걸친 개입 손실. 세 시작 상태 각각에서 OLS 프로브 개입이 개입 최적 ridge 개입보다 상당히 높은 손실을 보입니다.

🧪 3. Held-out 결과: 논문에서 유일한 held-out 수치

테스트베드 프로브 훈련 분할 손실 Held-out 손실 개입
Llama-2-7B (80/20) OLS 0.05 0.38 비활성
Llama-2-7B (80/20) 개입 최적 ridge 0.27 0.28 충실
HMM (held-out 분할) OLS – $4.3\times10^{-4}$ 여전히 비활성
HMM (held-out 분할) 개입 최적 ridge – $4.9\times10^{-3}$ 충실

Llama-2-7B 에서는 held-out 해독 가능성이 OLS 프로브를 잡아냅니다(0.05 에서 0.38 로 급등). 그러나 HMM 에서는 잡아내지 못합니다. Held-out HMM 분할에서도 OLS 프로브는 개입 최적 ridge 프로브보다 한 자릿수 더 잘 해독하면서 여전히 비활성입니다. 논문의 다른 모든 HMM 결과는 전수 열거에 맞춘 프로브를 쓰며, 그 설정에서는 일반화할 대상 자체가 없습니다. OLS 가 더 높은 해독 가능성을 얻는 것은 자명하지만, OLS 로 steering 하면 출력에 사실상 아무 효과가 없고 ridge 는 대체로 충실하게 steering 한다는 점은 자명하지 않습니다.

💡 Key Takeaway “held-out 에서도 잘 맞으니 믿을 만하다”는 직관이 HMM 에서 깨집니다. 공분산이 표본 간에 재현되더라도 네트워크가 그 방향을 쓰지 않을 수 있고, 그것을 드러내는 것은 개입뿐입니다.

실험 결과 2·3: 개입 최적 Ridge 는 고분산이며 DAS 로 회전한다


📊 1. 분산과 개입 손실 (Section 4.2)

개입 최적 ridge 프로브는 두 테스트베드 모두에서 꽤 충실하며, 그 방향의 분산은 OLS 방향보다 수 자릿수 큽니다(Table 1: HMM $5.10$ vs $1.16\times10^{-8}$, Llama $3.83$ vs $2.10\times10^{-2}$).


📉 2. $\lambda$ 에 따른 두 손실의 다른 모양 (Figure 2)

프로브 손실(로그 스케일)은 $\lambda$ 에 대해 단조 증가하지만, 개입 손실은 내부 최솟값을 가집니다. 즉 해독 가능성만 보면 $\lambda=0$ 이 항상 최선이지만, 개입 충실성은 어느 정도까지는 좋아지다가 다시 나빠집니다. 분산은 $\lambda$ 에 단조이므로 분산을 최대화하는 방식으로 $\lambda$ 를 고르면 과정규화가 되어, 인과 검정이 $\lambda$ 선택에서 분산으로 대체될 수 없습니다.


🔄 3. Ridge 에서 DAS 로의 회전 (Section 4.3, Figure 7)

각 ridge 프로브는 해독 가능성만으로 맞추고 인과 데이터는 $\lambda$ 선택에만 쓰는데, 개입 선택된 ridge 방향은 개입 훈련된 DAS 방향 가까이에 놓입니다(출생 연도 26.3°, HMM 28.9°). 반면 OLS 는 거의 직교합니다(84.7°, 89.8°).

테스트베드 각의 종류 $\lambda$ 증가에 따른 변화
Llama-2-7B 단일 방향 사이의 각 OLS 방향에서 DAS 방향 쪽으로 꾸준히 회전하다가, $\lambda$ 가 너무 커지면 다시 나빠짐. DAS 와의 주각이 개입 최적 $\lambda$ 에서 최소
HMM steering 부분공간 사이 두 주각 중 큰 것 개입 최적 ridge 가 OLS 보다 DAS 부분공간에 훨씬 가까우나, 개입 최적 $\lambda$ 를 넘어서도 각이 더 커지지는 않음

Appendix B 는 이 스윕에서 ridge 에 대한 긍정적 사례는 Llama-2-7B 에서 가장 분명하고, OLS 에 대한 부정적 사례는 두 테스트베드 모두에서 분명하다고 요약합니다.


💬 4. 왜 이 수렴이 정보인가 (Section 5)

개입 손실은 DAS 가 훈련한 목적이므로 DAS 가 충실한 것은 해독 가능성으로 훈련한 프로브가 해독 가능한 것만큼 놀랍지 않습니다. 정보는 ridge 가 DAS 로 수렴한다는 데 있습니다. 선택은 방향을 만들어 낼 수 없고, 해독 가능성만으로 맞춘 열두 개 남짓의 사전 계산된 후보 중에서 고를 뿐입니다. 그런데 그중 하나가 DAS 에서 26–29° 안에 들어가며, 이는 OLS 방향(85–90°)보다 훨씬 가깝습니다.

💡 Key Takeaway 해독 가능성 목적으로 맞춘 후보들 가운데 개입 손실로 하나를 골랐을 뿐인데 그것이 인과 훈련된 방향과 거의 겹친다는 사실은, 정규화가 “다른 종류의 방향”을 후보군에 넣어 준다는 뜻입니다.

실험 결과 4: OLS 질량은 죽은 가중치 위에 놓인다


🫧 1. 주성분별 질량과 작동성 (Figure 5)

Figure 5 는 각 주성분을 거품 하나로 그리며, 면적은 프로브 질량 $m_i$ 에 비례하고 위치는 범위 내 교환 하의 인과 작동성입니다. 두 테스트베드 모두에서 OLS 질량(빨강)은 작동성이 0 에 가까운 방향에, 개입 선택 ridge 질량(초록)은 강하게 작동하는 방향에 놓입니다.

테스트베드 관찰
HMM 분산 $10^{-18}$ 의 단일 방향이 OLS 질량의 0.915 를 차지
Llama-2-7B 그림의 프레임은 가장 무거운 PC 들을 보여 주며, ridge 질량의 95% 를 덮지만 OLS 질량은 약 31% 만 덮음. 나머지 OLS 질량은 작은 거품의 긴 꼬리로 같은 저작동성 쪽에 쌓임

🔒 2. 허점 닫기: 가장 무거운 OLS 성분들 위의 제한 DAS (Appendix D, Figure 9)

Figure 5 는 주성분을 하나씩 검정하므로 허점이 남습니다. OLS 프로브는 질량을 많은 성분에 퍼뜨리며, 개별적으로는 비활성인 방향들의 조합이 작동할 수도 있습니다. 이를 닫기 위해 DAS 가 가장 무거운 OLS 성분들의 span 안에서 가장 인과적으로 효과적인 방향을 찾도록 합니다.

테스트베드 탐색 공간 OLS 질량 점유 결과
Llama-2-7B 가장 무거운 100개 OLS 주성분의 span 34.8% 인과적으로 작동하는 방향 없음 (충실한 방향은 더더욱 없음)
HMM 트랜스포머 가장 무거운 7개 OLS 주성분의 span 99.9% 이상 인과적으로 작동하는 방향 없음

📊 3. Ridge 는 단순히 분산을 쫓는 것이 아니다 (Section 5)

ridge 프로브의 개입 충실성이 단순히 고분산 선호에서 온다면 가장 충실한 방향(HMM 에서는 부분공간)은 최대 분산 방향이어야 합니다. Llama-2-7B 에서는 그렇지 않습니다. 개입 최적 ridge 방향의 분산은 $3.83$ 이고, 분산이 $25{,}570$ 으로 약 $6{,}700$ 배 큰 최상위 주성분을 대체로 무시합니다. Remark 3.4 와 합쳐 보면, ridge 가 찾는 것은 “큰 방향”이 아니라 “공분산이 자기 분산에 비해 잡음 규모를 넘는 방향”입니다.

💡 Key Takeaway OLS 질량이 놓인 방향은 (1) 공분산이 잡음 규모이고 (2) 개별적으로 비활성이며 (3) 조합해도 작동 방향을 만들지 못합니다. 세 징후를 모두 만족하므로 이론이 말하는 “죽은 가중치”가 실제로 존재합니다.

관련 연구와의 위치


📚 1. 통계와 로지스틱 프로빙

연구 관계
Hoerl & Kennard (1970) ridge 의 고전적 정당화는 일반화(가중치 축소로 새 데이터 예측 개선). 이 논문은 인과 사용에 관한 주장이며, HMM 의 80/20 분할이 둘을 깔끔히 분리함. OLS 는 held-out 손실 $4.3\times10^{-4}$ 로 매우 잘 일반화하면서 여전히 비활성. 전수 HMM 데이터에서는 held-out 해독 가능성 개념 자체가 적용되지 않음
Anchor regression (Rothenhäusler et al. 2021) 정규화가 인과 구조 발견에 유용하다고 주장하지만 전혀 다른 논증. 데이터를 선형으로 모델링하고 날마다 바뀌는 적합 부분을 벌함. Peters et al. (2016) 에서 빌려 온 이유는 날마다 바뀌는 가중치는 인과적 가중치일 수 없다는 것
RAPTOR (Gao et al. 2026) 로지스틱 프로브에 대해 $L_2$ 페널티를 스윕(“ridge-adaptive logistic probes”)하지만 검증 정확도로 선택하며 개입 효과로 선택하지 않음
Gurnee & Tegmark (2024), Heinzerling & Inui (2024) 각각 held-out 해독 가능성으로 고른 ridge, 타깃과의 공분산으로 성분을 고르는 PLS 를 사용. 정규화 없이 무엇이 깨지는지는 안정성·일반화 우려 외에 설명하지 않음
Haufe et al. (2014) 신경영상에서 디코더가 신호 없는 채널에 큰 가중치를 줄 수 있음을 보임. 그 설정에서는 가중치를 개입으로 검정할 수 없음

🔗 2. 개입과 동시 연구

  • Makelov et al. (2024) 는 개입이 자연적으로 나타나지 않는 값으로 활성을 밀어 네트워크가 쓰지 않는 경로를 활성화하면 오도할 수 있다고 경고합니다. 이 논문은 개입이 심플렉스 안의 신념 이동만 요청하고, LLM 교환이 소스가 실제로 보이는 활성값을 복사하도록 구성으로 위험을 제한합니다.
  • Modell (2026) 은 Llama-2-7B 에서 시간 표현의 비선형 다양체를 steering 하여 연도 표현이 steering 가능함을 보입니다. 그러나 프로빙 방법을 인과적으로 비교하지 않고, 해독 가능하지만 비활성인 방향을 보이지도 않습니다. 후자가 이 논문의 초점입니다.
  • Shai et al. (2024) 는 비정규화 프로브를 쓰고 복원된 피처 벡터의 인과 검정을 범위 밖에 둡니다.

💡 Key Takeaway ridge 를 쓰는 선행 프로빙 연구는 있었지만 그 이유를 “안정성”이나 “일반화”로만 설명했습니다. 이 논문은 같은 도구에 인과적 이유를 붙이고, 그 이유가 held-out 성능과 분리됨을 실험으로 보입니다.

한계와 열린 방향

저자들이 명시한 범위와 한계, 그리고 본문에서 드러나는 열린 질문을 정리합니다.


⚠️ 1. 저자가 인정한 한계

  • 인과 제어는 부분적입니다. 가장 충실한 ridge 프로브 방향도 개입 손실을 0 보다 훨씬 위에 남깁니다(OLS 보다는 훨씬 낮지만, Figure 1). Llama-2-7B 에서 ridge 7.07, DAS 6.42 는 개입 없음 13.7 의 절반 수준입니다.
  • LLM 결과는 모델 하나뿐입니다. Llama-2-7B 의 8층, 출생 연도 한 속성만 다룹니다.
  • 이론은 연속 타깃에 대한 회귀 프로브를 다루며, 실제 프로빙 대부분은 로지스틱입니다. 로지스틱 프로빙에 대한 개입 선택 스윕과 이론의 로지스틱 대응은 다음 단계로 남겨 둡니다.
  • OLS 의 불충실성이 ridge 의 충실성을 증명하지 않습니다. Corollary 3.3 은 OLS 가 저분산 방향과 타깃 사이의 스퓨리어스 공분산에 취약하다는 부정적 주장만 증명합니다. ridge 가 네트워크가 쓰는 방향을 찾는다는 것, 개입 충실 방향이 반드시 고분산이라는 것은 증명하지 않습니다. 개입 최적 ridge 방향이 충실하고 DAS 와 비슷하다는 것은 두 테스트베드의 경험적 발견입니다. 정규화 권고는 그 실험과, ridge 가 OLS 에 증명된 실패 모드를 제거한다는 이론적 결과에 기댑니다.

🔒 2. 본문에서 읽히는 추가 제약

  • $\lambda$ 선택에 인과 데이터가 필요합니다. 개입 최적 ridge 프로브를 고르려면 정답 함수 $g$ 와 개입 프로토콜이 있어야 합니다. 정답 출력을 정확히 아는 설정(HMM)이나 인과 작동 방향이 확립된 설정(출생 연도)을 벗어나면 “개입 손실”을 어떻게 정의할지가 먼저 문제가 됩니다.
  • ridge 는 해독 가능성을 희생합니다. 개입 최적 ridge 의 프로브 손실은 OLS 보다 HMM 에서 약 40배, Llama 에서 약 4배 높습니다(Table 1). 논문 스스로 “ridge 는 해독 가능성을 대가로 개입 충실성을 산다”고 씁니다.
  • HMM 에서의 공분산 기원은 열려 있습니다. 전수 데이터에서 분산 $10^{-18}$ 방향이 지니는 공분산이 어디서 오는지 논문은 불가지론적 입장을 취하고 측정만 합니다.
  • Figure 7 의 HMM 결과는 Llama 보다 약합니다. 개입 최적 $\lambda$ 를 넘어서도 DAS 와의 각이 더 커지지 않아, “ridge 가 DAS 로 회전한다”는 그림은 Llama-2-7B 에서만 깨끗합니다.

❓ 3. 열린 질문

  • 로지스틱 프로브에 같은 현상이 나타나는가? 분류 타깃에서 “분산이 작은 방향의 스퓨리어스 공분산”에 해당하는 양은 무엇인가?
  • 정답 함수 $g$ 가 없는 일반 피처(예: 개념 탐지 프로브)에서 개입 충실성을 어떻게 근사해 $\lambda$ 를 고를 것인가?
  • DAS 와 ridge 가 수렴하는 26–29° 의 잔여 각은 무엇을 담고 있는가? 두 방법 모두 개입 손실이 0 에서 멀다는 점과 관련이 있는가?
  • 개입 최적 ridge 방향이 최상위 PC(분산 25,570)를 거의 무시한다면, 그 PC 는 무엇을 인코딩하는가?

💡 Key Takeaway 이 논문의 결론은 “ridge 를 쓰라”가 아니라 “OLS 를 믿지 말고, $\lambda$ 를 개입 충실성으로 골라라”입니다. 그 권고는 개입 손실을 정의할 수 있는 설정을 전제하므로, 그 전제가 없는 일상적 프로빙에 어떻게 옮길지가 다음 과제입니다.