0. Summary

  • 기본 정보 : ArXiv,2026.10.16, Do Knowledge and Reasoning Oriented Benchmarks Induce Stable Representation Signatures in LLMs?
  • 연구 배경 : 벤치마크 스위트와 후속 분석은 흔히 “지식 검색(knowledge retrieval)”과 “다단계 추론(multi-step reasoning)”을 대비시킨다. 만약 이 대비가 모델 내부에 안정적인 표현 시그니처(representation signature)를 만든다면, 잠재 상태 모니터(latent-state monitor), 적응형 연산(adaptive compute) 정책, 기계론적 가설의 근거가 될 수 있다. 그러나 라벨을 디코딩할 수 있다는 것만으로는 충분하지 않다. 모델은 하나의 공유된 지식/추론 연산을 구현하지 않고도 태스크 정체성, 어휘, 형식(format)을 인코딩할 수 있고, 그런 경우 프로브는 높은 정확도를 보이지만 토픽이나 형식에 의해 구동되는 모니터는 프롬프트나 태스크가 바뀌면 실패한다. 또한 한 태스크 집합에서 대비를 최대화하는 레이어가 개입(intervention) 표적으로는 부적절할 수 있다. 이 논문은 “지식/추론이라는 벤치마크 라벨이 태스크·프롬프트 정체성을 넘어서는, 재사용 가능한 내부 신호를 정의하는가?”를 다섯 개의 최신 7B~31B 모델에서 검정한다.
  • 제안 방법 : 핵심은 태스크(task)를 추론 단위(unit of inference)로 삼는 정확 순열 검정(exact permutation test) 프로토콜이다. (i) 프로브는 완전한 태스크 단위로 홀드아웃하고, (ii) 라벨은 예제가 아니라 태스크 간에 순열하며, (iii) 매 순열마다 최적 레이어·스트림(layer–stream site)을 다시 선택하고 프로브를 다시 적합한다. 8 vs 8 MMLU 과목 분할에서는 $\binom{16}{8}=12{,}870$개의 균형 라벨 배정을 모두 열거해 정확 p-값을 얻는다. 여기에 (iv) 동일한 추정기(64개 성분 + 같은 로지스틱 분류기)로 활성과 프롬프트 TF–IDF를 비교하는 프롬프트 매칭 초과(matched excess) 검정, (v) 세 개의 태스크 패널(MMLU-Pro, MMLU, 이질 벤치마크)과 세 가지 공분산 백색화 선택자(selector)에 걸친 site 전이 검정, (vi) OLMo 3와 Apertus 1.0의 공개된 기본 학습 궤적(base-training trajectory) 분석, (vii) 주입된 평균 이동을 얼마나 탐지하는지 보는 탐지 보정(detection calibration)을 더한다.
  • 발견 사실 : 원시(raw) 프로브는 다섯 모델 모두에서 8 vs 8 MMLU 분할을 복원한다(macro-F1 $0.78$–$0.81$, $p=0.00155$–$0.00420$). 그러나 프롬프트 텍스트만으로도 거의 비슷하게 예측된다. 동일 프로브 구성에서 활성의 이득은 macro-F1 $0.017$–$0.070$에 불과하고 유의하지 않다($p=0.177$–$0.440$). 사전 지정한 $0.01$ 수준에서 어휘 보정(lexical adjustment)은 유의성을 제거하지만(macro-F1 10.7–19.1점 하락, $p=0.012$–$0.066$), 보정된 상태는 여전히 개별 과목을 강하게 식별한다(16-way macro-F1 $0.765$–$0.961$). 선택된 site는 패널과 선택자에 따라 바뀌어 세 패널 모두에서 같은 site를 고른 모델은 없고, 두 학습 궤적은 공통 방향이 없다(OLMo는 깊이 평균 mean-shift가 하락, Apertus는 상승). 탐지 보정 결과 표준화 평균 차이 $0.5$–$2$의 주입 신호는 0/10 탐지되므로, 이 결과는 “시그니처 없음”이 아니라 “검정된 민감도에서 전이 가능한 시그니처를 식별하지 못함, 중간 크기 효과는 배제 불가“로 읽어야 한다.
  • 핵심 기여 :
    1. 태스크 집합 분리를 정확한 그룹 랜덤화 검정으로 형식화 : 태스크 홀드아웃, 태스크 단위 라벨 순열, 순열마다 site 재선택 + 프로브 재적합을 결합해, 선택 효과(selection)와 예제 간 비독립성을 모두 p-값에 반영하는 프로토콜을 제시했다.
    2. 디코딩 가능성(decodability)과 특이성(specificity)의 분리 : 다섯 7B~31B 체크포인트에서 원시 선택-site 프로브는 모두 유의하지만, 매칭된 활성-프롬프트 차이는 어느 모델에서도 유의하지 않음을 보였다. 또한 임의의 통제 분할(알파벳 순 분할)에서, 태스크를 학습·테스트에 공유하는 순진한 프로브는 유의하지만 태스크 홀드아웃 프로브는 유의하지 않음을 보여 추론 단위의 선택이 결과를 뒤집는다는 점을 실증했다.
    3. site 안정성과 학습 궤적 검정 : 세 태스크 패널과 세 가지 백색화 선택자에 걸쳐 선택된 site가 전이되지 않고, 두 개의 공개 기본 학습 궤적이 서로 다른 방향으로 움직임을 보고했다. 그 결과로 향후 내부 모니터·개입 연구가 통과해야 할 검정 순서(프로토콜)를 제공했다.

관련 개념

표현 시그니처(Representation Signature)와 “분리 가능 ≠ 공유 연산”

표현 시그니처는 어떤 개념적 구분(여기서는 지식 vs 추론)이 모델의 내부 상태에 남기는 재사용 가능한 흔적을 뜻합니다. 이 논문은 “프로브가 라벨을 맞춘다”는 것과 “모델이 그 라벨에 해당하는 연산을 공유한다”는 것을 엄격하게 구분합니다.

🧩 1. 왜 라벨 디코딩만으로는 부족한가

프로브가 높은 정확도를 보이는 이유 재사용 가능한 시그니처인가?
모델이 지식/추론에 대해 공유된 내부 연산을 수행함 ✓ (원하는 경우)
모델이 태스크 정체성(어느 벤치마크 과목인지)을 인코딩함 ✗
모델이 어휘·토픽(의학 용어 vs 수학 기호)을 인코딩함 ✗
모델이 형식·길이(선택지 수, 프롬프트 길이)를 인코딩함 ✗

Hewitt & Liang (2019), Belinkov (2022), Kumar et al. (2022), Sahoo et al. (2026) 등이 지적했듯, 프로브는 데이터셋의 규칙성(dataset regularities)을 학습할 수 있습니다. 특히 Sahoo et al. (2026)은 형식 통제가 “추론 모드” 프로브를 약화시킨다는 것을 보였습니다. 이 논문은 그 문제의식을 지식/추론이라는 다른 이진 분할로 가져오되, 태스크 수준 교환 가능성, 전수 순열, 선택을 반영한 깊이 추론, 다섯 개의 최신 체크포인트, 두 개의 학습 궤적을 추가합니다.

⚠️ 2. 실패 모드가 왜 중요한가

  • 모니터링: 토픽이나 형식에 의해 구동되는 모니터는 한 벤치마크에서는 정확해 보이다가 프롬프트·태스크가 바뀌면 실패합니다.
  • 개입 표적: 한 태스크 집합에서 대비를 최대화하는 레이어는 나쁜 개입 표적일 수 있습니다(Hase et al., 2023; Sahoo et al., 2026).

그래서 논문은 후보 시그니처가 다음 세 조건을 만족해야 한다고 요구합니다. (a) 홀드아웃된 태스크로 일반화할 것, (b) 입력 자체를 넘어서는 정보를 더할 것, (c) 태스크 패널·벤치마크·site 선택 규칙에 걸쳐 안정적일 것.

❓ 3. 논문이 던지는 네 가지 질문

# 질문 검정 대상
Q1 프로브 적합에서 완전히 제외된 태스크의 라벨을 중간 상태가 예측할 수 있는가? 복원 가능성(recoverability)
Q2 매칭된 추정기 아래에서 프롬프트 텍스트보다 더 잘 예측하는가? 프롬프트 초과(prompt excess)
Q3 선택된 site가 패널과 선택자에 걸쳐 전이되는가? 국소화 전이(localization transfer)
Q4 (별도 학습 진단) 다운스트림 정확도가 오르면서 측정 프로파일이 일관되게 변하는가? 학습 궤적(training trajectory)

Q1~Q3이 “태스크 라벨 복원”과 “모니터·라우터·개입 표적이 필요로 하는 더 강한 증거”를 분리합니다.

💡 Key Takeaway 이 논문의 중심 발견은 디코딩 가능성(decodability)과 특이성(specificity) 사이의 간극입니다. 원시 프로브가 라벨을 복원한다는 사실 자체는 다섯 모델 모두에서 성립하지만, 그것이 재사용 가능한 지식/추론 축을 의미하지는 않습니다.

관측 지점(Observation Site): 레이어 × 스트림

이 논문은 Transformer 디코더의 각 레이어에서 세 개의 스트림을 따로 읽습니다. 어떤 레이어·스트림이 가장 강한 대비를 보이는지가 “국소화(localization)” 결과가 됩니다.

🧱 1. 세 가지 스트림

모델 $m$에 대해 지원되는 관측 site 집합은 다음과 같습니다.

\[\mathcal{J}_m = \{(\ell, s) : 0 \le \ell < L_m,\; s \in \{\mathrm{Mix}, \mathrm{FFN}, \mathrm{Residual}\}\}\]
스트림 정의 비고
Mix (token-mixing update) 잔차 덧셈 직전의 토큰 혼합 기여분 softmax attention이거나 다른 학습된 시퀀스 믹서일 수 있음
FFN (feed-forward update) 잔차 덧셈 직전의 피드포워드 기여분  
Residual 잔차 갱신 후 디코더 레이어의 완전한 출력  

세 스트림은 더해진다고 가정하지 않고 별도로 관측된 것으로 다룹니다. 실제로 Gemma 4는 잔차 덧셈 후 레이어 출력 전체에 학습된 스칼라를 곱하기 때문에, 인접 상태 재구성 오차가 OLMo·Apertus·Qwen의 $0.011$–$0.042$와 달리 $14.7$에 이릅니다. 의미를 검증할 수 없는 분기는 결측으로 기록합니다.

📍 2. 어디서 읽는가: 마지막 유효 프롬프트 토큰

각 프롬프트는 마지막 유효(비패딩) 토큰의 상태 하나로 표현됩니다.

\[r_{ti} = \max\{u : a_{ti,u} = 1\}, \qquad z_{ti,j} = H_{ti,j}[r_{ti}] \in \mathbb{R}^{d_m}\]

주 연구는 이 한 위치의 prefill 상태만 측정하고, 생성 토큰 상태를 상대 위치 bin으로 평균하는 분석은 별도의 기술적(descriptive) 파일럿으로만 보고합니다. 포워드 훅은 활성을 읽기만 하며, 훅을 켜고 끈 상태에서 greedy 출력과 로짓이 동일함을 확인했습니다.

🖥️ 3. 평가 모델

모델 레이어 수 비고
OLMo 3 7B Instruct 32 완전 공개, 학습 궤적 체크포인트 제공
Apertus 1.5 8B 32 멀티모달, 텍스트만 평가
Qwen 3.5 9B 32 멀티모달, 텍스트만 평가, thinking 모드 비활성
Qwen 3.5 27B 64 동상
Gemma 4 31B IT 60 멀티모달, 텍스트만 평가

모든 비교는 모델 내부에서만 이뤄지며, 원시 표현이나 절대 분리 값은 아키텍처·은닉 폭 간에 절대 합치지 않습니다.

💡 Key Takeaway “site”는 (레이어, 스트림) 쌍입니다. 이 논문에서 국소화가 불안정하다는 결론은 이 쌍이 패널·선택자에 따라 바뀐다는 뜻입니다.

지식 vs 추론 태스크 패널

논문은 세 개의 태스크 패널을 씁니다. 라벨은 태스크 단위로 정의되고, 같은 태스크의 예제들은 지식/추론 대비의 독립 표본이 아닙니다.

\[\mathcal{T} = \mathcal{S}_K \mathbin{\dot\cup} \mathcal{S}_R, \qquad y_t = \mathbf{1}[t \in \mathcal{S}_K], \qquad \mathcal{D}_t = \{x_{ti}\}_{i=1}^{n_t}\]

📚 1. 주 패널: MMLU 8 vs 8 과목

그룹 과목
지식 지향 ($\mathcal{S}_K$) anatomy, astronomy, clinical knowledge, world history, professional law, high-school biology, medical genetics, prehistory
추론 지향 ($\mathcal{S}_R$) abstract algebra, college mathematics, formal logic, high-school mathematics, logical fallacies, college physics, conceptual physics, high-school statistics
  • 모든 태스크가 MMLU의 4지선다 형식과 하나의 프롬프트·파서·생성 절차를 공유합니다.
  • 태스크당 100개 예제(선택된 과목 중 공통 최대 개수) → 그룹당 800개, 모든 레이어·스트림에서 측정.
  • 16개 과목을 쓰면 클래스 대칭 라벨 순열 수가 126개에서 6,435쌍(12,870개 방향 순열)으로 늘어납니다.

📖 2. 보조 패널 1: MMLU-Pro 5 vs 5 (파일럿)

  • 지식: biology, health, history, law, economics / 추론: mathematics, physics, computer science, engineering, philosophy
  • 공통 10지선다 프롬프트. 순열 수가 252개뿐이라 최소 p-값은 $1/126 = 0.00794$.

🧪 3. 보조 패널 2: 이질(heterogeneous) 교차 벤치마크

  • 지식: closed-book Natural Questions, TriviaQA, MedQA, SuperGPQA, MMLU-Pro history
  • 추론: GSM8K, MuSR murder mysteries, ARC-Challenge, HellaSwag, MMLU-Pro mathematics
  • 태스크 계열·도메인·프롬프트 길이·선택지 수·답 유형이 라벨과 혼재(confounded)되므로, 이 패널은 태스크 분할의 전이 검정으로만 사용합니다.

🧭 4. 라벨은 “조작적 대리 변수”

논문은 카테고리 라벨이 비교를 위한 대리 변수(operational proxy)일 뿐이라고 반복해서 명시합니다. 임상 문제와 물리 문제 모두 습득된 사실과 추론을 함께 요구할 수 있으며, MMLU/MMLU-Pro 과목은 사실 회상과 추론을 섞어 놓습니다. 따라서 결론은 명명된 태스크 집합과 이 측정 프로토콜에 한정됩니다.

💡 Key Takeaway 주 패널이 프롬프트 형식을 통일했음에도, 프롬프트 토큰 수는 라벨과 강하게 연관됩니다(예: OLMo 기준 지식 179.0 vs 추론 135.3 토큰). 형식을 맞춘다고 혼재 변수가 사라지는 것은 아닙니다.

추론 단위로서의 태스크(Task as the Unit of Inference)

이 논문 방법론의 핵심은 예제가 아니라 태스크를 통계적 추론 단위로 삼는 것입니다. 이것이 누수(leakage)와 이중 사용(double-dipping)을 막는 장치입니다.

🔒 1. 세 가지 장치

장치 내용 막는 문제
태스크 홀드아웃 5-fold CV에서 완전한 태스크를 양 카테고리에서 홀드아웃. 전처리(PCA, 표준화)와 분류기는 fold 밖 태스크로만 적합 같은 태스크의 예제가 학습·테스트에 모두 들어가 태스크 정체성을 외우는 누수
태스크 간 라벨 순열 태스크는 고정하고 라벨만 섞음. 카테고리당 태스크 수 $q$를 보존 예제를 교환 가능한 반복으로 취급해 p-값이 과도하게 작아지는 문제
순열마다 site 재선택 매 순열 $y’$마다 fold를 다시 만들고, $R_j(y’)$를 다시 계산해 $j^\star(y’)$를 재선택하고 프로브를 재적합 관측 라벨로 가장 좋은 site를 고른 뒤 그 site에서만 검정하는 선택 편향(이중 사용)

🧮 2. 정확 순열 검정

$q = \mathcal{S}_K $일 때 조건부 랜덤화 공간은
\[\Pi_q = \left\{ y' \in \{0,1\}^{|\mathcal{T}|} : \textstyle\sum_t y'_t = q \right\}\]

이고, 통계량 $S$에 대한 정확 p-값은

\[p_S = \frac{1}{|\Pi_q|} \sum_{y' \in \Pi_q} \mathbf{1}\!\left[ S(y') \ge S(y) \right]\]
입니다. 8 vs 8이면 $ \Pi_8 = \binom{16}{8} = 12{,}870$. 통계량이 두 클래스 이름에 대칭이므로 달성 가능한 최소 p-값은 $2/12{,}870 \approx 1.55 \times 10^{-4}$이며, 이는 사전 지정 임계값 $p < 0.01$보다 충분히 작습니다. 임계값은 주 패널 결과를 요약하기 전에 고정된 분석 매니페스트에 기록되었습니다.

여기서 중요한 점은 보고된 macro-F1은 프로브에 대해서는 홀드아웃이지만 site 선택에 대해서는 아니다라는 것입니다. 정확 검정은 모든 순열에서 선택을 반복함으로써 이 선택을 p-값에 반영합니다(Westfall & Young, 1993의 최대 검정 논리).

🧨 3. 단위를 바꾸면 결론이 뒤집힌다: 알파벳 통제 분할 실험

OLMo에서 알파벳 순 8 vs 8 분할(지식/추론과 무관한 임의 분할)을 라벨로 쓴 통제 실험입니다.

추론 단위 분할·순열 방식 macro-F1 p-값
예제 (순진한 방식) 랜덤 예제 fold(모든 태스크가 학습·테스트 양쪽에), 9,999회 샘플 라벨 순열 $0.802$ $0.0001$
태스크 (본 논문) 완전한 태스크 홀드아웃, 모든 균형 태스크 라벨 순열 $0.574$ $0.228$

의미 없는 분할인데도 예제 단위 프로브는 “매우 유의”하게 나옵니다. 예제를 태스크의 교환 가능한 반복으로 취급하면 점수와 유의성 모두 부풀려진다는 것을 보여줍니다.

💡 Key Takeaway 라벨이 태스크 단위로 정의되었다면, 홀드아웃도 순열도 태스크 단위여야 합니다. 그리고 “가장 좋은 레이어를 골랐다”는 선택 행위 자체를 귀무분포 안에 넣어야 합니다.

PCA 공간 평균 이동 비율(Mean-Shift Ratio)과 site 선택

mean-shift ratio $R_j$는 사전 지정된 국소화 통계량입니다. 각 site에서 두 카테고리의 평균이 얼마나 떨어져 있는지를 카테고리 내 분산으로 정규화한 값입니다.

📐 1. 정의

site $j$마다 라벨을 모르는(label-blind) PCA 사상 $P_j$가 총 분산의 95% 이상을 설명하는 최소 기저를 유지합니다. $\tilde z_{ti,j} = P_j(z_{ti,j} - \bar z_j)$에 대해 카테고리 $c \in {0,1}$의 평균 $\mu_{c,j}$, 표본 공분산 $\Sigma_{c,j}$를 두고

\[R_j(y) = \frac{\lVert \mu_{1,j} - \mu_{0,j} \rVert_2^2}{\operatorname{tr}(\Sigma_{1,j}) + \operatorname{tr}(\Sigma_{0,j}) + 10^{-12}}, \qquad j^\star(y) = \arg\max_{j \in \mathcal{J}_m} R_j(y)\]
값 해석
$0$ 투영된 그룹 평균이 일치
$1$ 평균 이동의 제곱이 그룹 내 분산 합과 같음

⚖️ 2. Fisher 판별 기준과의 차이

고전적 Fisher 기준과 달리 역공분산으로 백색화하지 않습니다. 따라서 site를 선형 분리 가능성 순으로 정렬한다는 보장이 없습니다. 대신 태스크별 합계만으로 모든 순열에 대해 공분산 역행렬 없이 정확하게 재계산할 수 있다는 장점이 있습니다. 분자·분모·PCA 차원·카테고리 내 유효 랭크(effective rank)를 함께 보고해, 평균이 그대로인데 그룹 내 분산만 수축해서 비율이 커지는 경우(variance contraction)를 눈으로 확인할 수 있게 합니다.

유효 랭크는 중심화된 활성 행렬 $A$의 특이값 $\sigma_k$로

\[p_k = \frac{\sigma_k}{\sum_j \sigma_j}, \qquad \operatorname{erank}(A) = \exp\!\left(-\sum_{k: p_k > 0} p_k \log p_k\right)\]

이며, 하락하는 랭크로 나누면 진단하려는 패턴을 오히려 증폭하므로 절대 제수(divisor)로 쓰지 않습니다.

📊 3. 주 패널에서의 mean-shift 최대 결과

모델 선택 site (0-index 레이어 / 스트림) $R$ 선택 반영 p
OLMo 3 7B 3 / FFN 0.221 $0.0721$
Apertus 1.5 8B 0 / FFN 0.284 $0.00435$
Qwen 3.5 9B 2 / FFN 0.616 $0.00109$
Qwen 3.5 27B 1 / token mixing 0.667 $0.000777$
Gemma 4 31B 23 / FFN 0.499 $0.0145$
  • $p < 0.01$을 통과한 것은 Apertus와 두 Qwen뿐이고, OLMo·Gemma는 통과하지 못합니다.
  • 알파벳 순 통제 분할은 어느 모델에서도 유의하지 않습니다($p = 0.147$–$0.269$).
  • 모든 주 최대값이 token-mixing 또는 FFN 갱신 site여서, 갱신만 고려한 최대와 전체 최대가 일치합니다.
  • BH 보정 후 유의한 레이어–스트림 셀은 많지만(예: 90/96), 셀들이 서로 종속이므로 셀 개수는 모델 수준 효과 크기가 아닙니다.

💡 Key Takeaway mean-shift 최대값은 “어디를 볼지” 정하는 사전 지정 도구일 뿐, 그 자체가 시그니처 증거는 아닙니다. 그리고 그 최대값마저 다섯 모델 중 둘에서는 유의하지 않습니다.

태스크 홀드아웃 선형 프로브와 복원 가능성(Recoverability)

복원 가능성은 “활성이 홀드아웃된 태스크의 라벨을 예측하는가”입니다. 선택된 site에서의 선형 프로브 macro-F1이 그 통계량입니다.

🧮 1. 정의

fold $F_1, \dots, F_K$가 완전한 태스크를 분할할 때, fold $k$의 전처리와 분류기는 $F_k$ 밖 태스크 예제로만 적합하고, out-of-fold 예측을 모아

\[T_{\mathrm{rep}}(y; j) = \operatorname{MacroF1}\!\left(\{ y_t,\; \widehat g_j^{(-F_{k(t)})}(z_{ti,j}) \}_{t,i}\right)\]

로 정의합니다. 프로브는 fold-local 95% 분산 PCA, fold-local 표준화, 클래스 균형 로지스틱 회귀($C=1$, $\ell_2$, cuML quasi-Newton, float64)입니다. 비선형 프로브는 같은 전처리의 클래스 균형 RBF SVM이지만, 반복 적합이 점수를 정확히 재현하지 않아 임계값 근처 결과는 수치적으로 불안정한 것으로 취급합니다.

📈 2. 결과: 다섯 모델 모두 복원

모델 원시 macro-F1 정확 p
OLMo 3 7B $0.781$ $0.00155$
Apertus 1.5 8B $0.804$ $0.00186$
Qwen 3.5 9B $0.805$ $0.00186$
Qwen 3.5 27B $0.796$ $0.00420$
Gemma 4 31B $0.805$ $0.00404$

mean-shift 최대가 유의하지 않았던 OLMo와 Gemma도 프로브로는 유의합니다. 모델당 6,435회(라벨-보수 쌍마다 1회)의 프로브 재적합이 필요했고, 다섯 모델의 선택 반영 프로브 분석에 GH200 한 장으로 6.79시간이 소요되었습니다.

🪞 3. 하지만 프롬프트 텍스트도 복원한다

기록된 입력 프롬프트(모델별 채팅 템플릿 렌더링 이전)에 TF–IDF 프로브를 적용하되, 어휘·IDF·분류기를 모든 홀드아웃 fold와 모든 라벨 순열 안에서 재적합한 결과입니다.

특성 macro-F1 정확 p
단어 1–2-gram $0.701$ $0.00870$
단어 내 문자 3–5-gram $0.768$ $0.000777$

즉 같은 태스크 수준 추론 아래에서 태스크 분할은 프롬프트 텍스트만으로도 예측 가능합니다.

💡 Key Takeaway 복원 가능성은 필요조건일 뿐입니다. 다섯 모델 모두 통과했지만, 프롬프트 텍스트가 거의 같은 수준으로 통과한다면 활성이 입력을 넘어서는 무언가를 담고 있다고 말할 수 없습니다.

프롬프트 매칭 초과 검정(Matched Excess)과 어휘 보정(Lexical Adjustment)

이 두 분석이 논문의 “특이성(specificity)” 질문에 답합니다. 하나는 활성과 프롬프트를 같은 조건에서 직접 비교하고, 다른 하나는 활성에서 어휘로 설명되는 분산을 제거합니다.

⚖️ 1. 매칭 초과 통계량 $\Delta$

항목 설정
활성 특성 재선택된 site $j^\star(y)$의 활성 → fold 내 PCA로 64개 성분
프롬프트 특성 문자 n-gram TF–IDF → fold 내 randomized truncated SVD로 64개 성분
분류기 둘 다 표준화 후 동일한 cuML 로지스틱 프로브, 같은 grouped fold, 같은 정규화
통계량 $\Delta(y) = T^{64}{\mathrm{rep}}(y; j^\star(y)) - T^{64}{\mathrm{text}}(y)$
귀무분포 12,870개 순열별 $\Delta$가 정확한 단측 참조 분포

매 순열마다 활성 site를 재선택하므로, 이 검정도 선택을 반영합니다.

📉 2. 결과: 활성의 이득은 유의하지 않다

매칭된 프롬프트 프로브는 macro-F1 $0.755$($p = 0.00140$). 표현 프로브는 $0.773$–$0.825$.

모델 matched-64 $\Delta$ / p 귀무분포 평균 $\pm$ SD; 95분위 PCA-95 $\Delta$ / p
OLMo 3 7B $+0.048 / 0.290$ $0.016 \pm 0.057;\; 0.108$ $0.025 / 0.466$
Apertus 1.5 8B $+0.070 / 0.177$ $0.011 \pm 0.064;\; 0.112$ $0.049 / 0.257$
Qwen 3.5 9B $+0.047 / 0.291$ $0.011 \pm 0.066;\; 0.123$ $0.050 / 0.258$
Qwen 3.5 27B $+0.017 / 0.440$ $0.006 \pm 0.067;\; 0.112$ $0.041 / 0.295$
Gemma 4 31B $+0.051 / 0.297$ $0.017 \pm 0.066;\; 0.129$ $0.050 / 0.330$
  • 관측된 모든 $\Delta$가 귀무분포 안에 있습니다(95분위 $0.108$–$0.129$를 넘는 모델이 없음).
  • 활성 PCA-64를 fold-local 95% 분산 PCA로 바꿔도 $\Delta = 0.025$–$0.050$, $p = 0.257$–$0.466$으로 역시 유의하지 않아, “64차원 고정 폭 때문”이라는 설명은 배제됩니다.
  • 알파벳 통제 분할에서는 표현·초과 p-값이 각각 $0.228$–$0.313$, $0.790$–$0.861$입니다.
  • 다섯 모델에 Holm 보정을 하면 원시 프로브는 모두 $p < 0.01$을 유지하지만, 매칭 초과·lexical-64 조건에서는 보정 후 $0.05$ 아래로 내려가는 모델이 없습니다.

🧽 3. 어휘 보정(lexical-64): 활성을 텍스트에 대해 잔차화

단계 내용
1 보정 전 mean-shift 프로파일로 site 재선택 (순열마다)
2 각 프로브 fold 안에서 학습 태스크 프롬프트로 TF–IDF 어휘·IDF 적합 → 64개 성분으로 SVD
3 다중 출력 Ridge($\alpha = 1$)로 64개 텍스트 성분 → 모든 활성 차원을 예측
4 학습·홀드아웃 활성에서 예측값을 빼 잔차 활성을 만든 뒤 fold-local PCA → 표준화 → 프로브
모델 lexical-64 macro-F1 p
OLMo 3 7B $0.666$ $0.01197$
Apertus 1.5 8B $0.613$ $0.06605$
Qwen 3.5 9B $0.689$ $0.01476$
Qwen 3.5 27B $0.655$ $0.04165$
Gemma 4 31B $0.698$ $0.02020$

주 macro-F1이 $10.7$–$19.1$점 떨어지고 $p = 0.012$–$0.066$. $0.01$ 미만은 없고 $0.05$ 미만은 넷입니다. 32개 성분으로 해도 같은 결론입니다.

🔎 4. 보정은 부분적이며 매개(mediation)를 증명하지 않는다

보정된 상태에는 여전히 태스크 간 분산의 31–54%, 총 분산의 57–76%가 남아 있고, 층화된 예제 fold에서 16-way 과목 예측 macro-F1이 $0.765$–$0.961$(우연 $0.0625$)입니다. 즉 어휘 보정이 “개념을 제거”한 것이 아니라(Kumar et al., 2022), 활성이 여전히 개별 과목을 식별하면서도 지식/추론이라는 2분할만은 유의하게 지지하지 못하게 된 것입니다. 유한 저랭크 선형 사상이 어휘 정보를 모두 담아내지도 못하므로, 논문은 이 분석을 인과적 보정이 아닌 민감도 분석으로만 보고합니다.

또 다른 민감도 분석으로 여섯 개 스칼라 프롬프트 특성(토큰 수, 문자 수, 줄 수, 선택지 수, 공백 토큰 수, 공백 토큰 엔트로피)을 회귀로 제거하면, MMLU-Pro에서는 BH-유의 선형 프로브 site가 모델별 81, 70, 0, 92, 88개에서 0개로 사라지지만, 주 MMLU 패널에서는 다섯 중 넷에서 유의성이 남습니다.

💡 Key Takeaway 활성은 프롬프트보다 조금 더 잘 맞추지만, 그 “조금”은 라벨을 섞었을 때 우연히 생기는 차이 범위 안에 있습니다. 어휘를 빼도 과목 정체성은 선명하게 남는데 지식/추론 2분할의 유의성은 사라진다는 것은, 프로브가 잡은 것이 과목(태스크)이지 지식/추론 축이 아닐 가능성을 시사합니다.

site 국소화의 불안정성(Localization Instability)

재사용 가능한 모니터나 개입 표적이라면 다른 태스크 구성에서도 같은 자리에 있어야 합니다. 논문은 이를 패널 간 전이와 선택자 간 전이 두 축으로 검정합니다.

🗺️ 1. 패널 간 전이

패널 $p, p’$에 대해 전이는 다음으로 기술됩니다.

\[A_m^{p,p'} = \mathbf{1}[\, j^\star_{m,p} = j^\star_{m,p'} \,], \qquad \rho^{p,p'}_{m,s} = \operatorname{corr}_\ell\big(R_{m,p,\ell,s},\; R_{m,p',\ell,s}\big)\]
모델 MMLU-Pro site / p MMLU site 이질 패널 site
OLMo 3 7B 3 / FFN / $0.0159$ 3 / FFN 5 / token mixing
Apertus 1.5 8B 0 / FFN / $0.0238$ 0 / FFN 8 / token mixing
Qwen 3.5 9B 1 / token mixing / $0.0317$ 2 / FFN 11 / token mixing
Qwen 3.5 27B 11 / FFN / $0.0317$ 1 / token mixing 5 / FFN
Gemma 4 31B 12 / token mixing / $0.0238$ 23 / FFN 14 / FFN
  • 두 단일 프롬프트 패널(MMLU-Pro, MMLU)에서 같은 site를 고른 모델은 OLMo와 Apertus 둘뿐(2/5).
  • 세 패널 모두에서 같은 site를 고른 모델은 없음(0/5).
  • MMLU-Pro와 이질 패널 사이 스트림별 깊이 프로파일의 Pearson 상관은 $-0.047$에서 $0.922$까지 넓게 퍼져 있는데, 상관이 높아도 최대 site는 유지되지 않습니다. 비슷한 깊이 프로파일과 다른 최대값이 공존할 수 있습니다.
  • 이질 패널 site는 프로브 검정 안에서 선택을 반복하지 않았으므로 기술적(descriptive) 값입니다.

🧪 2. 선택자 간 전이: 공분산 백색화 변형

mean-shift 선택자를 정규화된 백색화 평균 변위

\[\Delta\mu^\top (W + \lambda I)^{-1} \Delta\mu, \qquad \lambda = \alpha \,\frac{\operatorname{tr}(C)}{d}\]

로 바꿉니다($W$: 순열별 pooled 카테고리 내 공분산, $C$: 라벨을 모르는 총 공분산, $\alpha \in {0.01, 0.1, 1}$).

모델 mean-shift site $\alpha = 0.01$ $\alpha = 0.1$ $\alpha = 1$ 정확 p 범위
OLMo 3 7B 3 / FFN 21 / residual 20 / residual 6 / residual $0.00062$–$0.00078$
Apertus 1.5 8B 0 / FFN 18 / residual 4 / residual 4 / residual $0.00062$–$0.00109$
Qwen 3.5 9B 2 / FFN 30 / residual 30 / residual 30 / residual $0.00093$–$0.00233$
Qwen 3.5 27B 1 / token mixing 25 / token mixing 25 / token mixing 25 / token mixing $0.00062$–$0.00218$
Gemma 4 31B 23 / FFN 31 / token mixing 31 / token mixing 22 / token mixing $0.00078$–$0.00124$

15개 모델–ridge 조건 모두 mean-shift site와 다른 site를 고르지만, 모든 백색화 최대값은 Holm 보정 후에도 유의합니다($p_{\mathrm{Holm}} \le 0.0094$). 즉 복원 가능성은 선택자에 무관하게 성립하지만, 국소화는 선택자와 정규화에 강하게 의존합니다. 특히 비백색화 선택자는 초반 레이어의 FFN/Mix 갱신을, 백색화 선택자는 중·후반 레이어의 residual 상태를 고르는 경향이 눈에 띕니다.

💡 Key Takeaway “레이어 X가 지식/추론을 구분한다”는 주장은 어떤 태스크 패널에서, 어떤 선택자로 골랐는지에 따라 달라집니다. 유의한 최대값과 불안정한 국소화는 얼마든지 공존합니다.

기본 학습 궤적(Base-Training Trajectory) 분석

Q4는 “다운스트림 정확도가 오르면서 측정 프로파일이 일관되게 변하는가”입니다. 안정적인 구분이 반드시 정확도와 함께 강해질 필요는 없으므로, 학습과의 연관은 정보적이지만 필수는 아닌 진단입니다.

🧮 1. 깊이 평균(depth mean)

체크포인트 $c$, 스트림 $s$에 대해

\[D_{m,s}(c) = \frac{1}{L_m} \sum_{\ell=0}^{L_m - 1} R_{m,c,\ell,s}\]

를 추적합니다. 이것은 선택된 site 통계량과 다른 요약값입니다.

🧪 2. 설정

항목 OLMo 3 7B Apertus 1.0 8B
체크포인트 수 7 (사전학습 → 중간학습 → 장문맥 확장 3단계) 11 (사전학습 단계만, 210B → 15T 토큰)
태스크 같은 10개 MMLU 과목 (anatomy, clinical knowledge, world history, professional law, astronomy vs abstract algebra, formal logic, HS math, college math, logical fallacies) 동일
예제 태스크당 32개 × 서로 겹치지 않는 3블록 동일
순열 251개 비관측 균형 라벨 순열 동일

평균과 표본 표준편차는 세 쌍 블록에 걸쳐 계산되며, 이는 한 학습 실행 안에서의 예제 선택 민감도만 측정합니다. OLMo의 step 카운터는 단계 사이에 리셋되므로 변화율은 단계 안에서만 보고합니다.

📊 3. 결과: 두 궤적은 공통 방향이 없다

모델 $\mathrm{Acc}_K$ $\mathrm{Acc}_R$ $D_{\mathrm{Mix}}$ $D_{\mathrm{FFN}}$ $D_{\mathrm{Residual}}$
OLMo 3 7B (7) $0.283 \to 0.585$ $0.279 \to 0.460$ $0.197 \to 0.123$ $0.291 \to 0.145$ $0.275 \to 0.156$
Apertus 1.0 8B (11) $0.260 \to 0.621$ $0.254 \to 0.433$ $0.174 \to 0.235$ $0.273 \to 0.337$ $0.252 \to 0.323$
  • OLMo: 정확도가 오르는 동안 세 스트림의 $D_s$가 모두 하락. Stage 2 안에서는 오르지만 Stage 1, 3에서는 혼합. 선형 프로브 macro-F1은 소폭 상승($0.811/0.806/0.814 \to 0.837/0.842/0.849$)하지만 RBF 프로브와 실루엣은 더 뚜렷한 기하를 시사하지 않음. 카테고리 내 유효 랭크 분율은 오히려 상승($0.669/0.654/0.700 \to 0.694/0.683/0.716$)하므로, 깊이 평균 하락은 랭크 수축 때문이 아님.
  • Apertus: $D_s$가 상승하지만 단조가 아님. Stage 3–4 경계에서 두 정확도 모두 오르는데($0.581/0.335 \to 0.606/0.383$) 세 mean-shift 요약은 모두 하락($0.214/0.322/0.306 \to 0.194/0.272/0.255$). 선형 프로브 macro-F1은 거의 움직이지 않고 유효 랭크 분율은 $0.64$–$0.67$ 근처에 머묾.
  • 파싱 실패는 추세를 좌우하지 않습니다(OLMo는 모두 A–D로 파싱, Apertus 1.0은 처음 두 체크포인트 $0.997$, 이후 $1.000$).

체크포인트는 직렬 종속이고 서로 다른 학습 단계를 아우르므로, 논문은 이를 독립 표본 검정이 아닌 궤적 기술(trajectory description)로 취급합니다. 각각이 하나의 기본 학습 실행이므로 학습 추세에 대한 모집단 수준 결론은 지지하지 않습니다. Apertus 1.5는 공개 시점(2026-08-10)에 최종 revision만 제공되어 종단 비교에서 제외되었고, Apertus 1.0과 1.5를 두 궤적 점으로 대체하지도 않았습니다(계속 사전학습·멀티모달·사후학습 변경이 함께 묶여 있기 때문).

💡 Key Takeaway 정확도는 두 모델 모두 오르지만 측정 프로파일은 한쪽은 내려가고 한쪽은 올라갑니다. 학습 시점 신호로 쓰려면 여러 체크포인트와 여러 실행에 걸친 재현이 먼저 필요합니다.

탐지 보정(Detection Calibration)과 “중간 효과를 배제할 수 없다”의 의미

귀무가설을 기각하지 못했을 때 그것이 “효과 없음”인지 “검정력 부족”인지 구분하려면, 알려진 크기의 신호를 주입해 얼마나 탐지되는지 보아야 합니다. 이 논문은 두 가지 보정을 수행합니다.

🎯 1. 고정 site 보정

OLMo의 관측된 선택 site에서, 지식/추론 라벨이 아닌 임의의 균형 분할을 두고, 어휘 보정 전에 시드된 단위 방향으로 표준화 평균 차이 $0, 0.5, 1, 2, 4$만큼 이동을 주입합니다. 그 뒤 문자 TF–IDF 적합, Ridge 보정, 95% PCA, 선형 프로브를 모든 균형 라벨 순열에 대해 반복합니다. 0이 아닌 각 이동마다 10개 방향 시드를 평가합니다.

표준화 평균 차이 방향 수 정확 $p < 0.01$ 탐지 macro-F1 평균 [범위]
$0$ 1 0 $0.472$
$0.5$ 10 0 $0.475$ $[0.471, 0.479]$
$1$ 10 0 $0.483$ $[0.476, 0.487]$
$2$ 10 0 $0.513$ $[0.493, 0.528]$
$4$ 10 5 $0.724$ $[0.638, 0.815]$

표준화 차이 $0.5$–$2$에서는 10개 방향 중 하나도 탐지하지 못하고, $4$에서야 절반을 탐지합니다. 따라서 중간 크기의 신호는 이 도구로는 놓칠 수 있습니다.

🧩 2. 선택 반영 보정

알파벳 분할에서 실제 site들의 mean-shift 행렬에 합성 site 하나를 덧붙이고, site 재선택 + 매칭 $\Delta$ 절차 전체를 모든 순열에 대해 반복합니다. 표준화 차이 $0.5, 1, 2, 4$ 각각 10개 방향에서 합성 site는 0/10회 선택되고 0/10회 탐지됩니다. 심지어 $4$에서도 그렇습니다. 고정 site 보정은 “선택 + 프로브” 전체 절차의 검정력을 보정할 수 없다는 뜻이며, 비백색화 선택자가 이 주입 site를 고르지 않는 상호작용을 보여줍니다(다른 선택 반영 절차가 그 크기의 이동을 탐지할 수 없다는 뜻은 아닙니다).

🧠 3. 그래서 결론을 어떻게 읽어야 하나

잘못된 읽기 올바른 읽기
“LLM에는 지식/추론 시그니처가 없다” “검정된 민감도에서, 이 태스크 집합과 이 풀링된 레이어별 측정으로는 전이 가능한 시그니처를 식별하지 못했다”
“비기각 = 동등성(equivalence)” 비기각은 동등성도, 중간 신호의 부재도 의미하지 않는다
“원시 프로브가 유의하니 시그니처가 있다” 원시 프로브의 유의성은 프롬프트 매칭 비교에서 살아남지 못했다

논문은 16개 태스크가 구성(construct) 수준 주장에 쓰기에는 독립 단위가 적다는 점, 분류 체계가 요구·도메인·형식·난이도를 뒤섞고 태스크 홀드아웃이 이 혼재를 그대로 둔다는 점, 평균 풀링·용량 인식 프로브·신뢰할 만한 비선형 프로브가 아직 검정되지 않았다는 점, 설계가 공개 사전등록되지 않았다는 점을 한계로 명시합니다. 정답 여부 조건화는 Apertus($0.573$)와 Gemma($0.761$)의 파싱 유효율이 낮아 형식 준수와 혼재되므로 생략했습니다.

💡 Key Takeaway 이 논문은 스스로의 검정력 한계를 수치로 보여 줍니다. “못 찾았다”와 “없다”를 구분하는 것은 해석 가능성 연구가 과학이 되기 위한 최소 조건입니다.

내부 모니터를 위한 검정 프로토콜(Checklist)

논문의 기여는 특정 결과보다 평가 프로토콜입니다. 어떤 내부 읽기(readout)가 모니터링·적응형 연산·인과 개입의 근거가 되려면 다음 검정을 순서대로 통과해야 합니다.

✅ 1. 통과해야 할 검정 순서

단계 검정 통과 기준 이 논문의 결과
1 태스크 홀드아웃 + 태스크 라벨 순열 프로브 완전히 제외된 태스크에서 라벨 예측이 정확 p < 임계값 5/5 통과 (macro-F1 $0.78$–$0.81$)
2 프롬프트 매칭 비교 같은 추정기에서 활성이 입력 텍스트보다 유의하게 더 예측 0/5 통과 ($\Delta = 0.017$–$0.070$)
3 전이 검정 다른 태스크 패널·선택자에서도 같은 site 두 패널 2/5, 세 패널 0/5
4 탐지 보정 알려진 크기의 주입 신호를 탐지하는 민감도 입증 표준화 차이 $4$에서만 5/10
5 인과 검정 지원 수동 측정이 생성한 가설을 activation patching / causal tracing으로 확인 본 논문 범위 밖

🔬 2. 네 가지 측정 계열과 역할

계열 참조값 과학적 역할
Mean shift $0$: 평균 일치, $1$: 평균 이동 제곱 = 카테고리 내 분산 합 모델 내 평균 분리; 분자·분모를 따로 노출
Probe $0.50$: 균형 우연 프로브 적합에서 제외된 태스크에 대한 예측; 태스크 라벨 순열이 귀무분포
Geometry 실루엣 $0$: 거리 이점 없음; 정렬 $1$: 동일 정규화 기하 응집도·유사도; 쌍이 있을 때만 CKA
Rank $1$: 최대로 고른 스펙트럼 수축 진단; 그 자체로 분리 증거 아님

쌍이 없는 집합에는 선형 CKA 대신 정규화 공분산 정렬

\[\rho_{\mathrm{cov}} = \frac{\langle C_K, C_R \rangle_F}{\lVert C_K \rVert_F \, \lVert C_R \rVert_F}\]

를 쓰고, 정의되지 않는 값은 0이 아니라 결측으로 보고합니다.

🧾 3. 불확실성의 네 가지 출처를 분리하기

출처 측정 방법 이 논문에서의 상태
프로브 귀무가설 대비 증거 정확 태스크 라벨 순열 있음
예제 선택 민감도 서로 겹치지 않는 예제 블록 있음 (종단 연구)
분석 분할 민감도 fold 시드 반복 —
학습 시드 불확실성 독립적으로 학습된 체크포인트 없음 (모델당 공개 궤적 1개)

그래서 종단 표의 평균·표준편차는 모델 학습에 대한 신뢰구간으로 제시하면 안 됩니다. Greedy 추출은 결정론적이므로 생성 시드를 반복해도 중복 관측만 늘어납니다.

🧭 4. 적용 영역

  • 모니터링·적응형 연산: 내부 읽기가 입력을 넘어서는 정보를 더하고 새 태스크 구성으로 전이하는지 검정.
  • 벤치마크 설계: 의미 분류 체계가 표면 형식 이상을 반영하는지 검정.
  • 기계론적 분석: 인과적으로 검정할 가치가 있는 site와 패널·선택자에 의존하는 최대값을 분리.
  • 학습 신호: 체크포인트와 실행에 걸친 재현이 선행되어야 함.

논문은 이것이 라우터·모니터·프루닝 정책이 필요로 하는 증거를 명세하고 검정한 것이지, 그런 시스템을 검증한 것은 아니라고 못 박습니다.

💡 Key Takeaway 더 강한 측정이 되려면 매칭된 입력을 넘어서는 예측을 더하고, 패널 간에 전이되며, 보정된 민감도를 보이고, 인과 검정을 지원해야 합니다. 프로브 정확도나 가장 큰 레이어별 대비만 보고하는 것은 측정이 지지하는 바를 과장합니다.