0. Summary

  • 기본 정보 : ArXiv,2026.10.10, Scoring Explanations Without Reading Them: Structural Shortcuts in Automated-Interpretability Evaluation Data
  • 연구 배경 : 자동화 해석가능성(automated interpretability)은 희소 오토인코더(SAE) 피처의 자연어 설명을 평가할 때, LLM 채점기가 설명을 읽고 토큰별 활성을 예측하거나(simulation) 표시된 토큰이 설명에 맞는지 판정(fuzzing)하게 한다. 이 점수는 SAE 논문과 벤치마크가 사전(dictionary)과 설명기(explainer)를 비교하는 기준이 된다. 그런데 평가 예시가 어떻게 만들어졌는지(어디서 잘렸는지, 어떤 토큰이 몇 개 표시됐는지, 어떤 시퀀스가 활성 분포의 상위에서 뽑혔는지)가 정답에 대한 정보를 담고 있다면, 설명을 전혀 읽지 않는 규칙도 높은 점수를 받을 수 있다.
  • 제안 방법 : 설명도 본문도 읽지 않고 예시의 구성(construction) 만 보는 “설명 없는 규칙(explanation-free rule)”을 정의하고, 채점기 점수와 그 규칙 가족의 최고 점수를 같은 항목 위에서 쌍으로 보고하자고 제안한다. 네 공개 파이프라인(Neuronpedia 저장 퍼징 실행, delphi, SAEBench, OpenAI 공개 시뮬레이션 벤치마크)과 자체 통제군(무작위 오프셋 자연 창)을 측정하고, 세 가지 단서(피크 위치, 퍼징 음성 예시의 마크 위치·개수, top-and-random 시퀀스 순서)에 대해 규칙이 얻을 수 있는 점수의 닫힌 형식과 상한(명제 1~3)을 제시한다. 상용 타입 결정 모델(typed decision model) Jev와 오픈 가중치 Llama-3.1-8B 시뮬레이터로 단서가 결론을 바꾸는지 사전등록(preregistered) 검정을 수행한다.
  • 발견 사실 : GPT-2 small 피처 500개의 Neuronpedia 저장 퍼징 실행 1,001개에서 활성 예시의 91.3%가 중심 토큰에 피크가 있고, “중심 토큰이 표시되면 예”라는 규칙이 균형 정확도 0.979로 저장된 LLM 채점기의 0.838을 넘는다. 마크 개수만 읽는 규칙도 0.969다. delphi는 음성 예시의 index 24를 항상 표시해 0.978, OpenAI 벤치마크에서는 “처음 다섯 시퀀스에서 활성”이라고 예측하는 규칙이 풀링 상관 0.227로 GPT-4 공개 시뮬레이터의 0.160을 넘는다(사후 분석). 무작위 오프셋 자연 창에서는 모든 피처에 공유되는 최선의 위치 사전(prior)이 0.015에 그치고, Jev는 0.331(섞인 설명 0.013), 오픈 8B 시뮬레이터는 0.194(섞인 설명 0.019)로 설명을 실제로 읽는다. 단서는 점수의 수준을 높였지만(저장 스니펫 0.478 대 자연 창 0.331), 피처 순위를 바꾼다는 증거는 사전등록 검정에서 나오지 않았다.
  • 핵심 기여 :
    1. 네 공개 파이프라인의 세 구조적 단서와 닫힌 형식 : 피크 위치(명제 2), 마크만 읽는 규칙의 균형 정확도 상한(명제 3, 전변동 거리), 시퀀스 수준 예측기의 상한 $\eta$ (명제 1)를 증명하고, 각 파이프라인에서 실제 수치로 측정했다.
    2. 사전등록된 순위 해악 검정과 수준 차이의 분리 : 한 채점기의 점수가 단서 있는 데이터에서 더 높지만(49개 중 44개 피처), Spearman 0.732로 순위 재배열은 보이지 않았다. 저장 스니펫으로 학습한 소형 채점기는 자연 창에서 점수의 63%를 잃고, 설명 없이 학습해도 held-out 점수의 83%에 도달했다.
    3. 단서 제거 구성과 그것을 통과하는 채점기 : 무작위 오프셋 자연 창(BOS 토큰 필수)이 위치 단서를 없애고(스티칭은 옮기기만 함), 매칭 마크(matched marks)가 퍼징 단서를 구성적으로 없애며(유도만, 미구축), 시퀀스 내 상관 $r_{w}$ 가 시퀀스 단서를 분리한다. Jev는 자연 창에서 모든 설명 없는 규칙을 이기고, GPT-4 공개 시뮬레이터 대비 우위(+0.037)는 대부분 시퀀스 간 항에서 나온다.

Abstract 쉬운 설명(Gemini)

관련 개념

자동화 해석가능성 파이프라인: 설명·시뮬레이션·탐지·퍼징

자동화 해석가능성은 모델 내부 단위(뉴런 또는 SAE 피처)의 설명을 LLM이 쓰고, 다른 LLM이 그 설명을 채점하는 루프입니다. Bills et al. (2023)이 GPT-2 XL 뉴런에 대해 explain-then-simulate 를 도입했고, SAE 연구(Cunningham et al., Bricken et al., Templeton et al.)가 같은 루프로 사전 피처에 라벨을 붙였습니다. Paulo et al. (2025)은 이를 수백만 피처로 확장하면서 탐지(detection) 와 퍼징(fuzzing) 을 추가했고, 이 코드가 delphi 로 공개되었습니다. Neuronpedia는 그 포크(정확히는 전신인 sae-auto-interp)를 서버에서 돌리며 실행 결과를 저장합니다.

🧮 1. 시뮬레이션 점수의 정의

피처는 시퀀스 $s=1,\dots,m$ 위에서 채점되고, 각 시퀀스는 토큰 $t=1,\dots,n_{s}$ 를 가지며 참 활성은 $a_{st}$ , 전체 토큰 수는 $N=\sum_{s}n_{s}$ 입니다. 시뮬레이터는 설명 $e$ 를 읽고 모든 토큰에 대해 $\hat{a}_{st}$ 를 돌려줍니다. 점수는 OpenAI 공개 코드와 같이 모든 토큰을 풀링한 Pearson 상관 입니다.

$$ r(a,\hat{a})=\frac{\sum_{s,t}(a_{st}-\bar{a})(\hat{a}{st}-\bar{\hat{a} })}{\big[\sum{s,t}(a_{st}-\bar{a})^{2}\big]^{1/2}\big[\sum_{s,t}(\hat{a}_{st}-\bar{\hat{a} })^{2}\big]^{1/2} } $$

🔍 2. 퍼징과 탐지의 정의

항목 $x$ 는 하나의 창(window)이며, 피처가 그 안에서 활성이면 양성, 아니면 음성입니다. 각 항목에는 표시된 토큰 위치 집합 $M(x)$ 가 있습니다.

프로토콜 채점기가 보는 것 질문
퍼징(fuzzing) 설명 $e$ + 일부 토큰이 표시된 창 표시된 토큰들이 $e$ 의 사례인가?
탐지(detection) 설명 $e$ + 표시 없는 창 어떤 토큰이든 $e$ 의 사례가 있는가?

판정 $g(x)\in{0,1}$ 은 균형 정확도(balanced accuracy) 로 채점됩니다.

$$ \mathrm{BA}(g)=\tfrac{1}{2}\big(\Pr_{+}[g=1]+\Pr_{-}[g=0]\big) $$

여기서 $\Pr_{\pm}$ 는 양성·음성 항목 위의 확률입니다.

📚 3. 선행 연구에서의 위치

이 논문은 설명·모델·과제·설정을 바꾸는 기존 평가 연구(Huang et al. 2023의 인과 역할 불일치, Heap et al. 2026의 무작위 트랜스포머에서의 높은 점수, van der Ben et al. 2026의 파이프라인 설정 민감도 등)와 달리, 이들을 고정한 채 항목의 구성만으로 규칙이 얼마나 점수를 얻는지 측정합니다. NLI의 hypothesis-only baseline, annotation artifact, shortcut learning 같은 “입력만 보는 기준선” 전통에 속하되, 입력이 텍스트가 아니라 항목의 구성 이라는 점이 다르며, 그래서 닫힌 형식이 나옵니다.

💡 Key Takeaway 시뮬레이션은 풀링 Pearson 상관, 퍼징·탐지는 균형 정확도로 채점된다. 이 논문은 설명·모델·설정을 고정하고 “예시가 어떻게 만들어졌는가”만으로 얻을 수 있는 점수를 잰다.

설명 없는 규칙(explanation-free rule)과 추정량

이 논문의 핵심 개념은 설명 없는 규칙 입니다. 어떤 규칙이 항목의 구성(토큰 위치, 마크 집합 $M(x)$ , 토큰이 속한 시퀀스)만의 함수이고 설명 $e$ 와 본문 텍스트에는 의존하지 않으면 설명 없는 규칙입니다.

🎯 1. 보고해야 할 쌍

채점기 $f$ 와 미리 정한 규칙 가족 $\mathcal{G}$ 에 대해, 같은 항목 위에서 다음 쌍을 보고하자고 제안합니다.

$$ \big(\mathrm{score}(f),\ \max_{g\in\mathcal{G} }\mathrm{score}(g)\big) $$

점수가 설명 $e$ 에 대한 증거 라고 부르려면 (i) 첫째가 둘째를 넘어야 하고, (ii) 설명을 섞었을 때(shuffled explanation) $f$ 가 둘째 이하로 떨어져야 합니다.

📋 2. 사용한 규칙 가족

가족 정의 적용 프로토콜
고정 위치 사전(fixed-position prior) 한 토큰 index에서 1, 나머지 0 시뮬레이션
중심 마크 규칙(centre rule) “중심 토큰이 표시되면 예” 퍼징
고정 슬롯 마크 규칙 “특정 index가 (안) 표시되면 예” 퍼징
개수 규칙(count rule) “마크 수 $\lvert M(x)\rvert$ 가 음성 예시의 마크 수와 다르면 예” 퍼징

이와 별도로, 규칙이 아니라 천장(ceiling) 으로서 시퀀스 평균 오라클 $\hat{a}{st}=\bar{a}{s}$ 를 보고합니다. 이 오라클은 각 시퀀스의 참 평균 활성을 받되 토큰에 대해서는 아무것도 모르며, 시퀀스 안에서 상수인 모든 규칙의 상한이 됩니다(명제 1(c)). 데이터를 본 뒤 고른 규칙은 낙관적(optimistic) 이라고 표시합니다.

💡 Key Takeaway 점수는 항상 “같은 항목에서 설명 없는 최선의 규칙”과 나란히 보고해야 하며, 설명을 섞었을 때 그 규칙 수준으로 떨어져야 비로소 설명에 대한 증거다.

세 가지 닫힌 형식: 명제 1·2·3

세 명제는 알려진 결과(Robinson 1950, Tate 1954, Lehmann & Romano 2005)를 이 논문이 쓰는 형태로 다시 쓴 것이며, 증명은 부록 B에 있습니다. 저자는 증명 초안이 AI 보조로 작성되고 별도 AI 패스로 점검되었으며, 데이터와 무작위 설계에서 수치적으로 확인되었다고 밝힙니다.

📐 1. 명제 1: 시퀀스 수준 예측기

$a$ 와 $\hat{a}$ 가 상수가 아니라고 가정합니다. $\bar{a}{s},\bar{\hat{a} }{s}$ 를 시퀀스별 평균, 상관비(correlation ratio)를

$$ \eta=\Big(\sum_{s}n_{s}(\bar{a}{s}-\bar{a})^{2}\Big/\sum{s,t}(a_{st}-\bar{a})^{2}\Big)^{1/2} $$

로 두고 $\hat{\eta}$ 를 $\hat{a}$ 의 상관비라 합니다. $r_{w}$ 는 시퀀스 내 잔차 $a_{st}-\bar{a}{s}$ 와 $\hat{a}{st}-\bar{\hat{a} }{s}$ 의 풀링 상관, $r{b}$ 는 시퀀스 평균들의 $n_{s}$ 가중 상관입니다.

항 내용
(a) 모든 $\alpha>0,\ \beta\in\mathbb{R}$ 에 대해 $r(a,\alpha\hat{a}+\beta)=r(a,\hat{a})$ . 아핀이 아닌 증가 사상에서는 일반적으로 성립하지 않음 (예: $a=\hat{a}=(0,1,2)$ , $f(x)=x^{2}$ 이면 $r=6/\sqrt{39}\approx 0.961$ )
(b) $r(a,\hat{a})=r_{w}\sqrt{1-\eta^{2} }\sqrt{1-\hat{\eta}^{2} }+r_{b}\,\eta\,\hat{\eta}$ . 시퀀스 간 기여 $r_{b}\eta\hat{\eta}$ 는 최대 $\eta$
(c) 시퀀스 안에서 상수인 모든 예측기는 $r_{b}\eta\leq\eta$ 를 얻는다. 시퀀스 평균 예측기 $\hat{a}{st}=\bar{a}{s}$ 는 정확히 $\eta$ 를 얻는다. 어떤 $\hat{a}$ 에 시퀀스 수준 오프셋 $\lambda\delta_{s}$ 를 더하면 $\lambda\to\infty$ 에서 점수가 $r(a,\delta)\leq\eta$ 로 수렴

(a)는 타입 시뮬레이터의 기대 레벨이 선형 보정(calibration)을 필요로 하지 않는 이유이자, OpenAI의 보정 단계가 적합 기울기가 양수인 한 점수를 바꾸지 않는 이유입니다. (c)는 각 시퀀스의 수준만 맞히는 시뮬레이터가 top-and-random 집합에서 $\eta$ 에 도달할 수 있음을 뜻합니다.

🎯 2. 명제 2: 중심 사전(centre prior)

어떤 $n_{s}\geq 2$ 가 있다고 가정합니다. 각 시퀀스의 중심 토큰 $t=\lfloor n_{s}/2\rfloor+1$ 에서 $c_{st}=1$ , 나머지 0으로 두고, $\pi=m/N$ 을 중심 토큰의 비율, $\mu_{c},\mu_{o}$ 를 중심·비중심 토큰에서 $a$ 의 평균, $\sigma_{a}$ 를 풀링 모집단 표준편차라 하면

$$ r(a,c)=\frac{(\mu_{c}-\mu_{o})\sqrt{\pi(1-\pi)} }{\sigma_{a} } $$

입니다. 나아가 비중심 토큰이 모두 $a_{st}=0$ 이고 $\mu_{c}>0$ , $\kappa=s_{c}/\mu_{c}$ ( $s_{c}^{2}$ 는 중심 활성의 모집단 분산)이면

$$ r(a,c)=\sqrt{\frac{1-\pi}{1-\pi+\kappa^{2} } } $$

입니다. 어느 항도 설명을 포함하지 않습니다. 저장 스니펫 피처 50개에서 47개는 $\pi=1/17$ , 나머지 3개는 17토큰이 아닌 스니펫 6개 때문에 약간 작으며, 첫 항등식은 피처별 중심 사전 점수를 $10^{-14}$ 까지 재현합니다(같은 데이터 위의 대수적 항등식 검사).

📏 3. 명제 3: 마크만 읽는 규칙의 상한

$S(x)$ 를 항목 구성의 임의 통계량(마크 집합, 그 크기, 특정 위치의 표시 여부 등)이라 하고, 양성·음성에서의 법칙을 $P_{+},P_{-}$ , 공통 지배 측도 $\nu$ 에 대한 밀도를 $p_{\pm}$ , 전변동 거리를 $\mathrm{TV}(P_{+},P_{-})=\tfrac{1}{2}\int\lvert p_{+}-p_{-}\rvert\,d\nu$ 라 합니다. $S$ 를 통해서만 $x$ 에 의존하는 (무작위화될 수 있는) 모든 규칙 $g$ 에 대해

$$ \mathrm{BA}(g)\leq\tfrac{1}{2}\big(1+\mathrm{TV}(P_{+},P_{-})\big) $$

이고, 등호는 $g^{\star}(S)=\mathbf{1}[p_{+}(S)>p_{-}(S)]$ 에서 성립합니다. $P_{+}=P_{-}$ 이면 모든 규칙이 정확히 $\tfrac{1}{2}$ 입니다. 이 명제는 매칭 마크 법칙 을 설계 규칙으로 만듭니다. 양성과 음성의 마크 법칙이 같으면 채점기는 마크 너머로 읽은 것만으로 우연을 이길 수 있습니다.

💡 Key Takeaway 명제 1은 시퀀스 수준 정보만으로 $\eta$ 까지, 명제 2는 중심 사전이 $\mu_{c}-\mu_{o},\pi,\sigma_{a}$ 만으로 얼마를 얻는지, 명제 3은 마크만 보는 규칙이 $\tfrac{1}{2}(1+\mathrm{TV})$ 까지 얻을 수 있음을 설명 없이 결정한다.

측정 대상 데이터: 네 공개 파이프라인과 통제군

🗂️ 1. 다섯 데이터 소스 (부록 D)

번호 소스 내용
(i) Neuronpedia 저장 퍼징 실행 GPT-2 small layer 8 잔차 스트림 SAE(Bloom 2024). 무작위 피처 500개(500-feature sample)에 LLM 채점기 실행 1,001개(gemini-2.0-flash 500개, 2025-02; llama-3.1-70b-instruct 500개, 2025-03; claude-3.5-sonnet 1개) + index 순 첫 50개 피처(직접 채점도 수행). Gemma-2-2B layer 20 Gemma Scope 피처 index 0–1,199 중 저장 실행이 있는 12개, 신규 실행 27개(2025-08~2026-03)
(ii) delphi (commit 4fea06e) 50개 피처에 대해 기본 모드와 centring 활성화 모드로 로컬 구축
(iii) SAEBench (commit 8042bb3) 같은 방식으로 구축한 채점 창
(iv) OpenAI 공개 릴리스 GPT-2 XL 뉴런 400개 표본. 각 뉴런의 GPT-4 설명, top-and-random 채점 시퀀스, 참 활성, GPT-4 토큰별 시뮬레이션
(v) 자연 창(통제군) 자체 구축(6절)

(ii)(iii)은 OpenWebText-10k 위에서, 저장 실행은 2026년 9월 Neuronpedia 공개 API에서 얻었습니다.

🔧 2. 저장 실행의 한계와 마크 재구축

저장 실행은 각 항목의 텍스트·활성·채점기 판정은 보존하지만 어떤 토큰이 표시되었는지는 저장하지 않습니다. 그래서 저자는 Neuronpedia가 아직 돌리는 sae-auto-interp 포크의 규칙으로 마크를 재구축합니다.

항목 규칙
양성 마크 항목 최대 활성의 0.3 이상인 모든 토큰
음성 마크 시드를 22로 재설정한 뒤 고정 크기의 표본을 추출
버전 의존성 lock이 리비전을 고정하지 않아 추론됨. 관련 세 파일의 마킹 로직은 2024년 11월 이후 변경 없음

추론된 시드에 의존하는 것은 음성 예시의 마크 위치뿐 입니다. 양성 마크와 음성의 마크 개수는 저장된 활성에서 따라 나오며, 개수 규칙은 위치를 쓰지 않습니다. 음성 위치를 대신 균등 무작위로 뽑으면(사후, 정확 기대값) 중심 규칙은 0.880으로, 저장 채점기 0.838보다 1,001개 중 523개에서 높습니다( $p=0.16$ ).

저장 정확도는 저장된 판정에서 재계산한 값입니다. Neuronpedia가 표시하는 점수는 1,001개 중 112개에서 이 재계산과 다르며(평균 0.845 대 0.838), 중심 규칙은 표시 점수보다 735개에서 높고 89개에서 낮습니다.

📝 3. 사전등록 여부

500개 피처 분석, 퍼징 규칙, delphi·SAEBench 분석, 해악 검정은 결정 규칙과 함께 사전등록되었습니다. 저장 스니펫 50개 피처와 OpenAI 뉴런 400개에 대한 중심 사전과 $\eta$ 는 사전등록보다 앞서 계산되었고, 사후 분석은 표시됩니다. 별도 언급이 없으면 $p$ 값은 실행·피처·뉴런에 대한 양측 부호 검정(sign test)이며 다중 비교 보정은 하지 않았습니다.

💡 Key Takeaway 대규모 저장 실행이 있는 SAE는 GPT-2 small layer 8 하나뿐이었고, 저장 실행은 마크를 보존하지 않아 코드에서 재구축해야 했다. 추론된 시드가 영향을 주는 것은 음성 마크 위치뿐이다.

단서 1: 피크 중심 크롭(위치 단서)

📍 1. Neuronpedia의 17토큰 창

Neuronpedia의 저장 예시는 활성 피크를 중심으로 자른 17토큰 창이어서, 500개 무작위 피처에서 활성 예시의 91.3% 가 중심 토큰(1-based로 9번째)에 피크가 있습니다.

규칙 / 채점기 값 비고
중심 토큰에 1, 나머지 0 (시뮬레이션) 평균 풀링 상관 0.732  
사후 최선 고정 index (시뮬레이션) 0.760 낙관적
중심 규칙 (퍼징, 재구축 마크) BA 0.979 1,001개 실행
gemini-2.0-flash 저장 채점기 0.864 규칙이 312승 59패, $p=1.1\times 10^{-42}$
llama-3.1-70b 저장 채점기 0.812 437승 23패, $p=2.7\times 10^{-100}$

재구축된 양성 마크는 거의 항상 중심을 포함하고, 고정 시드 음성 마크는 거의 중심을 포함하지 않으므로 “중심 토큰이 표시되면 예”가 거의 모든 항목에서 맞습니다.

📊 2. 첫 50개 피처 (Table 3)

채점기 또는 규칙 (항목) 균형 정확도 AUROC
Jev 탐지 (표시 없음) 0.803 0.893
Jev 탐지, 섞인 설명 0.504 0.499
Jev 퍼징 (재구축 마크) 0.797 0.949
gemini-1.5-flash 저장 퍼징 (54 실행) 0.858 –
gemini-2.0-flash 저장 퍼징 (51 실행) 0.841 –
llama-3.1-70b-instruct 저장 퍼징 (50 실행) 0.790 –
중심 규칙 (재구축 마크) 0.985 –
개수 규칙 (재구축 마크) 0.956 –

부호 검정은 모두 $p\leq 4.1\times 10^{-5}$ 입니다. 중심 사전은 0.723이며 명제 2가 피처별로 $10^{-14}$ 까지 재현합니다. 중심 토큰은 각 피처 활성 질량의 평균 68%를 가집니다. Jev의 퍼징 정확도는 재구축 마크에서 llama-3.1-70b와 0.05 이내 동등(차이 +0.0065, 90% 구간 [-0.035, 0.048])이며, 둘 다 중심·개수 규칙 아래입니다. 이 비교는 단서가 있는 항목 위이므로 채점기 간 순서는 매기지만 설명 품질은 재지 못합니다.

🔄 3. Gemma 실행은 대조군

Gemma 실행은 127토큰 창을 쓰며 피크가 어디든 있을 수 있습니다. 중심 사전은 0.003, 중심 규칙은 재구축 마크에서 0.552에 그칩니다. 즉 위치 단서는 파이프라인에 따라 있기도 없기도 합니다.

💡 Key Takeaway 17토큰 피크 중심 크롭 때문에 “9번째 토큰이 표시되면 예”라는 규칙이 BA 0.979로 저장 LLM 채점기(0.838)를 크게 이긴다. 같은 규칙은 127토큰 Gemma 창에서는 0.552에 그친다.

단서 2: 퍼징 음성 예시의 고정 마크 위치와 개수

🔢 1. sae-auto-interp 포크의 음성 마킹

포크는 각 음성 예시에 $n$ 개 토큰을 표시하는데, $n$ 은 양성 예시의 평균 활성 토큰 수를 올림한 값입니다. 활성 토큰은 양성이 실제로 표시하는 “최대의 0.3 이상” 토큰보다 많으므로, 음성 예시는 양성보다 더 많은 토큰이 같은 슬롯 에 표시됩니다.

실행 음성 마크 수 양성 마크 수 개수 규칙 BA 저장 채점기 BA
GPT-2 (1,001 실행) 3.6 1.9 0.969 0.838
Gemma (27 실행) 19.9 9.2 0.981 0.794 (규칙 24승 2패, $p=1.0\times 10^{-5}$ )

Gemma에서는 위치 단서가 없어도 개수 단서 가 남아 있습니다.

⚙️ 2. 현행 delphi

모드 관찰
기본(center_examples=True) 이름과 반대로 비중심 창을 돌림(commit cc9387c 이후 분기가 반전). 테스트 피크 중 2.8%만 32토큰 중 index 24에 위치, 고정 index 시뮬레이션 사전은 $-0.003$ . 그러나 샘플러는 모든 음성에서 index $\ell-\lfloor\ell/4\rfloor=24$ 를 반드시 표시하고 시드된 동반 마크를 추가(모든 음성이 최소 2개). 음성 100% 대 양성 4.3%가 index 24 표시 → “index 24가 표시되지 않으면 예” 0.978, 개수 규칙 0.944
False(중심화) 피크가 index 24에 위치, 고정 index 시뮬레이션 사전 0.466. index 24 규칙은 상쇄(0.491)되지만 index 31의 동반 마크가 0.994(사후), 개수 규칙 0.935

사전등록되지 않은 발견으로, delphi는 설명 예시와 테스트 예시를 같은 재설정 시드 로 뽑아 모든 피처의 테스트 예시 50개 중 10개가 설명기에게도 보였습니다(train/test 중첩).

🚫 3. SAEBench

SAEBench는 21토큰 중심 창(200개 중 180개 피크가 index 10)을 쓰지만 탐지용으로 표시 없이 보여주므로 마크 규칙이 읽을 입력이 없습니다. Figure 2에 SAEBench 행이 없는 이유입니다.

💡 Key Takeaway 음성 예시가 양성보다 많은 마크를 같은 슬롯에 갖는 구조 때문에 마크 개수만으로 0.969(GPT-2)·0.981(Gemma)의 BA가 나온다. 현행 delphi는 크롭을 없앴지만 index 24 고정 마크로 0.978의 규칙 점수를 남긴다.

단서 3: top-and-random 시퀀스 순서

🧭 1. 시퀀스 수준 오라클 $\eta$

OpenAI의 채점 집합은 상위 활성 시퀀스와 무작위 시퀀스를 섞습니다. 명제 1(c)에 따라 각 시퀀스의 참 평균 활성을 받는 시퀀스 평균 예측기는 상관비 $\eta$ 를 얻으며, 이것이 시퀀스 안에서 상수인 모든 규칙의 천장입니다. 400개 뉴런에서 $\eta$ 는 평균 0.288 로, GPT-4 공개 시뮬레이터의 0.160 을 넘습니다.

🔢 2. 순서만 읽는 규칙

릴리스는 각 뉴런의 상위 활성 시퀀스 다섯 개를 먼저 나열합니다(400개 뉴런 모두에서 정렬되어 있고, 398개에서 이후 모든 시퀀스보다 위). 그 다섯 시퀀스에서 1을 예측하는 규칙은 0.227 로, 400개 중 287개 뉴런에서 GPT-4보다 높습니다( $p=1.5\times 10^{-18}$ , 사후). GPT-4 시뮬레이터는 이 순서를 보지 않았으므로, 이 규칙은 데이터가 무엇을 담고 있는지 를 보여줄 뿐 GPT-4가 그것을 썼다는 뜻은 아닙니다.

📌 3. 함의

풀링 점수는 시퀀스 수준 오프셋만으로도 오를 수 있습니다(명제 1(c)의 $\lambda\to\infty$ 항). 그래서 저자는 시퀀스 단서를 제거하는 대신 시퀀스 내 상관 $r_{w}$ 를 분해로 분리해 나란히 보고하자고 합니다.

💡 Key Takeaway top-and-random 집합에서는 시퀀스 평균만 아는 오라클이 0.288로 GPT-4(0.160)를 이기고, 파일 순서만 읽는 규칙도 0.227을 얻는다. 풀링 상관만으로는 토큰 수준 능력을 보일 수 없다.

단서가 결론을 바꾸는가: 사전등록 해악 검정

단서는 그것이 있는 데이터에서 계산한 점수가 없는 데이터에서 계산한 점수와 피처 순위를 다르게 매길 때 비로소 해악이 됩니다. 저자는 저장 스니펫과 자연 창을 모두 가진 49개 피처에서 Jev의 시뮬레이션 점수(Neuronpedia는 퍼징 실행만 저장하고 시뮬레이션 점수는 저장하지 않음)로 이를 검정했습니다.

📐 1. 사전등록 판정 규칙

저장 점수와 중심 사전의 Spearman 상관 $\rho_{\mathrm{geo} }$ 가 저장 점수와 자연 창 점수의 상관 $\rho_{\mathrm{nat} }$ 를 넘고 부트스트랩 구간이 0을 제외하면 “해악”.

양 값 95% 구간
$\rho_{\mathrm{geo} }$ 0.512 [0.23, 0.72]
$\rho_{\mathrm{nat} }$ 0.732 [0.53, 0.87]
차이 $-0.221$ [-0.52, 0.06]
중심 사전을 통제한 편상관 0.710 [0.52, 0.85]
두 집합의 split-half 천장 0.925, 0.888  

사전등록 판정: “기하 교란(geometry confound) 존재, 순위 해악은 보이지 않음.”

📉 2. 수준 차이 (사후 추가)

Jev의 평균 점수는 저장 스니펫 0.478 에서 자연 창 0.331 로 떨어지며 49개 중 44개 피처에서 낮습니다( $p=7.6\times 10^{-9}$ ). 다만 두 집합은 창 길이(17 대 64토큰)와 구성(저장 스니펫 25개 중 5개가 비활성; 자연 창 10개 중 5개가 무작위)도 다르므로 이 비교는 단서를 고립시키지 못합니다. 평균 74토큰이고 중심 단서가 옮겨진 스티칭 구절은 0.476을 유지하므로, 길이에 대해서만 부분 통제가 됩니다.

🔬 3. 저장 퍼징 실행에서 채점기가 단서를 썼는가

첫 50개 피처에서 각 채점기(llama-3.1-70b, gemini-1.5-flash, gemini-2.0-flash)의 피처별 BA와 중심 규칙 BA의 사전등록 Spearman 상관은 $-0.20,-0.17,-0.19$ (구간이 0 포함)입니다. 사전등록 밖에서는 개수 규칙과의 Spearman이 0.30, 0.31, 0.31(구간이 0 제외; Pearson 0.18, 0.11, 0.19는 0 포함)이고, 두 Gemini 채점기는 시뮬레이션 중심 사전과도 0.42, 0.50의 상관을 보이는데, 이는 단서 사용일 수도 있고 피처가 얼마나 날카롭게 발화하는지의 반영일 수도 있습니다.

중심이 표시되지 않은 양성(중심 규칙은 거부)은 11개 중 9, 9, 10개가 수용되었고(중심 표시 양성의 수용률 0.69, 0.79, 0.76; Fisher $p\geq 0.47$ , 채점기당 11개는 차이를 보이기에 너무 적음), 중심이 표시된 음성 5개는 모두 거부되었습니다. 결론: 점수의 수준 은 설명에 대해 거의 말해주지 않지만(규칙이 설명 없이 도달), 공개된 피처 순서 가 틀렸다고는 보이지 않으며, 개수 단서 사용 여부는 미해결입니다.

🧪 4. 두 가지 추가 사전등록 검정

설명 선택(explanation choice). 49개 피처의 Neuronpedia 설명 105개(43개 피처가 2개, 5개가 3개, 1개가 4개)를 Jev(2-level 루브릭)로 두 집합에서 채점했습니다. 저장 스니펫에서 최고인 설명이 자연 창에서도 최고인 피처는 49개 중 36개(우연 0.48), 105개 중 90개 설명이 저장 스니펫에서 더 높습니다. 그러나 한 집합의 두 반쪽이 최고 설명에 대해 불일치하는 빈도(0.25, 0.31)가 두 집합 간 불일치(0.29)와 비슷해, 피처당 10개 창으로는 채점기가 순위를 해상하지 못합니다. 10-level 루브릭(2차 arm)은 37/49, 93/105입니다.

단서 있는 데이터로 학습한 채점기. 22.7M 파라미터 문장 인코더(all-MiniLM-L6-v2) + 선형 토큰 헤드를 500-feature sample 중 360개 피처의 저장 스니펫으로 학습(40개는 epoch 선택, 100개 held-out, 6 epoch, 두 시드, 시드 간 차이 0.01 미만)했습니다.

조건 점수 비고
전체 모델, held-out 저장 스니펫 0.526  
설명을 빈칸으로 (사전등록 기준) 12% 유지 기준 “절반 이상 유지”는 미충족. 빈 설명은 분포 밖
설명 없이 학습한 같은 모델 0.438 전체 모델의 83%
섞인 설명 31% 유지 Jev는 6%
자연 창에서 전체 모델 0.193 63% 하락 (Jev는 31%)

💡 Key Takeaway 사전등록 검정은 “기하 교란은 있으나 순위 해악은 보이지 않음”으로 끝났다. 그러나 수준은 분명히 달라(0.478 → 0.331), 저장 스니펫으로 학습한 채점기는 설명 없이도 83%의 점수를 얻는다.

깨끗한 데이터 만들기: 스티칭, 무작위 오프셋 창, BOS, 매칭 마크

🧵 1. 스티칭은 위치 단서를 옮길 뿐이다 (부록 F)

저장 스니펫 네 개를 시드된 무작위 순서로 이어 붙이고(피처 자신의 것 1~3개, 나머지는 다른 피처) Neuronpedia 활성 엔드포인트에서 활성을 다시 재면, 피크가 네 조각의 중심 에 놓입니다. 49개 피처, 392개 구절(피처당 8개; 50개 중 1개는 활성 스니펫이 3개 미만이라 제외). 스티칭 스크립트를 재생해 복원한 참 조각 중심 사전은 0.496, Jev는 0.476으로 그 위가 아닙니다(49개 중 26개, $p=0.78$ ). 또한 토큰을 텍스트로 이어 엔드포인트가 재토큰화하면서 392개 중 359개 구절에 바이트 수준 mojibake가 생겼습니다.

🎲 2. 무작위 오프셋 자연 창이 위치 단서를 없앤다

50개 중 49개 피처에 대해 OpenWebText에서 GPT-2 small과 같은 SAE로 활성을 로컬 계산하고, 활성 발생 5개 주변에 피크 오프셋을 균등 추출 한 64토큰 창 + 무작위 창 5개를 잘라 총 488개 창(한 피처는 8개)을 만들었습니다. 사전등록 경계는 중심·4분위 사전의 평균 $\lvert r\rvert\leq 0.05$ 였습니다.

사전 / 오라클 값
중심 사전 0.003
4분위(four-quarter) 사전 $-0.005$
모든 피처가 공유하는 사후 최선 오프셋 (64개 중 index 16) 0.015
참 활성으로 피처별 최선 오프셋을 고르는 오라클 0.171
시퀀스 평균 오라클 $\eta$ 0.166 (활성·무작위 창이 섞여 시퀀스 단서는 남음)

문서는 1,016토큰으로 자르고 127토큰 청크로 나눠 BOS 포함 128토큰 컨텍스트(SAE 학습 길이)로 실행했습니다. 발생의 가능 범위에서 오프셋을 뽑은 첫 빌드는 U자형 피크 히스토그램을 보여 채점 전에 폐기되었습니다.

🔑 3. 활성은 BOS 토큰과 함께 계산해야 한다

저장 크롭에서 BOS 토큰 없이 활성을 로컬 재계산하면 Neuronpedia 값과의 피처별 중앙 상관이 0.082 에 불과하고, BOS를 넣으면 크롭에서 0.978, 스티칭 구절에서 0.999입니다. 원인은 첫 위치의 잔차 이상치(attention sink)입니다. BOS 없이는 첫 실제 토큰의 잔차 노름이 나머지 중앙값의 29.4배 이고 SAE 활성 질량의 중앙값 84% 를 받습니다. 첫 위치를 버리면 중앙 상관 0.985, 각 위치의 잔차를 중심화하면 0.994로 복원됩니다(노름 비는 그대로).

⚖️ 4. 매칭 마크는 퍼징 단서를 구성적으로 없앤다

명제 3에 따라, 각 음성의 마크 집합을 라벨·텍스트와 독립적으로 양성의 법칙 에서 뽑으면(예: 같은 피처·같은 창 길이의 무작위 양성의 마크를 가져오고, 길이도 두 클래스에서 같게 추출) 미리 정한 모든 마크 전용 규칙의 기대 BA는 $\tfrac{1}{2}$ 이고, 양성 마크 집합을 같은 수의 음성에 일대일 재할당하면 정확히 $\tfrac{1}{2}$ 입니다. 저자는 이 구성을 유도했을 뿐 구축·채점하지는 않았습니다.

💡 Key Takeaway 위치 단서는 무작위 오프셋 창(공유 사전 0.015)으로 사라지고, 스티칭은 조각 중심으로 옮길 뿐이다. 로컬 재계산은 BOS 토큰 없이는 Neuronpedia 값과 상관 0.082밖에 안 나온다.

깨끗한 창 위의 채점기: Jev와 오픈 8B 시뮬레이터

🧩 1. Jev란

Jev(Almeida 2026)는 텍스트를 생성하는 대신 선언된 답 선택지 위의 분포 를 돌려주는 상용 타입 결정 모델(typed decision model)입니다(jev-1.13.0으로 요청; 아키텍처·학습 데이터 비공개). 저자는 이를 “기준을 충족할 수 있다는 존재 증명이지 추천 채점기가 아니다”라고 못 박습니다. 시뮬레이션에서 각 토큰은 순서 있는 10단계 루브릭 위의 Score 질문 하나이며, 설명과 문서는 공유 state에 두고, 예측은 기대 레벨 입니다.

$$ \hat{a}{st}=\sum{\ell}\ell\,p_{st}(\ell) $$

API가 최대 10단계를 받으므로 GPT-4의 0–10은 0–9가 됩니다. 명제 1(a)에 의해 수치 범위 변화는 무관하지만, 11단계에서 10단계로의 변화는 루브릭 변화라 (a)가 덮지 않습니다. 퍼징·탐지는 발췌별 Noul(예/아니오) 질문이며, 퍼징은 표시 토큰을 << >> 로 감싸고 임계 0.5로 판정합니다.

📈 2. 자연 창에서의 결과

비교 Jev (10-level) 상대 승/패 (49 피처) $p$
섞인 설명 0.331 0.013 46/49 $7.0\times 10^{-11}$
피처별 오프셋 오라클 0.331 0.171 38/49 $1.4\times 10^{-4}$
시퀀스 평균 오라클 $\eta$ 0.331 0.166 34/49 0.0094

명제 1(b)로 분해하면 시퀀스 내 0.285, 시퀀스 간 0.045 로, 점수 대부분이 창 안에서 토큰 순위를 매기는 데서 나옵니다. 그곳에서 공유 위치 사전은 0에 가깝습니다. 같은 채점기의 스티칭 구절 점수 0.476은 자연 창 점수를 0.146 과대평가했습니다(49개 중 43개에서 자연 창이 낮음, $p=5.7\times 10^{-8}$ ). (두 분해 항의 합 0.330과 총점 0.331, 그리고 0.476−0.331과 본문의 0.146은 반올림 수준의 차이입니다.)

🦙 3. 오픈 가중치 Llama-3.1-8B-Instruct

OpenAI의 all-at-once 시뮬레이터 프롬프트(시스템 메시지, few-shot 레코드 3개, 모든 활성이 미지인 대상 시퀀스를 prefilled assistant turn으로)를 채팅 템플릿으로 렌더링하고, 각 미지 슬롯에서 숫자 토큰 0–10의 프롬프트 로그확률을 재정규화한 기대값을 활성으로 씁니다. 시퀀스당 순전파 한 번, 생성 없음. 총 11,590 시퀀스.

집합 8B 시뮬레이터 비교
자연 창 0.194 (섞인 설명 0.019; 41/49, $p=2.0\times 10^{-6}$ ) Jev의 59% 수준. 피처별 오프셋 오라클과 구별 불가(25/49)
저장 스니펫 0.386 중심 사전 0.720 아래 (Jev도 마찬가지)
OpenAI 400 뉴런 0.125 GPT-4와 $p=0.05$ 에서 미해상(182/400, $p=0.08$ ; 순위 상관은 더 낮음), Jev보다 낮음(102/400)

사전등록된 top-20 로그확률은 smoke run의 OpenAI 시퀀스 100개 중 21개에서 실패해(숫자가 top 20에 없으면 시퀀스 전체 실패) 본 실행 전에 top-100으로 결정했고, 그래도 88개 시퀀스가 실패해 0으로 채우지 않고 버렸습니다(모든 단위가 10개 중 최소 9개 문서 유지). 추론은 H200 한 장에서 2시간 10분, 평균 GPU 이용률 4.6%(엔진이 top-100 로그확률을 CPU에서 후처리).

🧪 4. 오픈 타입 결정 모델 두 개 (Table 1)

채점기 평균 $r$ GPT-4 대비 $\Delta$ , 부호 검정 섞인 설명 대비 $\Delta$
GPT-4, 공개 +0.160 – –
Jev +0.197 +0.037, $p=2.3\times 10^{-8}$ –
laya-multilingual (322M) +0.012 $-0.148$ , $p=8.6\times 10^{-25}$ +0.005, $p=0.37$
laya-typed-decisions (421M) +0.000 $-0.160$ , $p=9.0\times 10^{-26}$ +0.012, $p=0.057$

두 Laya 체크포인트(1,024토큰)는 바이트 동일 입력에서 GPT-4 아래이고 자기 섞인 통제군과 구별되지 않았으며, 렌더링 변경도 복구하지 못했습니다. 저자는 타입 결정 모델이라는 범주에 대해 결론을 내리지 않습니다.

💡 Key Takeaway 단서 없는 자연 창에서 Jev는 0.331(섞인 설명 0.013)로 모든 설명 없는 규칙과 두 오라클을 이기고, 오픈 8B 시뮬레이터도 0.194(0.019)로 설명을 읽는다. 둘 다 저장 스니펫에서는 중심 사전(0.720) 아래다.

GPT-4 공개 시뮬레이터와의 정면 비교 (Table 5)

OpenAI 릴리스에서는 시퀀스 수준 오라클 $\eta$ 가 GPT-4 점수를 넘습니다. 저자는 GPT-4의 설명과 시퀀스로 400개 뉴런에서 Jev(10-level)를 돌렸습니다. GPT-4의 저장 예측에서 풀링 상관을 재계산하면 공개 점수를 모든 뉴런에서 $2\times 10^{-15}$ 이내로 재현합니다(풀링 관례 점검). 1차 검정과 결과 문구는 40뉴런 파일럿( $\Delta=+0.025$ , $p=0.27$ ) 후, 본 실행 전에 고정되었습니다. Jev의 학습 데이터가 비공개이므로 2023년부터 공개된 OpenAI 릴리스가 포함되었을 가능성은 배제할 수 없으며, 6절의 자연 창 활성은 이 연구에서 처음 계산되어 이전에 공개된 적이 없습니다.

📋 1. 전체 표

채점기 평균 $r$ ± sem 중앙 $r$
GPT-4, 공개 시뮬레이터 +0.160 ± 0.010 +0.099
Jev, 10-level 루브릭 +0.197 ± 0.009 +0.169
Jev, 4-level 루브릭 +0.191 ± 0.009 +0.161
Jev, 섞인 설명 +0.017 ± 0.004 +0.007
시퀀스 중심 사전 +0.004 ± 0.002 $-0.009$
쌍 비교 (뉴런별) $\Delta$ ± sem 승/패, 부호 검정
Jev (10-level) − GPT-4 +0.0373 ± 0.0061 256/144, $p=2.3\times 10^{-8}$
Jev (4-level) − GPT-4 +0.0313 ± 0.0057 251/149, $p=3.8\times 10^{-7}$
Jev − 섞인 설명 +0.1800 ± 0.0099 334/66, $p=3.3\times 10^{-44}$
강건성 (사전등록 후속) $\Delta$ ± sem 승/패, 부호 검정
Jev (10-level) − GPT-4, 파일럿 제외 ( $n=360$ ) +0.0387 ± 0.0063 232/128, $p=4.6\times 10^{-8}$
Jev (2-level) − GPT-4 +0.0187 ± 0.0058 235/165, $p=5.4\times 10^{-4}$
Jev (2-level) − Jev (10-level) $-0.0186$ ± 0.0024 142/258, $p=7.1\times 10^{-9}$
Jev 인과 접두부 − GPT-4 ( $n=100$ ) +0.0181 ± 0.0117 58/42, $p=0.13$
Jev 인과 − Jev 전체 컨텍스트 ( $n=100$ ) $-0.0023$ ± 0.0023 51/49, $p=0.92$
Spearman: Jev (10-level) − GPT-4 $-0.0092$ ± 0.0041 180/220, $p=0.051$
Spearman: Jev (4-level) − GPT-4 $-0.0160$ ± 0.0043 175/225, $p=0.014$
사후, 명제 1(b) 분해 $\Delta$ ± sem 승/패, 부호 검정
$r_{w}$ : Jev 0.165 vs GPT-4 0.143 +0.0217 ± 0.0054 242/158, $p=3.1\times 10^{-5}$
$r_{b}$ : Jev 0.322 vs GPT-4 0.270 +0.0522 ± 0.0161 229/171, $p=0.0043$
시퀀스 내 항 $r_{w}\sqrt{1-\eta^{2} }\sqrt{1-\hat{\eta}^{2} }$ +0.0099 ± 0.0050 235/165, $p=5.4\times 10^{-4}$
시퀀스 간 항 $r_{b}\eta\hat{\eta}$ +0.0275 ± 0.0030 260/140, $p=2.0\times 10^{-9}$

🔎 2. 우위를 제한하는 네 가지

  1. 순위 상관에서는 검출되지 않습니다. 평균 Spearman은 Jev 0.074, GPT-4 0.083( $p=0.051$ )이고, 4-level 루브릭에서는 사전등록된 불리한 분기가 성립해 GPT-4가 순위 상관에서 높습니다( $-0.016$ , $p=0.014$ ).
  2. 대부분 시퀀스 간에 있습니다. Jev는 시퀀스 평균을 더 넓게 펼치며( $\hat{\eta}$ 0.393 대 0.296), +0.037의 격차 중 시퀀스 내 항이 +0.010, 시퀀스 간 항이 +0.027입니다. $r_{w}$ 자체는 Jev가 여전히 높습니다(0.165 대 0.143).
  3. Jev는 전체 시퀀스를, GPT-4는 접두부를 봅니다. 100개 뉴런에서 Jev를 인과 접두부로 제한하면 0.185에서 0.182로 바뀌며(두 예측 간 중앙 상관 0.95), 0.037 격차보다 한 자릿수 작습니다. 다만 이 부분집합에서는 어느 변형도 GPT-4보다 유의하게 높지 않습니다(인과 $p=0.13$ , 전체 컨텍스트 $p=0.76$ ).
  4. 두 시뮬레이터 모두 $\eta$ 아래입니다. 이 벤치마크에서는 시퀀스 수준 오라클이 둘 다 이기므로 풀링 점수만으로는 토큰 수준 능력을 보일 수 없습니다.

💡 Key Takeaway Jev는 GPT-4 공개 시뮬레이터를 풀링 상관에서 +0.037 앞서지만, 그 중 +0.027은 시퀀스 간 항이고 순위 상관에서는 차이가 없거나 역전된다. 두 시뮬레이터 모두 시퀀스 평균 오라클(0.288) 아래다.

루브릭 ablation과 비용 (Table 2, 4)

🎚️ 1. 루브릭·인코딩 ablation (Table 2, 스티칭 49 피처)

4-level 루브릭 대비 피처별 쌍 비교, Holm 보정 $p$ 포함. “bare index”는 질문에서 토큰 텍스트를 뺀 것입니다. 참 조각 중심 사전(0.496)이 최선 arm과 0.01 이내이므로, 이 arm들은 옮겨진 위치 단서가 있는 항목 위에서 비교된 것입니다.

Jev 조건 토큰/질문 평균 $r$ 4-level 대비 $\Delta$ 승/패 $p$ Holm $p$
2 levels 69.3 0.502 +0.005 28/21 0.39 0.39
4 levels 97.3 0.497 – – – –
10 levels 165.3 0.476 $-0.020$ 17/32 0.044 0.089
10 numerals, legend in state 110.4 0.463 $-0.034$ 13/36 0.0014 0.0042
2 levels, bare index 47.2 0.341 $-0.155$ 7/42 $3.6\times 10^{-7}$ $1.8\times 10^{-6}$
4 levels, bare index 75.2 0.335 $-0.161$ 8/41 $2.0\times 10^{-6}$ $7.9\times 10^{-6}$
조각 중심 사전, 참 경계 – 0.496 – – – –
중심 사전 – $-0.021$ – – – –
섞인 설명 – 0.021 – – – –

10-level과 4-level의 차이는 Holm 보정을 넘지 못합니다. 그러나 뉴런(OpenAI 400개)에서는 2-level이 더 약합니다. GPT-4보다는 높지만(+0.0187) 10-level보다 낮습니다( $-0.0186$ ).

💰 2. 비용 (부록 H)

Jev는 입력 토큰만 과금하지만 토큰별 프로토콜은 토큰마다 루브릭을 다시 보내므로, 채점 토큰당 입력 토큰이 2-level에서 69.3개, 10-level에서 165.3개입니다. Paulo et al. (2025)의 Llama-70b 채점기 비용은 피처당 100 컨텍스트 기준 추정치입니다. 그 예산에서 32토큰 컨텍스트로 비교하면 다음과 같습니다(10만 피처 기준).

항목 Jev LLM 추정 배수
시뮬레이션, 2-level USD 931 USD 3,600 3.9
시뮬레이션, 10-level USD 2,222 USD 3,600 1.6
탐지 USD 58 USD 588 10.1

200 컨텍스트에서는 10-level이 10만 피처당 USD 4,443으로 100 컨텍스트 추정치의 1.23배, 즉 LLM보다 비쌉니다. 400뉴런 실행에서는 요청당 최대 70 질문, 8 동시 워커, 4,399 요청(요청당 평균 63.7 질문), 중앙 지연 1.15초, 95 백분위 2.93초였고, 문서화된 한도 분당 1,200 요청은 약 23 워커 이상에서 묶입니다.

📦 3. 사전 전체 투영 (Table 4)

Bills et al. (2023)의 640토큰 예산, 2-level 루브릭, 입력 100만 토큰당 USD 0.042 기준입니다. 벽시계 시간은 요청 수 × 중앙 지연 1.15초 / 8 워커와 문서화된 rate limit 중 큰 쪽입니다. 425,984 피처 행은 Gemma-2-2B 26개 층 각각의 16k SAE입니다.

사전 (피처 수) 시뮬레이션 비용 (USD) 시뮬레이션 시간 (h) 탐지 비용 (USD) 탐지 시간 (h)
16,384 30.52 6.0 1.22 0.7
24,576 45.78 9.0 1.82 1.0
65,536 122.08 24.0 4.87 2.6
100,000 186.28 36.6 7.43 4.0
425,984 793.52 155.9 31.63 17.1

💡 Key Takeaway 스티칭 구절에서는 2-level과 4-level이 비슷하고 10-level이 약간 낮지만 Holm 보정을 넘지 못하며, bare index는 크게 떨어진다. 비용은 2-level 시뮬레이션이 LLM 추정치의 1/3.9, 탐지가 1/10.1 수준이다.

사전등록과 그 결과 (부록 E)

저자는 각 분석을 실행 전에 결정 규칙과 함께 기록하고 결과를 규칙 수정 없이 덧붙였습니다. 코드·사전등록·실험 노트·캐시된 API 응답·항목별 결과·입력 파일의 크기와 SHA-256 매니페스트를 출판 시 공개하겠다고 밝힙니다. Neuronpedia 스니펫 텍스트는 데이터 라이선스가 명시되지 않아 콘텐츠 해시로 대체됩니다.

📑 1. 사전등록 항목과 판정

항목 판정
400 뉴런 확장 (40 파일럿 후) “significantly higher”
해악 검정 “기하 교란 존재, 순위 해악 보이지 않음”
500-feature sample GPT-2에서 “leak replicates”, Gemma에서 “no position leak”(개수 규칙은 무관하게 보고)
delphi 기본 모드 “시뮬레이션에서 고정 오프셋 leak 없음”, 퍼징 위치 단서는 0.6 경계 위
BOS 메커니즘 “측정된 대로 서술”
순위 상관 10-level “둘을 분리하지 못함”, 4-level “GPT-4가 순위 상관에서 높음”
설명 선택 “보이지 않음”(이 표본 크기에서 채점기가 순위를 해상하지 못한다는 도구 플래그)
학습 채점기 “보이지 않음”(첫 절이 12%에서 실패)
오픈 가중치 시뮬레이터 “설명을 읽음”(OpenAI 뉴런에서 도구 민감; 세 집합 모두 Jev 아래; GPT-4 대비 풀링은 미해상, 순위는 더 낮음)

🔁 2. 해악 검정의 합성 통제

실데이터 결과 후, 49개 피처의 합성 순위에 사전등록 규칙을 적용했습니다(사후). 저장 점수를 크롭 기하만 + 잡음으로 만들면 “해악 입증”, 자연 창 점수만으로 만들면 “순위 해악 보이지 않음”, 둘을 섞으면 기하 가중치 0.6에서 처음 발화(5시드 중 4개), 0.7부터 모든 시드에서 발화했습니다. 이는 합성 데이터에서 도구를 보정 한 것이지 실데이터의 양성 통제는 아닙니다.

🚫 3. 사전등록되지 않은 것

delphi의 train/test 중첩(샘플러 복제 중 발견), 쌍 수준 비교, 저장 퍼징 정확도와 개수 규칙·시뮬레이션 중심 사전의 상관, 자연 창의 공유 오프셋, 7절의 가법적 시퀀스 내/간 분해, 저장 스니펫 50개와 OpenAI 400개의 중심 사전과 $\eta$ (후속 사전등록 이전에 계산), OpenAI 릴리스의 시퀀스 순서 규칙, 음성 마크 위치를 균등 무작위로 둔 중심 규칙.

💡 Key Takeaway 주요 검정은 결정 규칙을 미리 적어 두고 결과를 그대로 덧붙였으며, 사후 분석은 모두 표시되어 있다. 해악 검정의 도구 보정은 합성 데이터에서만 이루어졌다.

한계와 결론

⚠️ 1. 저자가 밝힌 한계 (8절)

영역 한계
마크 재구축 저장 실행의 퍼징 규칙은 추론된 코드에서 재구축한 마크를 씀(시드가 틀려도 음성 위치만 바뀜)
단서 사용 측정 소수 항목과 피처 수준 상관으로만 측정되어 개수 단서 사용 여부는 미해결
데이터 범위 대규모 저장 실행이 있는 SAE는 하나뿐. Gemma 결과는 12개 피처의 27개 실행. delphi 항목은 로컬 구축(delphi가 붙이지 않는 BOS 토큰 포함)
해악 검정 한 채점기, 49개 피처, 한 SAE. 실데이터 양성 통제가 없어 부분 재배열에 대한 민감도 미확립. “순위 해악이 보이지 않음”은 “순위 해악이 없음”이 아님
매칭 마크 구성은 검증되지 않음
시뮬레이터 비교 GPT-2 XL 뉴런, 2023년 공개 GPT-4, 오픈 8B 하나. 현행 폐쇄 LLM 시뮬레이터는 실행하지 않음
Jev 결정성 jev-1.13.0, 정확한 루브릭 문구로 요청. API는 거의 결정적이지만 정확히는 아님(동일 입력 재채점에서 토큰 수준 값 6.5%·9.8%만 정확 재현, Pearson 0.997·0.995)

🧭 2. 결론과 권고

자동화 해석가능성 데이터는 구성 안에 답을 담고 있습니다. 구성만 읽는 규칙은 측정한 모든 저장 퍼징 집합에서 저장 LLM 채점기를 이기고, 시퀀스 순서만 읽는 규칙은 GPT-4 공개 시뮬레이터를 이기며(사후), 단서는 파이프라인 사이를 옮겨 다닙니다. 검정 가능한 데이터에서 한 채점기의 수준은 단서 있는 데이터에서 더 높았지만 피처 순위를 바꾼다는 것은 보이지 않았습니다. 저자의 권고는 다음과 같습니다.

  1. 모든 점수 옆에 설명 없는 최선의 규칙 을 보고한다.
  2. 창을 무작위 오프셋 으로 자르고 BOS 토큰 과 함께 활성을 계산한다.
  3. 음성 예시의 마크를 양성의 법칙 에서 뽑는다.
  4. 시뮬레이션 점수의 시퀀스 내 부분 $r_{w}$ 를 보고한다.

이런 데이터 위에서는 상용이든 오픈이든 채점기가 설명을 읽는다는 것을 여전히 보일 수 있습니다.

🧾 3. 이해관계와 영향

저자는 TypeSafe AI(Jev 제공사)와 아무 관계가 없고 자금도 받지 않았으며 공개 API로 접근했다고 밝힙니다. 공개 평가 데이터·공개 모델·상용 API만 분석했고, 웹 텍스트 스니펫에는 불쾌한 내용이 있을 수 있습니다. 여기서 기술한 지름길은 점수를 부풀리는 데 쓰일 수 있으므로 이를 제거하거나 분리하는 방법을 함께 보고합니다.

💡 Key Takeaway “순위 해악이 보이지 않음”은 “없음”이 아니며, 매칭 마크는 유도만 되었고 현행 폐쇄 LLM 시뮬레이터는 평가되지 않았다. 그럼에도 설명 없는 규칙을 나란히 보고하는 관행은 지금 당장 적용할 수 있다.