0. Summary

  • 기본 정보 : ArXiv,2026.10.15, Null Controls Are Necessary but Not Sufficient: Evaluating Acceptance Guards for Scientific Discovery and Interpretability
  • 연구 배경 : 자동 과학 발견 시스템은 과학적 설명을 제안하고, 그중 무엇을 받아들일지 테스트로 결정한다. 그런데 테스트를 통과했다는 것이 애초에 의도한 주장이 성립한다는 뜻인가?
  • 발견 사실 : 결과는 두 가지 수용 간극을 드러내는데, 기술적 테스트는 과학적으로 빈 후보를 받아들일 수 있고, 받아들여진 후보가 독립적으로 검증된 결과를 갖추지 못할 수 있다. 신뢰할 수 있는 자동 발견은 테스트가 무엇을 받아들이는지와 그것이 어떤 과학적 결과를 확립하는지를 모두 평가해야함을 시사하낟.
  • 핵심 기여 :
    1. 네 가지 실행 가능한 발견 연산(L1–L4): 중복 제거, 변수 축소, 구조 전이, 누락 보존량 추론이라는 과학적 개념 변화를 계산 가능한 절차로 구현하고, 각각에 기술적 기준과 독립적 결과 테스트를 짝지음
    2. 수용 간극의 실증: 상수 축소 Q(x)=0이 129개 카오스 시스템 중 96%에서 closure를 통과하고, 무작위 회전된 매핑이 CKA를 그대로 유지하며, enrichment를 통과한 SAE 특징 중 45%만 ablation 검증을 받는다는 것을 보여 “정의적 성질 통과 ≠ 과학적 주장 성립”임을 입증
    3. AR/PAR/CAR 평가 틀: null 수용률·양성 수용률·결과 일치율에 양성·매칭 대조군을 더해, 수용 기준이 무엇을 거부하는지와 받아들인 후보가 독립적 결과로 뒷받침되는지를 함께 정량화하는 재사용 가능한 프로토콜을 제시

관련 개념

자동 과학 발견 시스템(Automated Discovery Systems)

자동 과학 발견 시스템은 AI가 가설을 제안하고, 모델을 구성하고, 그 결과를 스스로 평가하는 시스템입니다. 논문은 발견을 두 단계로 나눕니다. 후보를 제안(propose)하는 단계와, 그 후보가 의미 있는 과학적 주장을 뒷받침하는지 결정(accept)하는 단계입니다. 이 논문의 관심은 두 번째 단계, 즉 수용 가드(acceptance guard)에 있습니다.

🔁 1. 발견 파이프라인: 제안 → 기술적 테스트 → 결과 테스트

논문의 Figure 1은 수용 과정을 두 개의 테스트로 분리합니다.

단계 기호 묻는 질문 예시
후보 과학적 수정안 $c$ 기존 설명을 어떻게 바꿀 것인가? “이 시스템은 변수 2개만으로 기술할 수 있다”
기술적 테스트(Descriptive test) $G(c)$ 후보의 정의적 성질이 성립하는가? 축소 모델의 closure, 표현 간 CKA, 특징의 enrichment
결과 테스트(Consequence test) $H(c)$ 후보가 함의하는 독립적인 과학적 결과가 성립하는가? 관측량 보존, 개입 효과 전이, ablation 효과
뒷받침된 과학적 주장 $G=1 \wedge H=1$ 두 테스트를 모두 통과 축소 모델이 “원 시스템을 기술한다”고 말할 수 있음

핵심 주장은 간단합니다. 기술적 테스트를 통과했다는 것은 측정 가능한 성질이 성립한다는 뜻이지, 그로부터 끌어내려는 과학적 결론이 성립한다는 뜻은 아니다. 축소 모델이 닫힌다(close)고 해서 원 시스템을 포착한 것이 아니고, 두 표현의 정렬 점수가 높다고 해서 특정 매핑이 옳은 것이 아니며, 특징이 개념과 상관된다고 해서 그 특징이 그 개념을 “담당”하는 것은 아닙니다.

🪜 2. 네 가지 실행 가능한 발견 연산(L1–L4)

논문은 1731년부터 2026년까지 23개 과학상 1,547개 수상 사건을 주석해, “설명(description)을 바꾸는” 발견을 사다리 형태로 분류했습니다(Appendix G). 그중 네 칸을 계산 가능한 절차로 구현했습니다.

단계 이름 하는 일 기술적 기준의 함정 독립적 결과 테스트
L0 회귀(Regression) 기존 설명 안에서 식을 맞춤 — (기존 기호회귀 시스템 대부분이 여기 위치) —
L1 재해석(Reinterpretation) 예측에 영향 없는 매개변수 방향을 제거 전역 대칭성도 중복처럼 보임 국소성 테스트: 점마다 불변이면 중복, 균일하게만 불변이면 보존량을 가진 대칭 → 중복 1개와 대칭 4개를 분리
L2 재유형화(Retyping)/조대화(Coarse-graining) 동역학 변수를 줄임 빈 축소도 closure를 통과 관측량 보존(Pay score): 72개 null 전부 기각, 진짜 부분공간 24/24 수용
L3 전이(Transfer) 한 시스템의 보존 법칙을 다른 시스템으로 옮김 구조 일치만으로는 깨진 대조군 2/6을 수용 전이된 보존량이 대상 시스템의 동역학 아래서 보존되는지 검사 → 진짜 6/6 수용, 대조군 6/6 기각
L4 새 대상(New object) 입·출력 불균형에서 누락된 보존량을 추론 유의성만 보면 보정 오프셋도 “누락”으로 보임 잡음 스케일 요구: 오프셋은 기각하고, 숨겨진 전하 1.200을 1.192로 복원

💡 Key Takeaway 논문이 조사한 14개 기존 자동 발견 시스템(BACON, Eureqa, AI Feynman, PySR, FunSearch, AlphaGeometry, AI Scientist 등)은 대부분 L0, 즉 미리 주어진 기호 언어 안에서 식을 찾는 단계에 머뭅니다. L1(같은 예측을 더 적은 구조로 내는 이론으로 바꾸기)을 수행하는 시스템은 하나도 찾지 못했다고 보고합니다.

⚠️ 3. 두 가지 수용 간극(Acceptance Gaps)

간극 내용 논문 속 증거
첫 번째 간극 기술적 테스트가 의도한 정보를 전혀 담지 않은 후보를 받아들일 수 있다 상수 축소 $Q(x)=0$이 129개 카오스 시스템 중 124개(96%)에서 closure 통과. 무작위 회전된 매핑이 CKA를 그대로 유지
두 번째 간극 null을 전부 기각하는 테스트라도, 받아들인 후보의 과학적 해석은 독립적으로 뒷받침되지 않을 수 있다 SAE enrichment는 null 16/16을 기각하지만, 받아들인 특징 중 ablation이 뒷받침하는 비율은 0.45

첫 번째 간극은 null 대조군으로 잡아내고, 두 번째 간극은 독립적 결과 테스트로 잡아냅니다. 제목 “Null Controls Are Necessary but Not Sufficient”는 정확히 이 뜻입니다. null 대조군은 첫 번째 간극을 막는 데 필요하지만, 두 번째 간극까지 막아주지는 않습니다.

Null 수용률(Null Acceptance Rate, NAR)

NAR은 의도한 정보를 담고 있지 않은 “빈” 후보(null candidate)를 기술적 테스트가 얼마나 자주 받아들이는지를 재는 지표입니다. 낮을수록 좋습니다.

\[\widehat{\mathrm{NAR}} = \frac{1}{|V|}\sum_{c \in V} G(c)\]

여기서 $V$는 명시적으로 열거한 null 후보 집합, $G(c)\in{0,1}$은 기술적 테스트의 통과 여부입니다. 즉 NAR은 null 집합에 대한 평균 통과율입니다.

🧪 1. Null 대조군이란

통계학의 귀무가설처럼, “이 후보가 아무 의미도 담고 있지 않다면 테스트가 어떻게 반응해야 하는가”를 확인하기 위해 일부러 만든 가짜 후보입니다. 논문은 null을 한 덩어리로 묶지 않고 무엇을 보존하고 무엇을 파괴하는지에 따라 유형화합니다(Table 6).

유형 보존하는 것 파괴하는 것 예시
DEGENERATE 아무것도 없음 모든 구조 상수 축소 $Q(x)=0$, 영 매핑
RANDOMISED 차원 수 원본과의 모든 관계 무작위 부분공간, 무작위 방향
CORRESPONDENCE-BREAKING 주변 통계량 원본–대상 간 짝지음 무작위 회전된 매핑 $W$
STRUCTURE-PRESERVING 불변량 자체 중복이라는 지위만 대칭성을 깨뜨린 L3 대조군
TASK-CONFOUNDED 학습된 모델의 기하 입력의 의미 내용 좌표를 뒤섞은 SAE 특징
SUB-THRESHOLD 효과의 유의성 잡음 대비 크기 L4의 보정 오프셋

유형을 나누는 이유는 “무작위 방향은 기각하지만 구조 보존형 null은 통과시키는 테스트”라는 구체적 정보를 얻기 위해서입니다. 한 숫자로 합쳐 버리면 이 정보가 사라집니다.

📊 2. 논문 속 NAR 값

설정 기술적 테스트 NAR
L2 슬로우–패스트 시스템 (null 72개) closure만 0.65 (47/72 통과)
L2 슬로우–패스트 시스템 closure + Pay 0.00 (0/72)
L2 dysts 벤치마크 (상수 축소) closure만 0.96 (124/129)
Pythia 표현 대응 (null 20회) $R^2$ 또는 CKA > 0.5 0.60 (12/20)
ESM-2 표현 대응 (null 15회) $R^2$ 또는 CKA > 0.5 0.80 (12/15)
SAE 특징 enrichment (null 16개) enrichment > 4 0.00 (0/16)

⚖️ 3. 해석 시 주의점 (논문 Appendix C)

  • NAR은 “리스트에 대한 추정치”이지 최악의 경우가 아닙니다. 초기 버전은 $\sup_{c\in V}$로 정의했지만, 결정론적 테스트에서는 null 하나만 통과해도 1이 되어 버리므로 평균으로 바꿨습니다. 별도로 AnyNullPass(하나라도 통과했는가)도 함께 보고합니다.
  • $V$는 저자가 고른 유한 집합입니다. 약한 null 집합에 대해 NAR = 0이면 아무것도 말해주지 않습니다. 실제로 저자들은 첫 실행에서 NAR 0.00이 나온 null들이 너무 약하다고 판단해 더 강한 것으로 교체했습니다.
  • 따라서 낮은 NAR은 다른 종류의 null까지 기각한다는 보장이 아닙니다(Limitations).

양성 수용률(Positive Acceptance Rate, PAR)

PAR은 NAR의 짝입니다. 진짜라고 알려진 후보(known positive)를 기술적 테스트가 얼마나 잘 받아들이는지를 잽니다. 높을수록 좋습니다.

\[\widehat{\mathrm{PAR}} = \frac{1}{|P|}\sum_{c \in P} G(c)\]

$P$는 정답이 구성상 알려진 양성 후보 집합입니다.

🎯 1. 왜 NAR만으로는 부족한가

모든 후보를 기각하는 테스트는 NAR = 0을 자명하게 달성합니다. 테스트를 엄격하게 만들수록 null은 잘 걸러내지만 진짜까지 버릴 위험이 커집니다. PAR은 이 과도한 엄격함(over-rejection)을 감시합니다. 분류 지표로 비유하면 NAR은 거짓 양성률, PAR은 재현율(recall)에 해당합니다.

📊 2. 논문 속 PAR 값

설정 양성 후보 테스트 PAR
L2 슬로우–패스트 24개 시스템 구성상 알려진 진짜 부분공간 closure + Pay 1.00 (24/24)
L2 슬로우–패스트 24개 시스템 제안기(proposer)가 추정한 부분공간 closure + Pay 0.71 (17/24)
L3 전이 진짜 전이 6개 구조 일치 + 대상 동역학 보존 1.00 (6/6)
Pythia 표현 대응 (4개 구성) 진짜 대응 개입 테스트 1.00 (4/4)
ESM-2 표현 대응 항등·인접 층 양성 대조군 결합 기준 1.00 (6/6)

슬로우–패스트 시스템에서 1.00과 0.71의 차이는 가드가 아니라 제안기의 한계에서 나옵니다. 정답 부분공간을 직접 넣어주면 전부 통과하지만, 선형 제안기가 추정한 부분공간은 일부 틀리기 때문입니다. 이렇게 PAR을 두 번 재면 “기각된 이유가 가드 탓인지 제안기 탓인지”를 분리할 수 있습니다.

🔍 3. 양성 대조군(Positive Control)의 또 다른 역할

PAR이 기술적 테스트 $G$의 민감도를 재듯, 양성 대조군은 결과 테스트 $H$의 민감도를 재는 데도 쓰입니다. SAE 실험에서 저자들은 “개념 토큰의 로짓을 잔차 표현에 대해 미분한 방향”을 양성 대조군으로 만들었습니다. 이 방향을 ablation하면 당연히 그 개념 예측이 바뀌어야 합니다. Pythia-160M 두 구성에서는 이 대조군의 0.90을 검출했지만, Pythia-410M 두 구성에서는 대조군 자체가 엉뚱한 방향의 효과를 내어 테스트를 검증할 수 없었습니다. 즉 결과 테스트 자체도 검증 대상입니다.

결과 일치율(Consequence Agreement Rate, CAR)

CAR은 기술적 테스트를 통과한 후보 중, 독립적인 결과 테스트까지 통과하는 비율입니다. NAR·PAR이 “테스트가 무엇을 받아들이는가”를 묻는다면, CAR은 “받아들인 것이 실제로 과학적 결과를 확립하는가”를 묻습니다.

\[\mathrm{CAR} = \Pr_{c \sim \mathcal{C}}\big[\,H(c)=1 \;\big|\; G(c)=1,\; c \notin V\,\big]\]

$\mathcal{C}$는 평가 대상 후보의 분포, $V$는 null 집합입니다. 조건부 확률이므로 null이 아니면서 기술적 테스트를 통과한 후보에 대해서만 계산합니다.

🧩 1. 매칭 대조군(Matched Control)과 ΔCAR

결과 테스트 $H$가 “개입을 하면 뭔가 바뀐다”는 일반적인 효과에 반응할 수 있으므로, CAR 값 하나만으로는 개념 특이적 효과인지 알 수 없습니다. 논문은 선택된 특징마다 매칭 대조군 3개를 만듭니다.

매칭 조건 이유
같은 모델·같은 층 위치 차이에 의한 효과 제거
비슷한 발화율·활성 크기 “많이 켜지는 특징이라서” 생기는 효과 제거
다른 최상위 개념 선택된 특징의 개념에 대해 평가했을 때 효과가 없어야 정상

매칭 대조군을 선택된 특징의 개념에 대해 같은 기준으로 평가하면 Control CAR이 나오고, 둘의 차이가 ΔCAR입니다.

📊 2. 논문 속 CAR 값 (SAE 실험, Table 2)

구성 짝지은 특징 수 Selected CAR Control CAR ΔCAR
Pythia-160M L4 93 0.24 0.00 +0.24
Pythia-160M L8 111 0.54 0.00 +0.54
Pythia-410M L8 99 0.42 0.02 +0.40
Pythia-410M L16 102 0.58 0.00 +0.58
합산 405 0.45 (95% CI 0.29–0.58) 0.005 +0.45

이 표는 두 가지를 동시에 보여줍니다.

  • ΔCAR > 0: 강한 enrichment는 매칭 대조군으로 설명되지 않는 개념 특이적 정보를 담고 있다. 즉 enrichment는 쓸모없는 테스트가 아니다.
  • CAR ≈ 0.45: 그럼에도 enrichment를 통과한 특징의 절반 이상은 ablation 테스트로 뒷받침되지 않는다. 통계적 연관이 있다고 해서 특정한 인과적 역할이 확립되는 것은 아니다.

🧭 3. CAR이 낮을 때의 두 가지 해석

해석 의미 확인 방법
후보가 실제로 그 기능을 갖지 않음 기술적 테스트의 한계 —
결과 테스트가 둔감해 있는 효과를 못 잡음 $H$의 한계 양성 대조군으로 $H$의 검출률을 측정

논문은 두 번째 가능성을 진지하게 다룹니다. 활성화(ablation의 반대로, 평소 꺼져 있는 곳에서 특징을 켜기) 테스트는 0.65를 뒷받침하고, 둘 중 하나라도 뒷받침하는 경우는 0.70입니다. 즉 어떤 결과를 테스트하느냐에 따라 CAR이 달라지므로, 하나의 개입 기준을 통과하지 못했다고 해서 그 특징이 인과적으로 무관하다고 결론 내릴 수는 없습니다.

💡 Key Takeaway NAR·PAR·CAR 세 지표는 각각 null을 거부하는가, 진짜를 받아들이는가, 받아들인 것이 결과로 뒷받침되는가를 잽니다. 여기에 양성 대조군(결과 테스트의 민감도)과 매칭 대조군(효과의 특이성)을 더한 것이 논문이 제안하는 재사용 가능한 감사(audit) 프로토콜입니다.

축소 매핑(Reduction Mapping)과 Closure

축소 매핑 $Q$는 고차원 상태 $x \in \mathbb{R}^d$를 저차원 조대 상태(coarse state) $q = Q(x) \in \mathbb{R}^k$ ($k<d$)로 보내는 함수입니다. 물리학에서 복잡한 미시 상태를 몇 개의 거시 변수로 요약하는 조대화(coarse-graining)가 이에 해당하고, 논문에서는 L2 연산이 이 축소를 제안합니다.

🔒 1. Closure(닫힘)란

Zwanzig(1960) 이래 축소 모델의 표준 요건은 closure입니다. 축소된 변수들이 원래 상태를 참조하지 않고 자기들만으로 자신의 미래를 예측할 수 있어야 한다는 뜻입니다. 수식으로는 $\dot q = g(q)$ 꼴의 조대 법칙(coarse law) $g$가 존재해야 합니다.

논문은 closure를 다음과 같이 점수화합니다.

  • 조대 법칙 $g$만을 적분해 조대 궤적을 만들고,
  • 실제 궤적을 $Q$로 사영한 것과 비교하여,
  • 궤적 자체의 퍼짐으로 정규화한 closure error를 계산합니다. 임계값은 0.25 미만이면 통과입니다.

조대 법칙 $g$는 두 가지 방식으로 얻습니다.

방식 내용 사용처
유도된(derived) 법칙 알려진 미세 법칙을 $Q$로 사영 (학습 없음) 슬로우–패스트 통제 실험
학습된(learned) 법칙 조대 상태 → 조대 속도의 다항 회귀 (dysts에서는 2차까지) 외부 dysts 벤치마크 (평가 궤적과 다른 궤적에서 학습)

🕳️ 2. 상수 축소 $Q(x)=0$이 closure를 통과하는 이유

\[Q(x) = 0 \quad\Rightarrow\quad q(t) = 0,\quad \dot q = 0\]

모든 상태를 0으로 보내면 조대 궤적은 영원히 0이고, 조대 법칙 $\dot q = 0$은 이를 오차 0으로 예측합니다. 원 시스템이 아무리 복잡하거나 카오스적이어도 상관없습니다. 모든 정보를 버리는 행위 자체가 축소 동역학을 완벽히 예측 가능하게 만듭니다.

이것은 과적합이나 최적화 부족 문제가 아니라 closure라는 기준 자체의 구조적 모호성입니다. closure는 “선택한 표현이 자기 자신을 예측하는가”만 재고, “그 표현이 원 시스템을 얼마나 기술하는가”는 재지 않습니다. 관측을 더 많이 해도 해결되지 않습니다. 상수 궤적은 어떤 초기 조건, 어떤 예측 지평에서도 완벽히 예측 가능하기 때문입니다.

또한 상수 축소는 가장 간결한(parsimonious) 후보입니다. 변수 1개에 메커니즘 $\dot q=0$이므로, “단순할수록 좋고 자기 미래를 잘 예측할수록 좋다”는 목적함수는 상수 축소를 모든 진짜 축소보다 높게 순위 매깁니다. 논문은 Posner et al.(2026)의 기계론적 세계모델 목적함수가 예측 손실을 학습된 좌표에서 잴 경우 정확히 이 형태가 된다고 지적합니다.

💰 3. Pay Score: 관측량 보존 테스트

closure의 구멍을 메우기 위해 논문이 도입한 독립적 결과 테스트입니다. 평가 전에 미리 정한 관측량 $P(x)$가 축소를 거쳐 복원된 상태에서도 보존되는지 잽니다.

\[\mathrm{Pay}(Q) = \mathrm{clip}_{[-1,1]}\!\left(1 - \frac{\sum_{x\in E}\|P(Q^{\dagger}Qx) - P(x)\|_{\Sigma}^{2}}{\sum_{x\in E}\|P(x) - \bar P\|_{\Sigma}^{2}}\right)\]
  • $Q^\dagger Q x$: 조대 좌표에서 다시 복원한 상태
  • $E$: 상태 앙상블, $\bar P$·$\Sigma$: 관측량의 평균과 공분산
  • $|v|_\Sigma^2 = v^\top \Sigma^{-1} v$: 마할라노비스 거리 (단위·좌표계에 무관하도록)
  • 임계값: Pay > 0.5
성질 내용
항등 축소 ($Q^\dagger Q = I$) 분자가 0 → Pay = 정확히 1 (코드에서 assert로 강제)
상수 복원 (모든 상태를 한 점으로) 분자 ≥ 분모 → Pay ≤ 0. 음수는 “앙상블 평균을 예측하는 것보다 못함”을 뜻함
관측량의 가역 선형 변환 $P \mapsto AP + b$ 공분산이 함께 바뀌므로 Pay 불변 → 단위나 기저 선택에 의존하지 않음

공분산 가중을 쓰기 전 버전은 스칼라 배율에만 불변이어서, 큰 단위의 관측량을 망가뜨리면 0.00, 작은 단위를 망가뜨리면 1.00이 나오는 비일관성이 있었습니다(가중 후에는 각각 0.66, 0.67).

🧪 4. 슬로우–패스트 통제 실험 결과 (Table 4, $\epsilon = 0.02$)

후보 closure error Pay 기각한 가드
상수 축소 (모든 상태 → 0) 0.000 (통과) −0.54 Pay만
빠른 모드를 대신 유지 0.000 (통과) −0.50 Pay만
무작위 부분공간 2.167 0.18 closure
느린 모드 (진짜 후보) 통과 통과 —

빠른 모드 축소가 closure를 통과하는 이유는 빠른 모드가 0으로 감쇠해 역시 “예측하기 쉬운” 궤적이 되기 때문입니다. 두 빈 후보 모두 closure로는 걸러지지 않고 Pay로만 걸러집니다.

💡 Key Takeaway 축소 모델이 보존량(conserved charge)을 잃는 것은 별개 문제입니다. 물리학은 일부러 보존량을 버리는 조대화를 자주 하므로, 논문의 구현은 보존량 손실을 차단하지 않고 보고만 합니다.

카오스 시스템 벤치마크(dysts)

논문이 L2의 수용 간극을 외부에서 재현하기 위해 쓴 공개 벤치마크는 Gilpin(2021)의 dysts입니다. 통제 실험용 슬로우–패스트 시스템은 저자가 만든 것이므로, “우리가 만든 시스템에서만 그런 것 아닌가”라는 의심을 없애기 위해 독립적으로 발표된 시스템들에서 같은 기준·같은 임계값을 재조정 없이 적용했습니다.

🌀 1. 카오스 시스템이란

결정론적(규칙이 완전히 정해진) 동역학계이지만, 초기 조건에 극도로 민감하여 장기 예측이 사실상 불가능한 시스템입니다. 대표적으로 Lorenz 시스템이 있습니다. 궤적은 보통 끌개(attractor)라 불리는 복잡한 저차원 기하 위에서 움직입니다. 이런 시스템은 “자기 미래를 예측한다”는 closure 요건이 가장 까다로운 환경이므로, 여기서조차 빈 축소가 통과한다면 closure의 문제는 보편적이라고 말할 수 있습니다.

📦 2. 벤치마크 구성

항목 내용
출처 dysts (Gilpin, 2021): 발표된 카오스 동역학계 137개
실제 평가 129개 (차원 3–10)
제외 8개 추상 기반 클래스 2개 (구체적 우변 없음) + 지연 미분방정식 6개 (IkedaDelay, MackeyGlass, PiecewiseCircuit, ScrollDelay, SprottDelay, VossDelay). 상태가 벡터가 아니라 구간 위의 함수여서 유한차원 선형 축소가 정의되지 않음
제외 시점 결과를 보기 전에 결정 (사후 제외 없음)
제안기 평균 야코비안의 선형 부분공간 (분석적 야코비안이 없으면 중앙 차분)
조대 법칙 학습된 법칙만 사용, 평가 궤적과 다른 궤적에서 학습
임계값 closure < 0.25, Pay > 0.5 (통제 실험과 동일, 재조정 없음)

📊 3. 결과 (Table 15, 차원의 절반으로 축소)

축소 closure 통과 중앙 closure error 최대 Pay 두 가드 모두 통과
느린 모드 (진짜 후보) 0 / 129 1.810 +0.107 0
상수 (모든 상태 → 0) 124 / 129 0.000 −0.041 0
빠른 모드 0 / 129 1.465 +0.065 0
무작위 부분공간 0 / 129 1.902 −0.012 0

상수 축소가 통과하지 못한 5개(BlinkingRotlet, BlinkingVortex, InteriorSquirmer, SwingingAtwood, TurchinHanski)는 closure가 깨져서가 아니라 수치적 평가 실패입니다. 상수 조대 상태를 원 상태 공간의 원점으로 들어올렸을 때(lifting) 발표된 우변이 NaN을 반환하거나 0으로 나누기 때문입니다. 우변 평가가 필요 없는 0차원 정식화로는 129개 전부에서 닫힙니다.

🔎 4. 이 벤치마크에서 배운 것 두 가지

  1. 진짜 후보도 통과하지 못했습니다. 느린 모드 축소가 129개 중 0개에서 닫힙니다. 차원을 하나만 줄이는 가장 완만한 축소($k=d-1$)로도 1/129만 닫힙니다. 저자들은 이를 “평균 야코비안의 선형 부분공간은 이런 굽은 끌개에 맞는 대상이 아니다”라고 해석하고, 선형 제안기의 한계를 Limitations에 명시합니다. 즉 이 벤치마크는 가드의 거부 능력은 보여주지만 복원 능력은 보여주지 못합니다.
  2. 빠른 모드 대조군은 통제 실험과 다르게 행동합니다. 슬로우–패스트 시스템에서는 빠른 모드가 0으로 감쇠해 닫혔지만, 소산적 카오스 시스템에서는 빠른 부분공간도 끌개 운동을 담고 있어 전혀 닫히지 않습니다. 그래서 저자들은 주장을 “closure만으로는 진짜 축소와 ‘아무것도 아닌 것으로의 축소’를 구분할 수 없으며, 이는 외부 벤치마크의 96%에서 성립한다”로 좁힙니다. “모든 빈 축소가 모든 환경에서 닫힌다”는 더 강한 주장은 하지 않습니다.

선형 CKA(Linear Centered Kernel Alignment)와 표현 대응

CKA(Kornblith et al., 2019)는 두 신경망 표현 집합 $X \in \mathbb{R}^{n\times d_1}$, $Y \in \mathbb{R}^{n\times d_2}$가 같은 입력들에 대해 얼마나 비슷한 기하 구조를 갖는지 재는 유사도 지표입니다. 선형 CKA는 각 표현의 (중심화된) 그람 행렬 $XX^\top$, $YY^\top$의 정렬도를 계산하며, 직교 변환과 등방 스케일링에 불변입니다.

🔄 1. 왜 CKA는 “대응(correspondence)”을 증명하지 못하는가

논문의 표현 대응 실험은 모델 A의 표현에서 모델 B의 표현으로 가는 선형 맵 $W$를 맞추고, 홀드아웃 재구성 $R^2$ 또는 선형 CKA 중 하나가 0.5를 넘으면 수용합니다.

문제는 CKA가 $W$와 무관하다는 점입니다. CKA는 두 표현 집합만으로 결정되므로, $W$에 무작위 회전을 합성해 짝지음을 완전히 깨뜨려도 CKA는 그대로입니다. 실험에서 이런 회전은 $R^2$를 약 −0.96까지 떨어뜨리지만 CKA는 변하지 않습니다. 즉 “두 공간이 비슷하다”와 “이 특정 매핑이 옳다”는 다른 주장인데, CKA는 전자만 잽니다.

모델 null 평가 기술적 기준 통과 (NAR) 개입 테스트 후 양성 (PAR)
Pythia (4개 모델–층 구성) 20회 12/20 null 전부 기각, 진짜 4/4 수용 1.00
ESM-2 (단백질 언어모델) 15회 12/15 null 전부 기각 1.00 (항등·인접 층 6/6)

💉 2. 결과 테스트: 국소 개입의 전이

“매핑이 옳다”의 과학적 함의는 A에서 일어난 일이 $W$를 통해 B에서도 같은 효과를 낸다는 것입니다. 논문은 이를 직접 검사합니다.

  1. 모델 A의 잔차 표현을 한 위치에서 섭동한다.
  2. 그 섭동을 $W$로 옮겨 모델 B에 주입한다.
  3. 두 모델의 출력 변화를 비교한다. 진짜 대응이라면 효과가 일관되게 전이되어야 한다.

ESM-2에서는 출력 변화를 마스킹된 잔기(residue) 예측으로 측정합니다. 이 개입 테스트는 두 모델 모두에서 시험한 null을 전부 기각하면서 진짜 대응은 모두 받아들였습니다.

💡 Key Takeaway Davari et al.(2023)이 CKA의 신뢰성 문제를 이미 지적했지만, 이 논문의 관점은 조금 다릅니다. CKA가 나쁜 지표라서가 아니라, CKA가 재는 성질(공간 유사도)과 연구자가 주장하려는 결론(특정 매핑의 정당성)이 다르기 때문에 간극이 생긴다는 것입니다.

SAE 특징 해석: Enrichment vs Ablation

희소 오토인코더(Sparse Autoencoder, SAE)는 신경망의 활성화 벡터를 소수만 켜지는 많은 학습된 특징(feature)으로 분해하는 모델입니다. 기계론적 해석가능성(Mechanistic Interpretability)에서 각 특징에 “이 특징은 X 개념을 나타낸다”는 의미를 붙이는 데 널리 쓰입니다(Bricken et al., 2023).

🏗️ 1. 논문의 SAE 설정

항목 내용
종류 TopK 오토인코더 (희소성을 $L_0 = 32$로 구조적으로 고정)
대상 Pythia-160M 4·8층, Pythia-410M 8·16층 (4개 구성)
확장비 8× (6,144 또는 8,192개 특징)
복원 분산 93–99%
데이터 분할 60 / 20 / 20으로 세 분할: SAE 학습 / 특징 해석(개념 할당) / 개입 테스트

세 분할을 서로 겹치지 않게 나눈 이유는, 특징에 개념을 붙일 때 쓴 예시와 그 효과를 검사하는 예시가 같으면 결과 테스트가 독립적이지 않기 때문입니다.

📈 2. 기술적 테스트: Enrichment(농축도)

각 특징을 활성화 시 다음 토큰 중 기저 빈도 대비 가장 농축된 개념과 연결합니다. 흔한 토큰이라서 자주 나오는 것이 아니라, 이 특징이 켜졌을 때 유독 많이 나오는 토큰을 찾는 것입니다. enrichment > 4이면 통과입니다.

Null 대조군 4종 × 4구성 = 16개 모두 기각(NAR = 0.00):

Null 무엇을 파괴하는가
무작위 방향 모든 구조
좌표를 뒤섞은 특징 입력의 의미 내용
학습된 특징의 잡음 섞인 대리 원 특징과의 관계 대부분
거의 죽은 특징 유의미한 활성 자체

저자 스스로 이 null 집합이 약한 편이라고 인정합니다. 잡음 대리조차 원 특징의 enrichment를 거의 유지하지 못하기 때문입니다.

🔪 3. 결과 테스트: Ablation(절제)의 개념 특이성

“특징 $f$가 개념 $C$를 나타낸다”의 더 강한 해석은 $f$가 모델의 $C$ 관련 행동에 특이적으로 기여한다는 것입니다. 이를 검사하기 위해 잔차 표현에서 $f$의 기여를 빼고 예측 손실 변화를 측정합니다.

\[S_f = \frac{\Delta L_C - \Delta L_{\neg C}}{\mathrm{SE}[\Delta L_C - \Delta L_{\neg C}]}\]
  • $\Delta L_C$: 개념 $C$와 연관된 위치에서의 손실 증가
  • $\Delta L_{\neg C}$: 그 외 위치에서의 손실 증가
  • 표준오차는 시퀀스별 대비(contrast)로 계산
  • $S_f > 1.96$ 이고 $\Delta L_C > 0$이면 뒷받침됨

즉 “절제하면 뭔가 나빠진다”가 아니라 “다른 곳보다 그 개념 예측이 유의하게 더 나빠진다”를 요구합니다.

선택된 특징 수
구성당 가장 농축된 150개 × 4 600
결과 분할에 개념 출현이 부족해 제외 −191
적합한 매칭 대조군 없음 −4
최종 짝지은 평가 405

결과는 위의 CAR 절에서 본 대로 선택 특징 0.45 vs 매칭 대조군 0.005입니다.

🧠 4. 이 실험이 해석가능성 연구에 주는 메시지

  • 최대 활성 예시(top activating examples)를 보고 특징에 이름을 붙이는 관행은 enrichment 기반 기술적 테스트에 해당합니다. 이것은 null을 잘 걸러내고 개념 특이적 정보를 담고 있지만, 절반 이상의 특징에서 그 이름이 함의하는 인과적 역할은 독립적으로 확인되지 않습니다.
  • 관련 선행 연구와의 연결: 가중치 무작위화에도 살아남는 설명을 찾아낸 sanity check(Adebayo et al., 2018), 통제 과제 대비 선택성을 재는 probing selectivity(Hewitt & Liang, 2019), 내부 표현의 인과 효과를 검사하는 causal intervention(Geiger et al., 2021; Meng et al., 2022), 그리고 표준화된 평가 벤치마크 SAEBench·MIB가 모두 같은 질문을 다른 각도에서 묻고 있습니다. “후보가 받아들여졌을 때 실제로 어떤 과학적 결과가 확립되는가?”

💡 Key Takeaway 논문의 한계도 분명합니다. Pythia는 최대 410M, ESM-2는 최대 150M 파라미터이고, null 집합은 유한하며 저자가 골랐고, 결과 테스트의 민감도는 양성 대조군이 보여주듯 구성에 따라 다릅니다. 그럼에도 핵심 원칙은 모델 크기와 무관하게 적용됩니다. 받아들인 과학적 후보는 그 해석에 경험적 내용을 부여하는 결과를 뒷받침해야 한다.