Mechanistic Interpretability Needs a Logic of Inference
0. Summary
- 기본 정보 : ArXiv,2026.11.10, Mechanistic Interpretability Needs a Logic of Inference
- 연구 배경 : 기계적 해석가능성(Mechanistic Interpretability, MI)은 뉴런·피처·회로·집단 기하·동역학 등 모델 내부의 다양한 대상을 관찰하는 도구를 빠르게 축적해 왔다. 그러나 저자들은 관찰 도구의 성공이 오히려 “피처를 보는 것“과 “계산을 이해하는 것” 사이의 간극을 더 크고 미묘하게 만들었다고 본다. 프로빙으로 정보가 복원된다는 사실이 모델이 그 정보를 실제로 사용한다는 증거로 받아들여지고, 개입(intervention)으로 어떤 구성요소가 인과적으로 관련 있다는 사실이 그 구성요소의 계산적 역할을 밝힌 것처럼 취급되어 왔다. Vilas et al. (2024)의 개념 틀이나 Geiger et al. (2025), Joshi et al. (2026)의 국소적 실천은 있지만, 해석가능성 결과에서 형식적 기계적 주장(mechanistic claim)으로 옮겨 가는 일반적 추론 논리는 아직 없다는 것이 문제의식이다.
- 제안 방법 : 저자들은 뇌를 이해하려는 신경과학과 인공신경망(ANN)을 이해하려는 MI 가 같은 문제, 즉 “한 종류의 관찰에서 무엇을 추론할 수 있는가”를 반복해서 마주쳐 왔다는 점에 주목한다. 신경과학이 수십 년에 걸쳐 “뇌가 어떻게 X 를 하는가”라는 넓은 질문을, 구성요소가 무엇을 표현하는지, 정보가 집단에 걸쳐 어떻게 조직되는지, 단계마다 어떻게 변환되는지, 하류 뉴런이 어떻게 읽어내는지, 구현이 달라도 무엇이 보존되는지로 인수분해해 온 과정에서 다섯 가지 원칙(P1~P5)과 그 모두를 조건 짓는 측정 원칙(P0)을 추출한다. P1 은 설명 대상(explanatory object)을 가설로 다루기, P2 는 표현된 정보와 계산에 쓰이는 정보의 구분, P3 은 인과적 관련(causal relevance)에서 인과적 역할(causal role)로의 확장, P4 는 구성요소의 역할에서 조직(organization)으로의 이동, P5 는 수준 간 불변량을 찾아 설명 대상을 다시 묻는 재귀다. 이 원칙들은 고정된 체크리스트가 아니라 재귀적 추론 논리(Figure 1)로 조직된다.
- 발견 사실 : 포지션 논문이므로 새 실험 수치는 없다. 대신 각 원칙마다 뇌와 ANN 에서 같은 함정이 반복된 사례를 짝지어 제시한다. 전전두엽에서 개별 선택적 뉴런을 제외해도 집단 활성에서 과제 변수가 복호되고(Rigotti et al., 2013), ANN 에서 단위 선택성이 하류 성능을 잘 예측하지 못한다는 것(Morcos et al., 2018)은 P1 의 근거다. 시각 범주 정보가 시각계 전반에서 복호되지만 그중 일부만 행동을 예측한다는 것(Grootswagers et al., 2018)과, 프로빙 정확도가 그 정보의 행동적 중요도를 따라가지 않는다는 것(Elazar et al., 2021)은 P2 의 근거다. 금화조(zebra finch)의 노래 영역을 급성 억제하면 즉시 노래가 무너지지만 영구 손상 후에는 회복된다는 것(Otchy et al., 2015)과 어텐션 헤드 절제 후 하류의 자기 수리(self-repair)가 입력마다 다르다는 것(Rushing and Nanda, 2024)은 P3 의 근거다. 생쥐 ALM 의 한쪽 반구 억제 후 활성이 회복되지만 양측 억제 후에는 회복되지 않는 실험(Li et al., 2016)은 P4 의 근거이며, 회로 알고리즘이 훈련·과제·규모에 걸쳐 유지되면서 구현 구성요소는 바뀐다는 것(Tigges et al., 2024; Merullo et al., 2024)과 SAE 피처는 시드마다 불안정하지만 부분공간은 재현된다는 것(Gerasimov et al., 2026)은 P5 의 근거다. 또한 CNN 해석가능성의 역사가 신경과학의 “선택적 뉴런 → 집단 부호 → 동역학” 경로를 그대로 반복했다는 점을 역사적 경고로 제시한다.
- 핵심 기여 :
- 다섯 원칙과 측정 원칙 : 신경과학의 추론 병목에서 추출한 P0~P5 를 제시하고, 각 원칙이 “관찰과 기계적 주장 사이의 서로 다른 간극”을 메운다는 점을 뇌·ANN 사례 쌍으로 보였다.
- 재귀적 추론 논리 : 원칙들을 선형 절차가 아니라, 증거가 다음 질문을 낳고 앞선 주장을 수정하는 순환 구조(Figure 1)로 조직해, 개별 연구가 일부 질문만 다루더라도 누적 가능한 메커니즘 지식으로 이어지게 하는 틀을 제안했다.
- 발견의 과학으로서의 MI 라는 두 가지 의미 : 모델 내부 메커니즘의 발견(within-model discovery)과, 과학 데이터로 훈련된 모델에서 외부 영역에 대한 가설을 끌어내는 발견(beyond-model discovery)을 구분하고, 후자는 반드시 모델 밖의 독립 증거로 검증되어야 한다고 못 박았다.
Abstract 쉬운 설명(Gemini)
관련 개념
기계적 해석가능성의 설명 대상(Explanatory Object)과 그 다양성
논문은 MI 를 “모델의 내부 표현과 계산을 참조해 신경망의 행동을 간결하게 설명하는 기법의 집합”으로 정의하고, 그 설명의 대상이 되는 것을 메커니즘(mechanism) 이라 부릅니다. 핵심 관찰은 MI 접근법들이 무엇을 설명 대상으로 삼느냐에서 갈린다는 점입니다. §2 는 이를 복잡도 순으로 훑습니다.
🧩 1. 다섯 종류의 설명 대상
| 설명 대상 | 대표 연구 (논문 인용) | 장점 | 논문이 지적하는 문제 |
|---|---|---|---|
| 개별 뉴런·단위 | Simonyan et al. (2013); Olah et al. (2017, 2018) | 사람이 해석할 수 있는 시각 개념과 정렬된 단위를 직접 찾을 수 있음 | 신경 표현이 항상 개별 뉴런에 정렬되지는 않음(Rigotti et al., 2013) → 분산 표현 가능성 |
| 피처 기저(SAE, 방향) | Huben et al. (2024); Li et al. (2023) | 뉴런보다 해석 가능한 희소 분해, 조향(steering) 가능한 방향 | 피처는 모델 활성의 유일한 분해가 아님(Leask et al., 2025) → 메커니즘으로서 과소결정(underdetermined) |
| 회로(circuit) | Wang et al. (2023); Marks et al. (2025) | 여러 구성요소가 상호작용해 계산을 구현하는 방식을 물음 | (논문은 회로 자체의 한계를 별도로 서술하지 않음) |
| 집단 기하(population geometry) | Chung and Abbott (2021); Hu et al. (2026); Feng and Steinhardt (2024) | 다수 단위에 걸친 활성의 저차원 구조를 특성화 | — |
| 동역학(dynamics) | Sussillo and Barak (2013) | 순환·시간 확장 계산을 상태 공간의 궤적으로 기술 | — |
🔗 2. 서로 배타적이지 않은 수준들
저자들은 이 접근법들이 서로를 배제하지 않으며, 신경 계산을 다른 규모와 다른 형식으로 기술할 뿐이라고 말합니다. Marks et al. (2025)처럼 원시 구성요소가 아니라 학습된 희소 피처 위에 회로를 구성하는 작업은 피처 수준과 회로 수준 기술을 결합할 때 얻는 통찰의 예로 언급됩니다. 그러나 설명 대상이 다양해질수록 더 근본적인 질문이 떠오릅니다. “주어진 결과가 메커니즘에 대해 무엇을 확립했고, 무엇이 아직 해결되지 않았는가?” 이 질문이 논문 전체의 출발점입니다.
💡 Key Takeaway MI 의 도구들은 “무엇을 설명 대상으로 삼는가”에서 이미 갈라져 있으며, 특히 SAE 피처는 유일한 분해가 아니므로 메커니즘으로서 과소결정되어 있습니다. 어떤 대상을 택했든 그 결과가 무엇을 확립했는지는 별도의 추론이 필요합니다.
“보는 것”과 “이해하는 것” 사이의 간극, 그리고 신경과학과의 평행
§1 은 문제를 두 층으로 제시합니다. 첫째는 MI 내부에서 반복되는 추론의 비약이고, 둘째는 그 비약이 신경과학이 이미 겪은 것과 같다는 역사적 평행입니다.
🔍 1. 두 가지 흔한 비약
| 비약 | 내용 | 논문의 표현 |
|---|---|---|
| 프로빙 → 사용 | 표현에서 정보를 복원할 수 있다는 것(decodability)을, 모델이 그 정보를 실제로 계산에 쓴다는 결론으로 받아들임 | “researchers were tempted to conclude from probing that information is recoverable from a representation without showing that the model actually uses that information” |
| 개입 → 역할 | 구성요소가 인과적으로 관련(causally relevant)되어 있음을 보인 것을, 그 구성요소가 수행하는 계산적 역할을 식별한 것으로 취급함 | “interventions have been used to establish that a component is causally relevant without identifying the computational role that component plays” (Sharkey et al., 2025 인용) |
저자들은 관찰 도구가 성공할수록 이 간극이 “더 크고 더 미묘해졌다”고 봅니다. 기존 대응으로 고수준 개념 틀(Vilas et al., 2024)과 국소화된 실천(Geiger et al., 2025; Joshi et al., 2026)을 들지만, 해석가능성 결과에서 형식적 기계적 주장으로 가는 일반 논리가 빠져 있다고 진단합니다.
🧠 2. 신경과학이 질문을 인수분해한 방식
신경과학은 “뇌가 어떻게 X 를 하는가”라는 넓은 질문을 다음처럼 더 정밀한 질문으로 나누어 왔습니다(Pouget et al., 2000; Quian Quiroga and Panzeri, 2009; Kriegeskorte and Douglas, 2019; Diedrichsen and Kriegeskorte, 2017).
- 구성요소가 무엇을 표현하는가
- 정보가 집단에 걸쳐 어떻게 조직되는가
- 단계마다 어떻게 변환되는가
- 하류 뉴런이 어떻게 읽어내는가
- 구현이 달라도 무엇이 보존되는가
이 사고는 복잡한 신경계를 해부할 때 “한 종류의 증거를 다음 종류의 증거와 연결하는” 근본적인 추론 병목(inferential bottleneck) 을 드러냈습니다. 논문의 다섯 원칙은 이 통찰을 응축한 것입니다.
🗺️ 3. 원칙의 지도 (Figure 1)
| 원칙 | 질문 | 메우려는 간극 |
|---|---|---|
| P0 | 해석이 측정 방식에 얼마나 의존하는가 | 모든 추론의 전제 |
| P1 | 어떤 대상이 현상을 설명하는가 | 방법이 반환한 수준 ≠ 현상이 조직된 수준 |
| P2 | 표현된 정보가 계산에 쓰이는가 | 복호 가능 ≠ 사용됨 |
| P3 | 어떤 계산적 역할을 하는가 | 인과적 관련 ≠ 인과적 역할 |
| P4 | 역할들이 어떻게 조직되는가 | 구성요소-역할 사상 ≠ 역할 간 의존 구조 |
| P5 | 조건·구현을 바꿔도 무엇이 불변인가 | 구현 세부 ≠ 안정적 조직; 설명 대상을 재검토 |
Figure 1 에서 붉은 화살표는 이 다섯 질문을 잇고, 개별 연구는 그중 일부만 다루고 필요할 때 되돌아갈 수 있다고 설명합니다. P5 의 불변성은 그림에서 무작위 시드 간 비교로 예시됩니다.
💡 Key Takeaway 논문의 진단은 “도구가 부족하다”가 아니라 “증거 종류 사이를 건너는 논리가 없다”는 것입니다. 신경과학이 넓은 질문을 다섯 개의 정밀한 질문으로 쪼갠 역사가 그 논리의 원형입니다.
P0: 기계적 추론은 측정에 의존한다
모든 원칙의 바탕에 놓인 P0 는 “어떤 기계적 추론이든, 그 해석이 측정 방식에 얼마나 의존하는지를 먼저 물어야 한다”는 것입니다.
📏 1. 측정이 결과를 바꾼 사례
| 방법 | 논문이 인용한 증거 | 함의 |
|---|---|---|
| 돌출 지도(saliency)·피처 시각화 | Adebayo et al. (2018); Geirhos et al. (2024) | 설명하려는 모델 계산과 약하게만 연결된 그럴듯한 구조를 만들어 낼 수 있음 |
| 활성 패칭(activation patching) | Zhang and Nanda (2024) | 손상(corruption) 절차와 평가 지표에 따라 결과가 달라짐 |
같은 시스템도 측정 선택이 다르면 다른 모습을 보입니다. 저자들은 다른 과학과 마찬가지로 측정이 중립적이지 않다는 점을 Bechtel (1988), Bridgman (1927)을 인용해 강조합니다. 관찰 내용은 관찰에 쓰인 연산과 가정에 부분적으로 의존하므로, 측정 선택 자체가 해석의 증거 일부입니다.
🧭 2. 실천적 의미
P0 는 독립된 단계가 아니라 P1~P5 각각에 붙는 조건절입니다. 예컨대 P2 에서 “정보를 제거했더니 행동이 바뀌었다”는 결론은 제거 연산의 정의에, P3 에서 “개입 효과가 나타났다”는 결론은 패칭 지표의 선택에 좌우됩니다. 따라서 어떤 원칙을 적용하든 측정 민감도를 함께 보고해야 합니다.
💡 Key Takeaway 측정은 증거의 일부입니다. 패칭 지표나 손상 방식이 바뀌면 “회로”도 바뀔 수 있으므로, 기계적 주장은 그것을 낳은 측정 조건과 함께 진술되어야 합니다.
P1: 설명 대상을 가설로 다루어라
MI 연구는 보통 단일 뉴런, 피처, 어텐션 헤드, 회로처럼 특권적 설명 대상에서 출발합니다. P1 이 겨냥하는 것은 방법이 유망한 결과를 돌려준 바로 그 수준에서 현상도 조직되어 있을 것이라고, 다른 분석 수준을 고려하지 않은 채 가정하는 경향입니다.
🧠 1. 뇌와 ANN 에서의 증거
| 시스템 | 증거 | 교훈 |
|---|---|---|
| 전전두엽 | 개별적으로 선택적인 뉴런을 제외해도 과제 변수가 집단 활성에서 복호됨(Rigotti et al., 2013) | 단일 뉴런 수준에서는 조직 구조를 쉽게 놓침 |
| ANN | 단위 선택성이 하류 과제 성능을 잘 예측하지 못하는 경우가 있음(Morcos et al., 2018) | 선택성이 곧 중요성은 아님 |
| ANN (반대 방향) | 의미적으로 해석 가능한 단위의 인과적 조작이 모델 행동에 영향을 줌(Bau et al., 2020) | 그렇다고 단일 뉴런이 틀린 대상이라는 뜻도 아님 |
세 번째 행이 중요합니다. 논문은 단일 뉴런을 버리라고 말하지 않습니다. 설명 대상을 선험적 가정이 아니라 경험적 가설로 다루라는 것입니다.
⚖️ 2. 설명 대상을 제약하는 두 방향
- 설명되어야 할 현상(explanandum) : 어떤 종류의 조직을 설명이 포착해야 하는지 결정할 수 있을 만큼 현상을 정밀하게 명시해야 합니다.
- 인접 수준의 증거 : 제안된 대상이 충분한지를 인접 수준에서 검사합니다. 선택적 단위를 찾았다면 관련 계산이 집단 부호에도 남아 있는지 묻고, 집단 수준 구조를 찾았다면 국소 회로나 뉴런으로도 행동이 설명되는지 묻습니다.
저자들은 이것이 가능한 모든 수준을 빠짐없이 탐색하라는 요구는 아니라고 덧붙입니다.
💡 Key Takeaway “SAE 가 피처를 찾았다”는 것은 피처 수준에서 현상이 조직되어 있다는 증거가 아니라 하나의 가설입니다. 인접 수준(뉴런·집단)에서 같은 계산이 남아 있는지 확인해야 그 가설이 검증됩니다.
P2: 표현된 정보와 계산에 관여하는 정보를 구분하라
후보 표현을 찾은 다음 단계는 그것이 어떤 정보를 담고 있는지 묻는 것입니다. P2 는 여기서 단순히 표현된 정보(총 복호 가능 정보, total decodable information)와 하류 계산이 실제로 쓰는 정보(실제 복호된 정보, actual decoded information)를 구분하라고 요구합니다.
🔬 1. 복호 가능성의 한계
복호 가능성(decodability)은 전자의 증거로 흔히 쓰입니다. 그러나 어떤 변수는 내부 표현에서 복호되면서도 행동 산출에 기능적 역할을 전혀 하지 않을 수 있습니다(Diedrichsen and Kriegeskorte, 2017; Ritchie et al., 2019; Kriegeskorte and Douglas, 2019).
| 시스템 | 증거 |
|---|---|
| 인간 시각 | 시각 범주 정보는 시각계의 넓은 부분에서 복호되지만, 그중 일부 표현만 범주화 행동을 예측함(Grootswagers et al., 2018) |
| ANN | 훈련 과제에 필요하지 않은 언어 속성도 모델이 부호화함(Ravichander et al., 2021) |
| ANN | 프로빙 정확도가 그 정보의 모델 행동에 대한 중요도를 반드시 따라가지 않음(Elazar et al., 2021) |
🛠️ 2. 실천적 처방
변수가 표현되어 있다는 발견은 시스템에 이용 가능한 정보를 식별할 뿐, 그 정보가 계산에 어디서, 과연 들어가는지는 열어 둡니다. 따라서 상류에서 식별한 정보를 하류 상태나 행동과 명시적으로 연결해야 합니다. 가장 흔한 방법은 그 정보를 선택적으로 제거하거나 바꾼 뒤 하류 계산이 예측대로 변하는지 보는 것입니다. 논문이 인용하는 Elazar et al. (2021)의 “amnesic probing”이 이런 접근의 예입니다.
💡 Key Takeaway 프로브 정확도는 “정보가 있다”까지만 말합니다. “정보가 쓰인다”는 그 정보를 지우거나 바꿨을 때 하류가 예측대로 움직이는지로 따로 보여야 합니다.
P3: 인과적 관련과 인과적 역할을 구분하라
개입은 기계적 추론을 “정보가 있는가”에서 “시스템이 그 정보에 어떻게 의존하는가“로 옮깁니다. 절제(ablation)·패칭·조향으로 어떤 구성요소를 바꾸면 행동이 변한다는 것은 확립할 수 있습니다. 그러나 같은 개입 효과가 “그 구성요소가 무엇을 하는가”에 대한 서로 다른 설명과 모두 양립할 수 있다는 것이 P3 의 요점입니다.
🐦 1. 급성 개입과 영구 손상이 다른 답을 주는 이유
| 시스템 | 관찰 | 해석 |
|---|---|---|
| 금화조 노래 영역 | 급성 억제는 노래를 즉시 무너뜨리지만, 영구 손상은 일시적 결손 후 회복됨(Otchy et al., 2015; Young et al., 2000) | 급성 개입은 국소 기능을 분리하는 것이 아니라 하류 회로를 교란함 |
| 트랜스포머 어텐션 헤드 | 헤드 절제 후 하류 구성요소가 교란을 부분적으로 보상하며, 그 자기 수리(self-repair) 양은 입력마다 다름(Rushing and Nanda, 2024) | 개입 후 관찰된 변화는 표적 구성요소와 나머지 시스템의 반응을 합친 것 |
🎯 2. 인과적 역할을 식별하려면
인과적 역할을 식별하려면 “이 구성요소가 무엇을 하는가”에 대한 경쟁 설명들을 구별할 수 있는 개입을 설계해야 합니다. 저자들의 처방은 다음과 같습니다.
- 구성요소가 수행한다고 가설을 세운 연산을 명시한다.
- 그 설명에서 따라 나오는 예측을 도출한다.
- 섭동 아래에서 효과가 어디서, 언제 나타나야 하는지, 어떤 하류 양이 어떻게 변해야 하는지, 무엇은 비교적 변하지 않아야 하는지를 묻는다.
즉 “절제하면 성능이 떨어진다”는 하나의 수치가 아니라, 역할 가설이 함의하는 변화·불변의 패턴 전체가 증거가 됩니다.
💡 Key Takeaway 절제 효과는 표적과 나머지 시스템의 반응이 섞인 양입니다. 역할을 주장하려면 “이 역할이면 무엇이 변하고 무엇은 변하지 않아야 하는가”를 먼저 적고 그 패턴을 시험해야 합니다.
P4: 인과적 역할과 기계적 조직을 구분하라
구성요소와 그 인과적 역할을 ‘메커니즘’의 지위로 끌어올리는 다음 단계는 역할들 사이의 의존 관계를 탐색하는 것입니다. 초점이 개별 구성요소-역할 사상에서 그들 사이의 관계로 옮겨 갑니다.
🐭 1. 생쥐 ALM 의 세 가설과 두 섭동
논문이 드는 예는 생쥐 전외측 운동피질(anterior lateral motor cortex, ALM)의 운동 계획입니다. 지연 반응 과제 동안 양쪽 ALM 반구의 뉴런이 다가올 움직임을 예측하는 준비 활성(preparatory activity)을 보입니다. 이 준비 활성에 대해 세 가지 가능성이 있습니다.
| 가설 | 내용 |
|---|---|
| 국소 순환 | 한쪽 반구 내부의 국소 순환 동역학에 의존 |
| 중복 유지 | 두 반구에 걸쳐 중복적으로 유지됨 |
| 상호 의존 | 두 반구가 서로에게 의존함 |
Li et al. (2016)은 서로 다른 섭동의 결과를 비교해 이를 구별했습니다.
| 섭동 | 결과 |
|---|---|
| 한쪽 반구 일시 억제 | 집단 활성이 밀려났다가, 섭동이 끝나자 빠르게 회복 |
| 양쪽 반구 억제 | 지연 기간이 끝날 때까지 활성이 회복되지 않음 |
두 섭동의 대조적 결과는 계산이 특정 국소 집단의 끊기지 않은 활성에 단순히 묶여 있지 않다는 것을 보였습니다. 대신 선택적으로 결합된, 부분적으로 중복된 모듈이라는 조직을 지지합니다. 어느 반구든 준비 동역학을 유지할 수 있고, 둘 사이의 결합이 일시적 섭동 후 한 모듈이 다른 모듈을 복원하게 합니다.
🧮 2. ANN 에서의 실천 전략
여러 구성요소에 후보 역할을 부여한 뒤에는, 그들 사이에 어떤 의존이 성립해야 하는지를 묻습니다. 그런 다음 특정 입력·출력·경로에 대해 일련의 섭동을 가하고, 그에 의존한다고 예측된 중간 양을 측정합니다. ALM 예가 보여 주듯, 단일 섭동이 아니라 섭동들의 조합이 조직을 드러냅니다. 한 헤드를 절제했을 때와 두 헤드를 함께 절제했을 때의 효과가 가산적인지, 하나가 다른 하나를 보상하는지가 곧 조직에 대한 증거입니다.
💡 Key Takeaway “헤드 A 는 역할 X, 헤드 B 는 역할 Y”까지는 역할 목록일 뿐입니다. 단독 섭동과 결합 섭동의 결과를 대조해 중복·결합·의존 중 어느 조직인지 가려낼 때 비로소 메커니즘이 됩니다.
P5: 재귀하여 불변량을 찾고 설명 대상을 다시 물어라
P4 에서 복원한 조직은 분석을 시작하게 한 질문, 즉 원래의 설명 대상이 적절한 수준이었는가에 대한 증거를 제공합니다. 개별 구성요소를 처음 식별할 때 자연스러워 보였던 수준이 구현 특유의 세부를 포착한 것일 수 있고, 안정적인 조직은 다른 곳에 있을 수 있습니다(Marr, 1982).
🔁 1. 수준 간 안정성의 사례
| 증거 | 내용 | 함의 |
|---|---|---|
| Tigges et al. (2024); Merullo et al. (2024) | 회로 수준 알고리즘은 훈련·과제·모델 규모에 걸쳐 비교적 일관되지만, 그것을 구현하는 구체적 구성요소는 바뀜 | 설명이 더 높은 계산 수준에서 안정·일반화하면서 낮은 구성요소 수준에서는 변할 수 있음 |
| Gerasimov et al. (2026) | 독립적으로 훈련한 SAE 들에서 개별 피처는 불안정하지만 그 피처들이 차지하는 부분공간은 재현됨 | 피처 단위가 아니라 부분공간이 불변량일 수 있음 |
🌀 2. 체크리스트가 아니라 재귀
재귀적 접근은 메커니즘의 타당성이 조건에 따라 어떻게 변하는지를 시험함으로써 어떤 측면이 안정적인지 드러낼 수 있습니다. 결과는 세 가지 중 하나일 수 있습니다.
- 원래의 수준을 지지한다.
- 더 추상적인 기술이 필요하다.
- 여러 수준이 메커니즘의 서로 다른 부분을 포착한다.
그래서 저자들은 원칙들을 정적 체크리스트가 아니라 재귀적으로 적용되는 것으로 보아야 한다고 말합니다. P5 의 결과는 P1 로 되돌아가 설명 대상을 수정하고, 그 수정은 다시 P2~P4 의 질문을 바꿉니다.
💡 Key Takeaway 시드를 바꿨을 때 사라지는 것은 구현 세부이고 남는 것이 메커니즘입니다. SAE 피처가 시드마다 다르다면 불변량은 피처가 아니라 부분공간일 수 있으며, 그때는 설명 대상 자체를 바꿔야 합니다.
역사적 경고: 해석 가능한 단위가 ‘메커니즘’이 될 때
§4 는 다섯 원칙의 구분이 신경과학사에서 어떻게 생겨났는지를 보여 주고, CNN 해석가능성이 같은 길을 되밟았다고 지적합니다.
🧬 1. 신경과학: 선택적 뉴런에서 동역학까지
| 단계 | 질문 | 대표 연구 |
|---|---|---|
| 선택적 뉴런 | 방향성 막대나 얼굴에 반응하는 뉴런이 무엇을 설명하는가 — 그노시스 세포(gnostic cell)·얼굴 세포가 “대상이 어떻게 표현되는가”의 답으로 제시됨 | Barlow (1972); Konorski (1967); Gross et al. (1972) |
| 집단 부호 | 초점이 개별 뉴런의 튜닝에서 다수 세포가 공동으로 전달하는 정보로 이동 | Georgopoulos et al. (1986); Haxby et al. (2001); Kriegeskorte et al. (2008) |
| 동역학 | 집단 활성이 시간에 따라 어떻게 진화해, 집단 내 정보 구조를 하류 집단이 읽어낼 수 있게 하는가 | Churchland et al. (2012); Mante et al. (2013); Sussillo and Barak (2013) |
“뇌가 어떻게 대상을 인식하는가”라는 넓은 질문은 어떤 잠재 요인이 표현되는가, 정보가 어떻게 조직되는가, 어떻게 변환되는가, 어떻게 읽혀 행동을 이끄는가로 점진적으로 인수분해되며 진전했습니다. 각 질문은 서로 다른 기술 대상(P1)과, 표현된 정보가 읽힌다는 자체 증거(P2)를 요구합니다.
‘인과적’ 증거(P3)도 정제의 물결을 거쳤습니다. 뇌 손상, 약리적 비활성화, 미세자극 연구는 얼굴 선택 뉴런이 얼굴 지각 행동에 인과적으로 관여함을 확립했습니다(Afraz et al., 2006; Sadagopan et al., 2017; Moeller et al., 2017; Parvizi et al., 2012). 그러나 어떤 영역이 인과적으로 관여한다는 것을 알아도, 그 영역이 어떤 계산을 수행하고 하류 영역이 어떻게 상호작용하는지(P4)는 열린 질문으로 남았고, 이에 답하려면 명시적 모델과 신중히 설계된 실험이 필요했습니다(Chang and Tsao, 2017).
🖼️ 2. CNN 해석가능성의 반복
| 단계 | CNN 연구 | 대응하는 신경과학 단계 |
|---|---|---|
| 층별 시각화 | 낮은 층의 저수준 시각 피처에서 높은 층의 복잡한 패턴으로의 진행(Zeiler and Fergus, 2014) | 선택적 뉴런 탐색 |
| 단위 수준 탐지기 | 층 내 개별 단위가 대상·개념을 탐지(Zhou et al., 2014; Bau et al., 2017) | 그노시스 세포 |
| 반성 | 단위 해석가능성은 기저 의존적이고, 선택성은 과제 중요도의 나쁜 예측자(Morcos et al., 2018; Dipani and Ratan Murty, 2026) | 집단 부호로의 전환 |
| 인과 개입 | 일부 해석 가능한 단위는 실제로 기능적 역할을 가짐(Bau et al., 2018; Bau et al., 2020) | 손상·미세자극 연구 |
저자들의 요약은 선택성(P1)과 인과적 기여(P2, P3)가 서로 다른 질문에 답하며, 어느 쪽 하나만으로는 계산의 전체 조직(P4)을 결정하지 못한다는 것입니다. 신경과학과 MI 에 공통된 이 역사적 패턴은 기계적 연구 일반의 도전을 가리킵니다. 해석가능성 방법이 드러낸 대상을 자동으로 과학적·계산적 의미의 ‘메커니즘’으로 취급해서는 안 됩니다. 다섯 원칙은 방법이 드러낸 것에서 타당한 기계적 주장까지 필요한 추론 단계를 명시합니다.
💡 Key Takeaway CNN 연구는 신경과학이 수십 년 전 지나온 “선택적 단위 → 기저 의존성 발견 → 인과 개입” 궤적을 압축해서 반복했습니다. LLM 의 뉴런·SAE 피처 연구가 같은 궤적을 세 번째로 되밟지 않으려면 추론 단계를 명시해야 한다는 것이 경고의 핵심입니다.
발견의 과학으로서의 MI: 두 개의 순환과 책임 있는 사용
§5 와 §6 은 원칙들이 궁극적으로 무엇을 위한 것인지 밝힙니다. 저자들은 MI 를 두 가지 구별되는 의미에서 발견의 과학으로 보아야 한다고 말합니다.
🔬 1. 첫 번째 의미: 모델 내부 메커니즘의 발견
신경망이 정보를 어떻게 표현하고 계산을 수행하며 행동을 산출하는지를 발견하는 것 자체가 과학적 발견입니다. 신경과학과 MI 의 역사적 평행은 진보가 설명 대상과 각 증거 종류에서 끌어내는 추론을 반복적으로 정제할 것을 요구함을 보여 줍니다. MI 가 메커니즘에 대한 누적적 과학이 되려면 경험적 발견이 공유된 추론 논리를 통해 기계적 주장과 연결되어야 합니다. 다섯 원칙은 어떤 결과가 무엇을 확립했는지, 무엇이 미해결인지, 어떤 기계적 질문이 뒤따르는지를 위치시키는 구조입니다.
🌍 2. 두 번째 의미: 모델을 도구로 한 외부 영역의 발견
두 번째 의미는 모델을 그 자체 너머의 영역을 배우는 도구로 쓰는 것입니다. 대상 영역의 데이터로 훈련한 모델을 MI 기법으로 분석해 외부 영역에 대한 후보 메커니즘을 추출하는 경우로, 논문은 단백질 언어모델에 SAE 를 적용한 Simon and Zou (2025)를 예로 듭니다. 여기서 핵심 주장은 다음과 같습니다.
| 주장 | 내용 |
|---|---|
| 중간 단계 | 모델의 계산·메커니즘을 복원하는 것은 중간 단계다. 모델 메커니즘의 과학이 자동으로 “외부 세계 모델”의 과학이 되지는 않는다. |
| 가설의 원천 | 모델에서 찾은 메커니즘은 우선 그 영역에 대한 가설의 원천이다. |
| 간극의 이유 | 모델은 훈련 데이터를 생성한 것과 다른 표현·계산을 이용할 수 있으므로 대응을 가정할 수 없다. |
| 검증 | 원칙들이 해석가능성 결과를 정밀한 후보 가설과 예측 집합으로 바꾸면, 그 예측은 해석가능성 분석과 독립적으로, 가능하면 모델 자체와도 독립적으로 시험할 수 있다. 행동 실험, 새 데이터셋, 개입, 영역 특유의 측정이 그 구조가 모델만의 것인지 영역의 일반 규칙성인지를 판정한다. |
🔁 3. 두 순환의 연결과 책임 있는 사용
요약하면 원칙들은 두 연결된 순환을 안내합니다. 첫째는 모델 내부 메커니즘에 대한 재귀적이고 엄밀한 과학, 둘째는 그 메커니즘이 모델이 포착한 과학 영역에 대한 시험 가능한 가설을 낳는 더 넓은 과학적 순환입니다. 모델에서 발견된 메커니즘은 후보 설명을 드러낼 수 있지만, 모델 너머와 외부 세계에 대해 그것이 무엇을 밝히는지는 결국 후속 독립 증거가 결정합니다.
§6 의 책임 있는 사용 진술도 같은 선상에 있습니다. 기계적 해석은 특히 모델 메커니즘이 외부 과학 영역의 메커니즘을 반영한다고 받아들여질 때 증거 이상으로 과잉 일반화될 수 있습니다. 모델에서 유도한 메커니즘은 독립적이고 영역 특유의 경험적 검증을 대체하는 것이 아니라, 시험 가능한 가설을 생성해야 한다는 것이 저자들의 입장입니다.
💡 Key Takeaway 모델 내부 메커니즘을 밝히는 과학과 그 메커니즘으로 세계를 설명하는 과학은 다릅니다. 후자는 모델에 대한 어떤 해석가능성 결과로도 닫히지 않으며, 모델 밖의 독립 증거를 요구합니다.
한계와 열린 질문
이 논문은 워크숍(“Interpretability for Discovery”) 포지션 논문으로, 별도의 한계 절을 두지 않습니다. 아래는 본문 자체의 범위와 외부 관점에서 본 제약을 정리한 것입니다.
⚠️ 1. 논문 자체의 범위
- 새 실험이나 정량 평가가 없습니다. 다섯 원칙의 근거는 모두 기존 문헌의 사례 쌍(뇌/ANN)이며, 원칙을 적용했을 때 기존 MI 결과의 해석이 실제로 어떻게 바뀌는지를 보여 주는 사례 연구는 없습니다.
- 원칙의 조작적 정의가 느슨합니다. 예컨대 P2 의 “총 복호 가능 정보”와 “실제 복호된 정보”는 개념적으로 구분되지만, 어떤 측정이 후자를 만족스럽게 확립하는지에 대한 기준(어느 정도의 하류 변화가 “사용됨”의 증거인지)은 제시되지 않습니다.
- P4 의 ANN 사례가 비어 있습니다. P1~P3, P5 는 뇌와 ANN 사례를 짝지어 제시하지만, P4(역할에서 조직으로)는 생쥐 ALM 예만 있고 트랜스포머에서 같은 종류의 결합 섭동 실험이 어떻게 생겼을지는 처방 수준으로만 서술됩니다.
- 회로·집단 기하·동역학 수준의 한계는 다루지 않습니다. §2 의 설명 대상 개관에서 뉴런과 SAE 피처에는 명시적 문제점이 붙지만, 나머지 세 수준에는 붙지 않습니다.
🔍 2. 외부 관점의 한계
- 신경과학 비유의 범위. 뇌와 ANN 은 측정 접근성이 근본적으로 다릅니다. ANN 에서는 모든 활성과 가중치를 읽고 임의로 개입할 수 있으므로, 신경과학의 추론 병목 일부(예: 급성 개입과 영구 손상의 차이)가 ANN 에서 같은 무게를 갖는지는 별도의 논증이 필요합니다. 논문은 자기 수리(Rushing and Nanda, 2024)로 대응시키지만, 그것이 같은 종류의 현상인지는 논의하지 않습니다.
- 인과 추상(causal abstraction)과의 관계. 저자들은 Geiger et al. (2025)을 “국소화된 실천”으로 분류하지만, 인과 추상은 P3·P4 가 요구하는 “역할 가설 → 예측 → 개입” 구조를 이미 형식화한 틀로 볼 수도 있습니다. 두 틀이 어디서 겹치고 갈리는지는 다뤄지지 않습니다.
- 재귀의 종료 조건. P5 는 원칙들을 재귀적으로 적용하라고 하지만, 언제 재귀를 멈추고 “메커니즘을 확립했다”고 선언할 수 있는지에 대한 기준은 없습니다. 이는 포지션 논문의 성격상 의도된 열림일 수 있습니다.
- 측정 의존성(P0)의 자기 적용. P0 는 모든 해석이 측정에 의존한다고 말하는데, 원칙들의 근거로 든 문헌 사례들 역시 특정 측정 선택 아래 얻어진 것입니다. 논문은 이 점을 명시적으로 다루지 않습니다.
❓ 3. 열린 질문
- 다섯 원칙을 체크리스트처럼 보고 양식으로 만들면, MI 논문이 “이 결과는 P2 까지 확립했고 P3 은 미해결”이라고 스스로 위치시키게 할 수 있는가? 저자들의 “결과가 무엇을 확립했는지 위치시킨다”는 표현은 이런 사용을 암시하지만 구체안은 없습니다.
- SAE 피처의 시드 불안정성과 부분공간의 재현성(Gerasimov et al., 2026)을 P5 에 따라 해석하면, 피처 수준 설명은 대부분 구현 세부가 되는가? 그렇다면 피처 기반 회로(Marks et al., 2025)는 어느 수준의 주장으로 읽어야 하는가?
- 두 번째 의미의 발견(모델 너머)에서 “모델 밖 독립 증거”를 구할 수 없는 영역(예: 데이터가 모델의 유일한 접근 경로인 경우)에서는 어떤 약한 형태의 검증이 허용되는가?
본문 전체에서 수치 간 불일치는 없습니다(정량 결과가 없는 포지션 논문). §3 도입부에 “we organize how the principles below organize mechanistic research”라는 중복 표현이 있으나 내용에 영향을 주지는 않습니다.