You know maize mean?
Are Linguistic and Arithmetic Circuits Dissociated in LLMs?
0. Summary
- 기본 정보 : ArXiv,2026.10.20, Are Linguistic and Arithmetic Circuits Dissociated in LLMs?
- 연구 배경 : LLM은 문법 판단 같은 형식적 언어 능력(formal linguistic competence) 과 수학 문장제 풀이 같은 기능적 언어 능력(functional linguistic competence) 을 함께 보인다. 인간 신경언어학에서는 언어 네트워크와 산술 처리가 뇌에서 분리되어 있다는 증거(Varley et al. 2005; Amalric & Dehaene 2018 등)와, 자연어와 산술식의 공통된 재귀 구조 때문에 두 영역이 상호작용한다는 증거(Nakai & Okanoya 2018)가 공존한다. LLM에서도 같은 질문을 던질 수 있지만, 기존 연구(Hanna et al. 2026; AlKhamissi et al. 2025)는 표면 형식(아라비아 숫자 vs 숫자 단어)에 대한 회로의 안정성이나 하위 과제 분해를 정밀하게 통제하지 못했다.
- 제안 방법 : 10개의 통제된 과제(순수 산술 2개, 순수 언어 3개, 수학 문장제, 계산 없는 산술식 변환 2개, 산술식·문장 파싱 2개)를 설계하고, 다섯 개 LLM(Qwen3-1.7B/4B/8B, Llama-3.1-8B, Gemma-2-2B)에서 EAP-IG(Edge Attribution Patching with Integrated Gradients) 로 과제별 엣지 회로를 추출한다. 회로 간 구조적 중첩(IoU) 과, 한 과제의 회로 마스크를 다른 과제에 적용했을 때 행동이 얼마나 재현되는지를 재는 기능적 중첩(cross-task Faithfulness) 을 계산하고, 전이 프로파일에 대한 계층적 군집화로 과제 그룹을 확인한다. 회로 경계 정의가 결론을 좌우하지 않도록 top-2.5%, top-5.0%, 자기 충실도 0.85 이상의 최소 집합(adaptive)의 세 설정을 모두 보고한다.
- 발견 사실 : (1) 아라비아 숫자 과제(Math)와 숫자 단어 과제(Math-s)의 회로는 서로 높은 IoU와 전이를 보여, 입출력 어휘만으로 산술 회로가 결정되지 않는다. (2) 같은 산술식을 입력으로 받아도 “계산”과 “철자 변환(Spell-m)”은 다른 회로를 쓴다. 즉 회로는 입력이 아니라 요구되는 능력에 의해 결정된다. (3) 산술 회로(Math, Math-s, Math-Parse, GSM-Plus)와 언어 회로(Ling-SV, Ling-GA, Ling-HJ, Ling-Parse)는 중첩과 교차 충실도가 모두 낮으며, 구문 구조 분석이라는 공통 과제를 극대화한 Math-Parse ↔ Ling-Parse 쌍조차 서로의 과제를 풀지 못한다(Qwen3-8B 원시 충실도 0.14 / 0.18). (4) 군집화 결과는 다섯 모델 간 ARI 약 0.4–0.6으로 비교적 안정적이며, 다만 Math-Parse 회로는 어느 그룹에도 일관되게 속하지 않고 “떠 있는(floating)” 양상을 보인다.
- 핵심 기여 :
- 통제된 과제 집합 설계 : 어휘(숫자 vs 단어), 하위 과제(계산 유무), 구문 구조(파싱)의 세 축을 분리해, 회로 유사성이 입력 유사성·어휘·구문 중 무엇으로 설명되는지 검증할 수 있는 10개 과제를 만들었다.
- 구조·기능 두 겹의 중첩 분석 : IoU 뿐 아니라 교차 과제 충실도와 그 전이 프로파일의 계층적 군집화를 다섯 모델, 세 회로 크기 정의에서 수행하고, 원시 충실도 행렬 전체를 부록에 공개했다.
- 언어–산술 회로 분리의 증거 : 인간 신경언어학의 분리 가설과 일치하는 결과를 LLM에서 재현하되, 인간에서 보고된 구문 수준의 상호작용은 LLM에서 관찰되지 않음을 보였고, 그 이유로 LLM이 단계적 파싱 대신 휴리스틱·암기 기반 전략으로 산술을 풀 가능성을 제시했다.
Abstract 쉬운 설명(Gemini)
💡 한 줄 요약 (Key Takeaway)
챗GPT 같은 인공지능(LLM)은 모든 글자를 똑같은 방식으로 처리할 것 같지만, 실제로는 인간의 뇌처럼 ‘언어(문법·어휘)를 담당하는 회로’와 ‘수학 계산을 담당하는 회로’가 서로 분리되어 따로 작동한다는 사실을 밝혀낸 연구입니다.
🧠 1. 왜 이런 연구를 했을까요? (인간의 뇌 vs 인공지능)
인간의 뇌는 말을 이해하고 문법을 판단하는 영역(언어 중추)과 숫자를 계산하는 영역(수리 중추)이 물리적으로 나뉘어 있습니다. 그래서 뇌 손상으로 말을 잘 못하게 된 환자도 수학 계산은 정확히 해내는 경우가 있습니다.
반면, 오늘날의 대규모 언어 모델(LLM)은 처음부터 끝까지 오직 ‘다음에 올 단어나 글자 맞추기’ 방식으로만 학습합니다. 그래서 연구자들은 “과연 AI도 사람처럼 언어 처리 부서와 수학 계산 부서를 머릿속에 따로 만들어 둘까, 아니면 문장이든 수식이든 똑같은 뇌 회로로 뭉뚱그려 처리할까?”라는 의문을 품고 AI의 내부를 들여다보았습니다.
🔬 2. 초록의 핵심 내용을 3단계로 쉽게 풀어보기
원문 초록의 학술적 표현이 실제로 어떤 의미인지 일상적인 비유로 비교해 보겠습니다.
| 초록의 원래 내용 (전문 용어) | 비전공자를 위한 쉬운 풀이 | 일상적인 비유 |
|---|---|---|
| 언어 자체의 지식 vs 언어를 매개로 한 과업 수행 | AI는 ‘이 문장이 문법적으로 맞는지’ 판단할 줄도 알고, ‘글로 적힌 수학 문제’를 읽고 계산할 줄도 압니다. | 국어 시험(맞춤법 찾기)과 수학 주관식 시험(문장제 문제 풀기)을 둘 다 잘 보는 학생과 같습니다. |
| 기계적 해석 가능성 기법과 통제된 데이터 활용 | AI 내부의 수많은 연결선 중 어떤 문제를 풀 때 어느 전선에 불이 켜지는지(회로) 추적했습니다. 이때 겉모습(숫자 기호인지 영어 단어인지)에 속지 않도록 문제를 정교하게 설계했습니다. | 뇌 MRI를 찍듯 AI의 ‘생각 지도’를 촬영하되, 2 + 3으로 묻든 이 더하기 삼으로 묻든 똑같은지 확인한 것입니다. |
| 표면적 어휘나 구문 유사성이 아닌 ‘과업 도메인’이 회로를 결정 | 문제가 숫자로 적혀 있든 글자로 적혀 있든 상관없이, ‘진짜 계산이 필요한가?’에 따라 켜지는 회로가 완전히 달랐습니다. | 한글로 적힌 수학 문제(이 더하기 삼은?)를 풀 때 국어 부서가 아니라 수학 전담 부서가 출동한다는 뜻입니다. |
🎯 3. 이 발견이 왜 중요할까요?
AI가 문제를 풀 때 겉모습(숫자냐 글자냐)에 휘둘리지 않고, 문제의 본질(언어 규칙 찾기냐, 산술 계산이냐)에 맞춰 서로 다른 전용 회로를 가동한다는 뜻입니다.
| 기대 효과 및 시사점 | 구체적인 설명 | |—|—| | **인공지능과 인간 뇌의 닮은꼴 확인** | AI에게 "언어 방과 수학 방을 따로 만들어라"라고 가르친 적이 없는데도, 스스로 학습하는 과정에서 인간처럼 **역할별로 전문화된 모듈(부서)**을 만들어 냈음을 보여줍니다. | | **더 똑똑하고 안전한 AI 수리 가능** | 언어 회로와 수학 회로가 분리되어 있다면, 앞으로 AI의 수학 실력을 고치려다 말투나 문법 실력이 망가지는 부작용 없이 **원하는 능력만 정밀하게 업그레이드(핀셋 교정)**할 수 있습니다. | =
관련 개념
형식적 언어 능력과 기능적 언어 능력
Mahowald et al. (2024)는 언어 모델의 능력을 두 층으로 나눕니다. 형식적 언어 능력(formal linguistic competence) 은 문법과 어휘 등 언어 자체에 대한 지식이고, 기능적 언어 능력(functional linguistic competence) 은 언어를 매개로 수행하는 더 넓은 능력(추론, 세계 지식, 수학 문제 풀이 등)입니다. 이 논문은 후자의 대표로 산술(arithmetic) 을 고릅니다.
🧠 1. 왜 산술인가
산술은 인간 신경과학에서 언어 네트워크의 영역 특이성을 시험할 때 즐겨 쓰이는 대조군입니다. 또한 LLM 실험에서는 다음과 같은 통제가 쉽습니다.
| 통제 축 | 조작 예 | 검증하려는 질문 |
|---|---|---|
| 어휘 |
2 * 1 + 3 vs two times one plus three
|
회로가 입출력 토큰 종류에 의해 결정되는가 |
| 하위 과제 | 같은 식을 “계산하라” vs “철자로 풀어 써라” | 회로가 입력이 아니라 요구 능력에 의해 결정되는가 |
| 구문 구조 |
2 + (3 * 1) vs Cat (deeply sleeps)
|
자연어와 산술식의 공통된 재귀 구조가 회로를 공유하게 만드는가 |
🔬 2. 인간 연구의 두 갈래
논문 2.2절은 인간 뇌에서의 증거를 정리합니다.
- 분리(dissociation) 증거 : 심한 실문법증(agrammatic aphasia) 환자도 계층적·재귀적 산술 연산을 수행할 수 있었고(Varley et al. 2005), 1차 수리논리 식의 구문 처리는 두정엽·전전두엽 네트워크가 담당하며 Broca 영역의 관여는 선택적이었습니다(Friedrich & Friederici 2009). 중첩된 산술식 처리는 좌반구 언어 네트워크가 아니라 양측 후두측두·두정 영역을 주로 동원했고(Maruyama et al. 2012), 수학적 사고는 두정내구(intraparietal sulci)와 하측두 영역 중심의 네트워크가 담당하며 고전적 언어·의미 영역의 관여는 적었습니다(Amalric & Dehaene 2018, 2019). Fedorenko et al. (2024)는 더 넓게 “언어는 주로 소통을 위한 것이지 복잡한 사고를 위한 것이 아니다”라고 주장합니다.
- 상호작용 증거 : Nakai & Okanoya (2018)는 자연어와 산술식 사이의 구문 점화(syntactic priming) 효과를 보고했고, Zhou et al. (2018), Nakai & Nishimoto (2023)도 교차 영역 구조 상호작용을 보였습니다.
논문은 (i) 산술 계산 (2+3)*4, (ii) 추상화된 대수 계산 (a+b)*c, (iii) 수학 문제 풀이(문장제)를 구분하고, 주로 자연어와 (i) 산술 계산의 분리 에 초점을 맞춥니다.
🤖 3. LLM 쪽 선행 연구와의 차이
| 연구 | 접근 | 이 논문과의 차이 |
|---|---|---|
| Hanna et al. (2026) | 광범위한 형식/기능 과제의 회로 중첩 | 표면 형식 변화에 대한 회로 안정성, 하위 과제 분해가 미흡 |
| Kisako et al. (2025) | 선형 분류기와 군집 분리도로 표현 기하 분석 | 이 논문은 개입(intervention) 하의 엣지 회로를 비교 |
| AlKhamissi et al. (2025) | 신경과학식 언어 선택적 유닛 분석, 수학 과제 관여 | 입출력 형식·하위 과제에 대한 강건성 검증 없음 |
| Nikankin et al. (2025) | 산술이 알고리즘이 아니라 휴리스틱 묶음으로 수행됨 | 이 논문의 토론에서 분리 현상의 가설적 원인으로 인용 |
💡 Key Takeaway 이 논문의 질문은 “LLM이 산술을 잘하는가”가 아니라, “언어 지식을 담당하는 회로와 산술을 담당하는 회로가 같은 부품인가”입니다. 인간 뇌에서는 대체로 분리되어 있지만 구문 수준의 상호작용이 보고되었기에, LLM에서 그 상호작용까지 재현되는지가 핵심 쟁점입니다.
회로 분석과 EAP-IG
회로(circuit) 분석은 트랜스포머를 입력에서 출력으로 가는 유향 계산 그래프로 보고, 특정 행동에 충분한 부분 그래프를 찾는 작업입니다. 이 논문에서 노드는 모듈(어텐션 헤드, MLP 블록), 엣지는 노드 간 정보 흐름입니다(Wang et al. 2023).
🧮 1. EAP-IG 점수
회로 추출에는 EAP-IG(Edge Attribution Patching with Integrated Gradients) (Hanna et al. 2024)를 씁니다. 각 과제마다 클린 입력 $x$ 와 손상 입력 $\tilde{x}$ 의 쌍을 만듭니다. 손상 입력은 클린 입력의 정답이 틀리게 되도록 설계합니다. 예를 들어 주어–동사 일치 과제에서 클린 입력 “The keys on the cabinet [are]”의 손상 입력은 “The key on the cabinet [is]”입니다.
노드 $i$ 의 표현을 $h_i(x) \in \mathbb{R}^n$, 미분 가능한 지표를 $m(\cdot)$ (보통 로짓), 수신 노드 $j$ 에서의 기울기를 $\nabla_{h_j} m(x)$ 라 할 때, 송신 노드의 활성 차이는 $\Delta h_i = h_i(x) - h_i(\tilde{x})$ 이고, 엣지 $e_{i \to j}$ 의 점수는 다음과 같습니다.
$$ s_{i \to j} = \Delta h_i^{\top} \int_{\alpha=0}^{1} \nabla_{h_j} m\big(\tilde{x} + \alpha (x - \tilde{x})\big)\, \mathrm{d}\alpha \;\approx\; \frac{\Delta h_i^{\top} }{T} \sum_{k=0}^{T-1} \nabla_{h_j} m\big(\tilde{x} + \tfrac{k}{T}(x - \tilde{x})\big) $$
즉, 손상 입력에서 클린 입력으로 가는 보간 경로 위에서 기울기를 평균하고, 송신 활성 차이와 내적합니다. 이 논문은 $T = 5$ 스텝을 사용하며, 분석은 마지막 시점 $t$ 의 행동에 집중합니다.
지표 $m$ 의 예로, 주어–동사 일치(SVA)에서는 단수·복수 동사의 로짓 차이를 씁니다.
$$ m(x) = \mathrm{logit}(\text{are} \mid x) - \mathrm{logit}(\text{is} \mid x) $$
✂️ 2. 세 가지 회로 경계 정의
점수가 높은 엣지를 골라 회로 $E$ 를 만드는데, 결론이 경계 정의에 의존하지 않는지 확인하기 위해 세 설정을 모두 보고합니다.
| 설정 | 정의 | 역할 |
|---|---|---|
| top-2.5% | 절대 점수 상위 2.5% 엣지 | 본문 주 결과 |
| top-5.0% | 절대 점수 상위 5.0% 엣지 | 크기 민감도 확인 |
| adaptive | 자기 충실도(self-faithfulness)가 0.85를 넘는 최소 엣지 집합 | 고정 크기가 실제 최소 회로를 반영하지 못할 가능성 대비 |
계산 비용은 단일 NVIDIA RTX PRO 6000 Blackwell(96GB)에서 (모델, 과제) 쌍당 약 5 GPU-시간, 한 모델의 전체 교차 과제 행렬 계산에 약 20 GPU-시간입니다. 모든 실행은 float16 입니다.
💡 Key Takeaway EAP-IG는 활성 패칭의 근사이지만, 적분 기울기로 클린–손상 사이 경로 전체의 기울기를 평균하기 때문에 단일 점 기울기보다 안정적입니다. 이 논문은 회로 추출 방법을 EAP-IG 하나로 고정하는 대신, 회로 크기 정의를 세 가지로 바꿔 결론의 강건성을 확인합니다.
구조적 중첩(IoU)과 기능적 중첩(Faithfulness)
두 과제의 회로가 “같다”는 말은 두 가지 뜻일 수 있습니다. 엣지 집합이 겹친다는 구조적 의미와, 한 회로가 다른 과제의 행동을 재현한다는 기능적 의미입니다. 논문은 둘을 분리해서 잽니다.
📐 1. IoU
과제 $A$, $B$ 의 엣지 집합 $E_A$, $E_B$ 에 대해
$$ \mathrm{IoU}(A, B) = \frac{|E_A \cap E_B|}{|E_A \cup E_B|} $$
🔁 2. 교차 과제 충실도
구조적 중첩이 작아도 회로 다의성(circuit polysemy) 때문에 한 과제의 회로가 다른 과제를 지원할 수 있습니다. 이를 재기 위해 Hanna et al. (2024)의 Faithfulness 를 교차 과제로 확장합니다.
과제 $A$ 의 클린·손상 입력 쌍 $(x^A, \tilde{x}^A) \in \mathcal{D}^A$ 와 과제 $B$ 의 회로 $E_B$ 가 있을 때, 모델을 $x^A$ 로 실행하되 $E_B$ 밖의 엣지는 모두 손상 실행 $\tilde{x}^A$ 의 활성으로 패칭하고 $E_B$ 안의 엣지만 클린으로 둡니다.
$$
a^{(A \leftarrow B)}_e(x^A) =
\begin{cases}
a_e(x^A) & \text{if } e \in E_B
a_e(\tilde{x}^A) & \text{if } e \notin E_B
\end{cases}
$$
중요한 점은 전이되는 것이 엣지 마스크 $E_B$ 뿐이라는 것입니다. 클린·손상 실행 모두 과제 $A$ 의 입력을 씁니다. 이 혼합 활성으로 얻은 지표를 $m^{(A \leftarrow B)}(x^A)$ 라 하면, 충실도는
$$ F(A, B) = \frac{1}{|\mathcal{D}^A|} \sum_{(x^A, \tilde{x}^A) \in \mathcal{D}^A} \frac{m^{(A \leftarrow B)}(x^A) - m(\tilde{x}^A)}{m(x^A) - m(\tilde{x}^A)} $$
입니다. 클린 기준선이면 1, 손상 기준선이면 0 이 됩니다. 자기 회로($B = A$)라도 전체 모델 점수를 정확히 재현할 필요는 없습니다.
📊 3. 두 겹의 정규화와 읽는 법
| 이름 | 정의 | 용도 |
|---|---|---|
| 원시(raw) 충실도 $F(A,B)$ | 위 식. 이미 클린/손상 기준선으로 정규화됨 | 부록 Table 6–10 |
| 표시용 정규화 | $F(A,B) / F(A,A)$ : 대상 과제의 자기 충실도로 나눔 | 본문 히트맵(top-2.5%, top-5.0%) |
주의할 점은 다음과 같습니다.
- 값은 확률이 아닙니다. 클린–손상 간격이 양수일 때 0 미만은 손상 기준선보다 나쁜 것, 1 초과는 클린 기준선보다 좋은 것을 뜻합니다.
- 기준선 간격이 작거나 대각 값(자기 충실도)이 작으면 표시용 점수가 증폭됩니다. 따라서 겉보기 전이를 해석할 때는 절대 지표값과 원시 충실도를 함께 봐야 합니다.
💡 Key Takeaway IoU는 “같은 부품을 쓰는가”, 충실도는 “그 부품만으로 다른 일을 할 수 있는가”를 묻습니다. 논문의 토론(7절)이 지적하듯, 소수의 고영향 엣지가 여러 과제를 떠받치면 IoU가 낮아도 충실도는 높을 수 있으므로, 낮은 구조적 중첩이 곧 기계적 독립을 뜻하지는 않습니다.
통제된 과제 설계
모든 과제는 500개의 클린/손상 입력 쌍을 쓰며, 주 실험은 첫 번째 생성 토큰 의 로짓을 평가합니다. 과제는 요구 능력과 영역에 따라 네 블록으로 나뉩니다.
🗂️ 1. 과제 목록 (Table 1)
| 과제 | 입력(접두) 예 | 정답 | 입력 영역 | 출력 어휘 | 산술 계산 |
|---|---|---|---|---|---|
| Math (산술 계산) | The answer to 2 * 1 + 3 = is | 5 | 식(Expr.) | 아라비아 숫자 | ✓ |
| Math-s (철자 산술 계산) | The answer to two times one plus three equals is | five | 언어(Lang.) | 숫자 단어 | ✓ |
| GSM-Plus (수학 문장제) | Janet’s ducks lay 16 eggs per day… The answer is | 18 | 언어 | 아라비아 숫자 | ✓ |
| Spell-m (식 철자 변환) | The spelled-out form of 2 * 1 + 3 = is | two times one plus three | 식 | 숫자 단어 | |
| Spell-mi (Spell-m 역변환) | The numerical formula for two times one plus three is | 2 * 1 + 3 | 언어 | 아라비아 숫자 | |
| Math-Parse (산술식 파싱) | The first term to calculate in 6 + 2 * 5 is | 2 * 5 | 식 | 아라비아 숫자 | (✓) |
| Ling-Parse (문장 파싱) | The head word of the lowest constituent of the sentence ‘many students study’ is | students | 언어 | 단어 | |
| Ling-SV (주어–동사 일치) | The keys on the cabinet | are | 언어 | 단어 | |
| Ling-GA (성별 대명사 일치) | Maria said that | she | 언어 | 단어 | |
| Ling-HJ (상위어 판단) | Roses, and other | flower | 언어 | 단어 |
Math-Parse의 체크는 회색입니다. 계산은 하지 않지만 산술의 필수 하위 과제여야 한다는 뜻입니다.
🧩 2. 각 블록의 역할
- 순수 산술(Math, Math-s) : 덧셈·뺄셈·곱셈으로 이루어진 세 항 식이며 정답은 자연수로 제한됩니다. Math-s는 같은 식을 숫자 단어로 씁니다. 둘의 회로가 같다면 어휘는 산술 회로를 결정하지 않습니다.
- 순수 언어(Ling-SV, Ling-GA, Ling-HJ) : Hanna et al. (2026)을 따릅니다. 주어–동사 일치는 문법, 성별 대명사 일치는 지시·성별 단서 간의 통사 의존성, 상위어 판단은 어휘·의미 지식을 봅니다.
- 수학 문장제(GSM-Plus) : Li et al. (2024)의 GSM-Plus(GSM8K에 수치·연산자 변환 등 통제된 교란을 가한 벤치마크)에서 원본(seed) 문제와 수치 치환 변형 을 클린/손상 쌍으로 씁니다. 산술과 일반 독해를 모두 요구합니다.
- 계산 없는 식 변환(Spell-m, Spell-mi) : Math와 같은 식을 입력 으로 받지만 계산은 하지 않습니다. Math 회로와 다르다면 회로는 입력 유사성만으로 결정되지 않습니다.
- 파싱(Math-Parse, Ling-Parse) : Math-Parse는 연산자 우선순위(먼저 계산할 항)를, Ling-Parse는 최하위 구성소의 핵어(head word)를 묻습니다. Ling-Parse의 각 쌍은 명사와 동사를 공유하되 핵어가 다릅니다. “many students study”의 답은 students, “students often study”의 답은 study 입니다. 첫 토큰만으로 파싱 결정을 구별할 수 있도록 설계되었고, 정답·오답 선택지가 모두 클린·손상 문장에 등장해 그럴듯합니다.
🧪 3. 데이터 구성 세부 (Appendix B)
| 항목 | 내용 |
|---|---|
| 산술식 | Math·Math-s·Spell-m·Spell-mi는 같은 세 항 식 집합을 공유. 첫 피연산자 0–20, 나머지 0–50, 연산자 $+, -, \times$. 음수 답과 절댓값 200 이상 답은 제외. 각 클린 식은 네 과제 모두에서 토큰화된 프롬프트 길이가 같은 다른 손상 식과 짝지음 |
| Math-Parse | 0–50 사이 세 수, 곱셈 하나와 덧셈 또는 뺄셈 하나. 쌍은 같은 수를 쓰되 곱셈 항을 반대쪽에 배치. 목표는 첫 곱셈 부분식 |
| Ling-Parse | 형용사–명사–동사, 명사–부사–동사, 명사–동사–부사 문장을 어휘 목록에서 생성. 쌍은 명사·동사를 공유하고 최하위 구성소의 핵이 명사인지 동사인지만 다름. 단일 토큰 답만 허용 |
| Ling-SV | 15개 주어–동사 일치 템플릿의 단수·복수 예시를 양방향으로 짝지음 |
| Ling-GA | 직업 기반 성별 쌍에서 남성·여성형을 교환, he/she 가 대조 답 |
| Ling-HJ | 필터링한 Battig 범주 규범과 유효 상위어 형태. 서로 다른 의미 범주의 하위어를 짝지으며 토큰 길이를 맞춤. 하나의 하위어에 여러 유효 상위어 허용 |
| 공통 | 모델 계열별 토크나이저 의존 필터 적용. 쌍 안에서 토큰화된 프롬프트 길이를 맞춰 엣지 패칭 시 위치 정렬 유지. 첫 토큰 평가를 위해 클린·손상 정답 토큰이 달라야 함 |
Ling-HJ 만은 로짓 차이 대신 확률 차이(prob_diff) 를 씁니다. 클린·손상 하위어의 유효 상위어 집합을 $H_c$, $H_r$ 라 할 때
$$ m(x) = \sum_{w \in H_c} p(w \mid x) - \sum_{w \in H_r} p(w \mid x) $$
이며, $p(w \mid x)$ 는 후보 답 $w$ 의 첫 토큰 확률입니다.
💡 Key Takeaway 이 과제 집합의 핵심은 같은 입력, 다른 요구 능력(Math vs Spell-m)과 다른 입력, 같은 요구 능력(Math vs Math-s)을 모두 갖춘다는 점입니다. 이 두 대조가 있어야 “회로가 입력을 따라가는가, 능력을 따라가는가”를 분리할 수 있습니다.
모델과 과제 정확도
🖥️ 1. 모델
| 모델 | 포함 이유 | 라이선스 |
|---|---|---|
| Qwen3-1.7B / 4B / 8B | 같은 계열 안에서 크기 변화에 따른 결과 변동 확인 | Apache 2.0 |
| Llama-3.1-8B | 다른 모델 계열에서의 일관성 확인 | Llama 3.1 Community |
| Gemma-2-2B | 다른 모델 계열에서의 일관성 확인 | Gemma Terms of Use |
모든 모델은 Hugging Face 로 접근했습니다.
📈 2. 과제별 정확도 (Table 2, %)
| 모델 | Math | Math-s | GSM-Plus | Spell-m | Spell-mi | Math-Parse | Ling-Parse | Ling-SV | Ling-GA | Ling-HJ |
|---|---|---|---|---|---|---|---|---|---|---|
| Llama-3.1-8B | 96.0 | 85.2 | 11.4 | 100.0 | 100.0 | 99.8 | 94.8 | 99.8 | 92.6 | 98.8 |
| Qwen3-8B | 90.8 | 77.2 | 36.8 | 100.0 | 100.0 | 100.0 | 90.0 | 100.0 | 86.2 | 97.6 |
| Qwen3-1.7B | 82.2 | 45.4 | 23.0 | 99.6 | 100.0 | 100.0 | 84.0 | 43.2 | 79.4 | 29.6 |
| Qwen3-4B | 92.0 | 60.0 | 36.8 | 99.8 | 100.0 | 100.0 | 93.0 | 86.0 | 79.6 | 78.6 |
| Gemma-2-2B | 66.6 | 41.2 | 24.2 | 100.0 | 100.0 | 61.4 | 75.2 | 99.6 | 85.2 | 98.0 |
정확도는 정확 top-1 이되, 일부는 정답-vs-손상 쌍별 행만 쓰는 경우가 있습니다. 모델은 대체로 목표 과제를 잘 풉니다. 다만 GSM-Plus 정확도는 전반적으로 낮은데(11.4–36.8%), 저자들은 이 과제가 핵심 연구 질문에 결정적이지 않으며 참고용으로만 봐야 한다고 말합니다. Qwen3-1.7B는 Ling-SV(43.2%)와 Ling-HJ(29.6%)에서, Gemma-2-2B는 Math(66.6%)와 Math-Parse(61.4%)에서 상대적으로 약합니다.
💡 Key Takeaway 회로를 추출하려면 모델이 먼저 과제를 풀 수 있어야 합니다. 정확도 표는 Qwen3-8B 와 Llama-3.1-8B 를 주 분석 대상으로 삼은 이유(거의 모든 과제에서 높은 정확도)와, 소형 모델 결과를 부록으로 보낸 이유를 설명합니다.
주요 결과 1: 구조적 중첩(IoU)
본문의 주 결과는 Qwen3-8B 와 Llama-3.1-8B, top-2.5% 회로입니다(Figure 2). IoU 히트맵은 수치 표가 아니라 그림으로 제시되어 있으므로 아래는 본문 서술을 정리한 것입니다.
🔍 1. 관찰
- 교차 과제 IoU 는 전반적으로 낮습니다.
- 그중 Math–Math-s 쌍 과 Spell-m–Spell-mi 쌍 은 상대적으로 높습니다. 아라비아 숫자인지 숫자 단어인지 같은 표면적 입력 차이 가 아니라 과제 특성 이 회로 중첩을 좌우한다는 뜻입니다.
- 반면 Math–Spell 쌍은 같은 식을 입력으로 받는데도 뚜렷한 유사성을 보이지 않습니다. 회로는 입력 유사성이 아니라 과제를 반영합니다.
🧭 2. 해석의 한계
IoU 는 엣지 개수를 세는 지표라서, 소수의 고영향 엣지가 여러 과제를 공유하는 경우 그 중요성을 과소평가 할 수 있습니다. 논문도 “구조적 중첩이 기능적 중첩 분석에 의해 때때로 뒤집힌다”고 지적하며, 다음 절의 충실도 분석이 과제 의존적 변동을 더 명확히 드러낸다고 설명합니다.
💡 Key Takeaway IoU 만 보면 거의 모든 회로가 서로 다르게 보이지만, 그 안에서도 “같은 능력을 다른 어휘로 수행하는 쌍”은 서로 가깝고 “같은 입력에 다른 능력을 요구하는 쌍”은 멀다는 패턴이 이미 드러납니다.
주요 결과 2: 교차 과제 충실도
충실도 히트맵(Figure 2 오른쪽)의 각 셀은 행 과제의 회로가 열 과제를 얼마나 잘 푸는지 입니다. 본문 그림은 대각 정규화 값이지만, 부록 Table 6–10 에 원시 충실도(클린/손상 기준선 정규화만 적용)가 전부 실려 있습니다. 아래는 주 분석 모델 두 개의 표입니다.
📊 1. Qwen3-8B 원시 교차 충실도 (Table 9, top-2.5%; 행 = 회로, 열 = 과제)
| 회로 \ 과제 | Math | Math-s | GSM-Plus | Spell-m | Spell-mi | Math-Parse | Ling-Parse | Ling-SV | Ling-GA | Ling-HJ |
|---|---|---|---|---|---|---|---|---|---|---|
| Math | 0.60 | 0.53 | 0.80 | 0.40 | 0.40 | 0.36 | 0.04 | -0.01 | 0.01 | 0.07 |
| Math-s | 0.61 | 0.57 | 0.77 | 0.57 | 0.59 | 0.30 | 0.05 | -0.01 | 0.03 | 0.07 |
| GSM-Plus | 0.60 | 0.54 | 0.99 | 0.77 | 0.76 | 0.36 | 0.15 | 0.00 | 0.04 | 0.15 |
| Spell-m | 0.48 | 0.42 | 0.78 | 0.98 | 0.94 | 0.40 | 0.45 | 0.10 | 0.03 | 0.12 |
| Spell-mi | 0.54 | 0.48 | 0.82 | 0.97 | 0.99 | 0.47 | 0.28 | 0.03 | 0.05 | 0.15 |
| Math-Parse | 0.24 | 0.24 | 0.14 | 0.05 | 0.06 | 0.57 | 0.14 | -0.06 | 0.00 | 0.06 |
| Ling-Parse | 0.20 | 0.22 | 0.24 | 0.47 | 0.45 | 0.18 | 0.69 | -0.03 | 0.05 | 0.10 |
| Ling-SV | 0.24 | 0.23 | 0.23 | 0.06 | 0.04 | 0.31 | 0.03 | 1.13 | 0.48 | 0.25 |
| Ling-GA | 0.23 | 0.25 | 0.28 | 0.11 | 0.14 | 0.35 | 0.03 | 0.22 | 1.01 | 0.53 |
| Ling-HJ | 0.29 | 0.26 | 0.33 | 0.10 | 0.09 | 0.31 | -0.06 | 0.07 | 0.08 | 0.94 |
📊 2. Llama-3.1-8B 원시 교차 충실도 (Table 6, top-2.5%)
| 회로 \ 과제 | Math | Math-s | GSM-Plus | Spell-m | Spell-mi | Math-Parse | Ling-Parse | Ling-SV | Ling-GA | Ling-HJ |
|---|---|---|---|---|---|---|---|---|---|---|
| Math | 0.58 | 0.48 | 0.60 | 0.46 | 0.28 | 0.43 | 0.14 | 0.25 | -0.01 | 0.05 |
| Math-s | 0.52 | 0.51 | 0.51 | 0.42 | 0.25 | 0.45 | 0.30 | 0.30 | 0.02 | 0.06 |
| GSM-Plus | 0.61 | 0.49 | 0.92 | 0.88 | 0.71 | 0.43 | 0.50 | 0.28 | 0.05 | 0.08 |
| Spell-m | 0.41 | 0.42 | 0.69 | 0.98 | 0.91 | 0.44 | 0.64 | 0.39 | 0.04 | 0.21 |
| Spell-mi | 0.42 | 0.42 | 0.71 | 0.97 | 0.94 | 0.44 | 0.64 | 0.27 | 0.02 | 0.18 |
| Math-Parse | 0.29 | 0.33 | 0.04 | 0.05 | 0.03 | 0.51 | 0.26 | 0.07 | 0.02 | 0.05 |
| Ling-Parse | 0.34 | 0.30 | 0.18 | 0.40 | 0.25 | 0.12 | 0.75 | 0.16 | 0.05 | 0.15 |
| Ling-SV | 0.23 | 0.25 | 0.03 | 0.01 | 0.01 | 0.40 | 0.08 | 1.60 | 0.49 | 0.27 |
| Ling-GA | 0.17 | 0.30 | 0.09 | 0.04 | 0.03 | 0.41 | -0.00 | 0.94 | 0.99 | 0.58 |
| Ling-HJ | 0.34 | 0.31 | 0.17 | 0.04 | 0.03 | 0.41 | 0.00 | 0.56 | 0.20 | 0.79 |
🔎 3. 표에서 읽을 수 있는 패턴
- 산술 ↔ 산술 : Math 회로는 Math-s 를, Math-s 회로는 Math 를 거의 자기 수준으로 풉니다(Qwen3-8B: 0.53 vs 자기 0.60, 0.61 vs 자기 0.57). 높은 IoU 와 일치합니다.
- 변환 ↔ 변환 : Spell-m 과 Spell-mi 는 서로 0.9 이상으로 전이됩니다.
- 언어 ↔ 언어 : Ling-SV, Ling-GA, Ling-HJ 사이는 상대적으로 높습니다(Llama: Ling-GA 회로 → Ling-SV 0.94, Ling-HJ 0.58).
- 산술 → 언어, 언어 → 산술 : Math·Math-s 회로가 Ling-SV/GA/HJ 를 푸는 값은 0 근처(-0.01 ~ 0.07, Qwen3-8B)이고, 언어 회로가 Math 를 푸는 값은 0.17–0.34 로 자기 충실도(0.6 안팎)에 한참 못 미칩니다.
- GSM-Plus : 계산 회로와 변환 회로의 중간 양상입니다. GSM-Plus 회로는 Math(0.60)와 Spell-m(0.77)을 모두 어느 정도 풀고, 반대로 Spell 회로들도 GSM-Plus 를 0.7–0.8 수준으로 풉니다.
- Math-Parse ↔ Ling-Parse : 가장 두드러진 괴리입니다. Qwen3-8B 에서 Math-Parse 회로 → Ling-Parse 0.14, Ling-Parse 회로 → Math-Parse 0.18 로, 자기 충실도(0.57, 0.69)에 비해 매우 낮습니다. Llama 에서도 0.26 / 0.12 입니다. 수학 파싱과 언어 파싱 과제는 서로의 회로로 풀리지 않습니다.
주목할 만한 세부로, 언어 회로들이 Math-Parse 를 0.3–0.4 수준으로 푸는 반면 Math-Parse 회로는 언어 과제를 거의 못 풉니다. 또한 자기 충실도가 1 을 넘는 셀(Llama Ling-SV 1.60)은 회로만 남긴 쪽이 전체 모델보다 지표가 높다는 뜻으로, 표시용 정규화 시 다른 셀을 작게 보이게 할 수 있습니다.
💡 Key Takeaway 충실도 행렬은 과제들이 산술 계산 / 식 변환 / 언어 의 세 덩어리로 묶이고, 산술과 언어 사이의 교차 전이는 어느 방향이든 자기 충실도에 크게 못 미친다는 것을 보여줍니다. 파싱이라는 공통 능력을 노린 두 과제도 예외가 아닙니다.
계층적 군집화와 모델 간 일치
충실도 행렬의 각 행(한 회로가 모든 대상 과제를 얼마나 푸는지)을 그 회로의 전이 프로파일 벡터로 보고 군집화하면, 과제가 어떻게 묶이는지 한눈에 볼 수 있습니다.
🌳 1. 방법
- 대각 자기 정규화된 교차 충실도 행렬의 행 벡터를 입력으로, Ward 연결, 유클리드 거리 의 응집형 군집화를 수행하고 덴드로그램을 그립니다(Figure 3: Qwen3-8B, Llama-3.1-8B; Figure 7: 나머지 세 모델).
- 다섯 모델의 덴드로그램을 $K = 2, \ldots, 6$ 개 군집으로 자른 분할을 모든 모델 쌍(10쌍)에 대해 조정 랜드 지수(Adjusted Rand Index, ARI) 로 비교합니다. ARI 0 은 무상관, 1 은 완전 일치입니다.
📊 2. 모델 간 ARI (Table 3, top-2.5%)
| $K$ | 평균 ARI | 중앙값 ARI | 최소 | 최대 |
|---|---|---|---|---|
| 2 | 0.628 | 0.597 | 0.294 | 1.000 |
| 3 | 0.580 | 0.570 | 0.247 | 1.000 |
| 4 | 0.452 | 0.400 | 0.203 | 0.743 |
| 5 | 0.589 | 0.371 | 0.371 | 1.000 |
| 6 | 0.550 | 0.438 | 0.325 | 1.000 |
평균 0.4–0.6 수준의 “비교적 높은” 일치로, 교차 과제 회로 의존성이 모델에 걸쳐 대체로 안정적이라는 근거입니다.
🔗 3. 절단 수준 없는 비교 (Appendix F)
ARI 는 군집 수 $K$ 를 골라야 하므로, 모든 과제 쌍의 코페네틱 거리(cophenetic distance) 벡터 사이의 피어슨 상관으로 덴드로그램 전체도 비교했습니다(Figure 9).
| 모델 쌍 | 코페네틱 상관 |
|---|---|
| Qwen3-4B, Qwen3-8B, Gemma-2-2B 상호 간 | 0.95–0.98 |
| Llama-3.1-8B 와 다른 모든 모델 | 0.45–0.59 |
| Qwen3-1.7B 와 다른 Qwen3 모델 및 Gemma-2-2B | 0.70–0.76 |
군집 유사성은 모델 계열이나 파라미터 수와 단순한 관계를 보이지 않습니다. Llama-3.1-8B 만이 다른 모델들과 뚜렷이 다른 덴드로그램을 가집니다.
🧷 4. 떠 있는 Math-Parse
군집화 결과가 모델과 설정에 걸쳐 대체로 안정적인데도, Math-Parse 회로는 일관되게 산술 그룹에도 언어 그룹에도 속하지 않고 “떠 있습니다(floating)”. 더구나 Math 회로는 Math-Parse 과제를 완전히 풀지 못하고(Qwen3-8B 0.36 vs 자기 0.57), 그 반대도 마찬가지입니다(0.24 vs 0.60). 저자들은 이 연구에서 찾은 Math-Parse 회로가 일반 산술 처리에 관여하지 않는다 고 해석합니다.
💡 Key Takeaway 군집 구조 자체는 모델 간에 꽤 안정적이지만, “산술의 필수 하위 과제”로 설계한 연산자 우선순위 파싱이 산술 회로와 분리되어 있다는 점은 LLM 의 산술 전략이 인간식 단계적 파싱과 다를 수 있음을 암시합니다.
회로 크기에 대한 민감도 분석
고정 비율 회로는 과제마다 실제로 필요한 최소 회로를 반영하지 못할 수 있습니다. 6절은 Qwen3-8B 를 대표로 두 가지 대안 설정을 검토합니다.
📏 1. top-5.0% (Figure 4)
회로 크기를 두 배로 늘려도 광범위한 분리 패턴은 top-2.5% 와 비슷하게 유지됩니다.
🎯 2. 적응적 크기 (Figure 5)
자기 충실도가 0.85 를 넘는 최소 회로를 쓰면,
- 과제 간 IoU 가 오히려 더 명확 해집니다.
- 교차 충실도는 전반적으로 낮아지며, 특히 Spell-m·Spell-mi 회로 에서 두드러집니다. 저자들은 고정 2.5% 회로의 Spell 회로가 철자 변환 이외의 여분 엣지를 포함했을 가능성을 지적합니다. 실제로 Figure 2(b)(Llama)에서는 Spell-m 회로가 Math 과제를 꽤 풀었는데(원시 0.41), 적응적 정의는 그런 여분 엣지를 제거해 과제 특이 회로를 더 정확히 드러냅니다.
- 일부 군집 결과가 바뀝니다(예: Spell-m 과 GSM-Plus 의 유사성).
- 그러나 산술–언어 분리는 그대로이거나 오히려 더 선명 해집니다.
🧪 3. 세 설정 요약
| 설정 | 산술–언어 분리 | 교차 충실도 수준 | 비고 |
|---|---|---|---|
| top-2.5% | 분명 | 기준 | 본문 주 결과 |
| top-5.0% | 유지 | 비슷 | 크기 민감도 낮음 |
| adaptive (0.85) | 더 선명 | 낮아짐(특히 Spell) | 여분 엣지 제거, IoU 명확 |
💡 Key Takeaway 분리 결론은 회로 경계를 어떻게 긋든 유지됩니다. 반대로 “Spell 회로가 Math 를 푼다”처럼 전이를 시사하던 셀은 회로를 최소화하면 사라지므로, 겉보기 전이는 과도하게 큰 회로의 부산물 일 수 있습니다.
소형 모델 결과와 시퀀스 수준 평가
📉 1. 소형 모델 (Appendix D)
Qwen3-1.7B, Qwen3-4B, Gemma-2-2B 결과(Figure 6, 7, Table 7, 8, 10)도 주 결과와 일관된 패턴을 보입니다. 특히 강한 Math/Math-s 전이 와 파싱 과제 간 제한된 양방향 전이 가 반복됩니다. 핵심 셀만 추리면 다음과 같습니다(원시 충실도).
| 모델 | Math→Math-s / 자기(Math-s) | Math-s→Math / 자기(Math) | Math-Parse→Ling-Parse / 자기(Ling-Parse) | Ling-Parse→Math-Parse / 자기(Math-Parse) | Math→Ling-SV |
|---|---|---|---|---|---|
| Qwen3-1.7B | 0.49 / 0.56 | 0.58 / 0.61 | 0.04 / 0.51 | 0.09 / 0.46 | 0.03 |
| Qwen3-4B | 0.58 / 0.60 | 0.61 / 0.61 | 0.16 / 0.68 | 0.09 / 0.54 | -0.02 |
| Gemma-2-2B | 0.36 / 0.31 | 0.26 / 0.41 | 0.05 / 1.26 | -0.04 / 0.24 | -0.14 |
Gemma-2-2B 는 자기 충실도 자체가 낮은 과제(Math 0.41, Math-Parse 0.24, Ling-HJ 0.43)가 많아 표시용 정규화에서 값이 증폭될 수 있으니, 논문이 권고하듯 원시 값과 함께 읽어야 합니다. 한편 Qwen3-1.7B 에서는 Ling-GA 회로가 GSM-Plus 를 0.66 으로 푸는 등 주 모델에서 보이지 않던 셀도 있습니다.
🔤 2. 첫 토큰 vs 시퀀스 수준 (Appendix E)
주 실험은 첫 번째 답 토큰만 평가합니다. 예를 들어 Math-Parse 의 기대 출력이 2 * 5 이면 로짓 차이 목적은 전체 부분식이 아니라 첫 토큰 2 만 봅니다. 이 제약이 교차 충실도에 영향을 주는지 보기 위해, Qwen3-8B 에서 다중 토큰 출력을 가질 수 있는 네 과제(Math-s, Spell-m, Spell-mi, Math-Parse)에 대해 기존 첫 토큰 회로를 그대로 두고 전체 답 시퀀스로 재평가합니다. 시퀀스 수준 목적으로 회로를 새로 추출하지는 않습니다.
입력 $x$, 클린 답 시퀀스 $y$, 손상 답 시퀀스 $y’$ 에 대한 지표는
$$ m_{\mathrm{seq} }(x; y, y’) = \frac{1}{|y|} \sum_{t=1}^{|y|} \log p(y_t \mid x, y_{<t}) - \frac{1}{|y’|} \sum_{t=1}^{|y’|} \log p(y’_t \mid x, y’_{<t}) $$
입니다. 결과(Figure 8)는 다음과 같습니다.
| 대상 과제 | 첫 토큰 → 시퀀스 수준 변화 |
|---|---|
| Math-s | 전이 패턴 거의 변화 없음 |
| Spell-m, Spell-mi | 대체로 비슷하나 Math-s 회로의 충실도는 낮아짐 |
| Math-Parse | 대부분의 언어 회로(특히 Ling-SV, Ling-GA, Ling-HJ)에서 충실도 감소. Ling-Parse 는 예외 |
즉 시퀀스 수준으로 보면 Math-Parse 와 언어 프로브 사이의 분리가 더 뚜렷 해집니다. 저자들은 첫 부분식 전체를 맞히는 것이 첫 토큰만 맞히는 것보다 더 까다롭기 때문일 수 있다고 설명합니다.
💡 Key Takeaway 분리 결론은 소형 모델과 시퀀스 수준 평가에서도 약해지지 않고 오히려 강해지는 쪽입니다. 다만 첫 토큰 기반으로 추출한 회로를 시퀀스로 재평가한 것이므로, 시퀀스 목적으로 회로를 추출하는 것은 남은 과제입니다.
토론: 왜 분리되어 있는가
🧩 1. 인간 연구와의 대응
산술 회로가 순수 언어 과제를 떠받치는 회로와 대체로 분리되어 있다는 결과는 인간에서의 언어–산술 신경 분리 견해(Varley et al. 2005; Friedrich & Friederici 2009; Maruyama et al. 2012; Amalric & Dehaene 2018; Fedorenko et al. 2024)와 일치합니다. 반면 Nakai & Okanoya (2018)가 제안한 언어–산술 상호작용은 LLM 에서 분명히 관찰되지 않습니다. Math-Parse 와 Ling-Parse 회로가 군집화에서 때때로 가까이 놓이더라도 교차 충실도는 매우 제한적이어서, 공통 특성을 최대한 강조한 설정에서조차 공유 회로가 있다고 말하기 어렵습니다.
🤔 2. 가설: LLM 은 산술을 인간과 다르게 푼다
Math-Parse 회로가 떠 있고 Math 회로와 상호 전이가 불완전하다는 사실로부터, 저자들은 다음 가설을 제시합니다.
- LM 은 산술식 파싱이 산술의 필수 하위 과제임을 명확히 인식하지 않는다. 즉 파싱 하위 과제를 위한 고정된 회로가 없다.
- 대신 여러 항을 한꺼번에 계산하거나, 암기 또는 휴리스틱 묶음(bag of heuristics) (Nikankin et al. 2025)으로 산술을 푸는 등 인간과 다른 전략을 내부적으로 쓸 수 있다.
- 그렇다면 언어와 산술이 근본적 구조 특성을 공유한다는 “인식” 자체가 모델 안에 없을 수 있고, 이것이 두 회로가 분리된 가설적 이유가 된다.
⚖️ 3. 구조적 중첩과 기능적 중첩의 어긋남
IoU 가 충실도 분석에 의해 뒤집히는 경우가 있다는 점에서, 저자들은 비교적 작은 엣지 집합이 여러 과제를 실질적으로 떠받칠 가능성을 제시합니다. 겹치는 엣지의 개수만 세면 이런 엣지의 중요성이 과소평가됩니다. 이는 회로 다의성 논의와, 일부 엣지가 공유된 고영향 라우팅 부품 처럼 작동할 가능성과 일치합니다. 이 관점에서는 낮은 구조적 중첩이 강한 기계적 독립을 함의하지 않습니다.
💡 Key Takeaway 결론은 조심스럽게 표현됩니다. “LLM 이 원시적 언어 처리와 산술 처리를 위한 공유 회로를 갖추고 있다는 분명한 증거는 없다”는 것이지, 완전한 독립을 증명한 것은 아닙니다. 특히 소수의 고영향 공유 엣지는 IoU 로 잡히지 않습니다.
한계
저자들이 Limitations 절에서 밝힌 내용입니다.
⚠️ 1. 방법의 단일성
- 회로 추출 방법이 EAP-IG 하나 입니다. 회로 크기(top-2.5%, top-5.0%, adaptive)는 바꿔 보았지만, 다른 추출 방법과의 비교가 있어야 일반성이 높아집니다.
- 주 실험이 첫 답 토큰 만 대상으로 하는데, 철자 변환처럼 시퀀스 출력으로 정의된 과제가 있습니다. Appendix E 는 재평가만 했으므로, 시퀀스 수준 생성을 회로 추출과 평가에 통합하는 것이 남았습니다.
📚 2. 과제·평가 설정의 편향
- 모든 프롬프트가 영어 입니다.
- 언어 과제들이 다소 이질적 입니다(문법, 지시 의존성, 어휘 의미).
- GSM-Plus 정확도가 전반적으로 낮아, 수학적 추론과 순수 산술 처리의 구분에 관한 해석이 약해질 수 있습니다.
🧪 3. 모델과 인간 대응
- 유한한 수의 공개 가중치 모델과 학습 레짐만 평가했습니다.
- LLM 결과와 인간 신경언어학 발견의 연결은 더 정교화되어야 하며, 이는 신경망 모듈성 관점에서 LLM 의 인간 유사성(humanlikeness) 문제를 엽니다.
🔐 4. 윤리 고려
기존 LLM 을 분석하는 연구로 인간 대상 실험이 없습니다. 새로 만든 평가 데이터는 손으로 쓴 템플릿 기반의 완전 합성 데이터이며 개인에게서 나온 텍스트나 민감한 개인정보를 포함하지 않습니다. 실험 파이프라인 코딩과 문장 다듬기에 AI 보조 도구를 썼고, 구현·인용·과학적 주장의 검증 책임은 저자에게 있습니다. 코드는 공개되어 있습니다(github.com/Riku-0801/linguistic_arithmetic_circuit).
💡 Key Takeaway 가장 큰 열린 질문은 두 가지입니다. 다른 회로 추출 방법과 시퀀스 수준 목적에서도 분리가 유지되는가, 그리고 LLM 이 산술을 단계적 파싱 없이 푼다는 가설을 직접 검증할 수 있는가입니다. 후자는 회로 분석을 넘어 산술 전략 자체를 해부해야 답할 수 있습니다.