You know maize mean?
Language Impairment as a Lens onto Large Language Models
0. Summary
- 기본 정보 : ArXiv,2026.10.20, Language Impairment as a Lens onto Large Language Models
- 연구 배경 : LLM은 언어 구조를 고차원 공간에 분산(distributed)시켜 인코딩하고 그 덕분에 전역적 중복성(redundancy)을 갖지만, 동시에 소수의 핵심 뉴런이나 회로가 망가지면 특정 언어 기능이 치명적으로 붕괴하는 역설이 보고되어 왔다. 이 긴장을 다루기 위해 저자들은 임상 신경심리학에서 뇌 손상 후 언어가 “어떻게” 무너지는지를 분류해 온 실어증(aphasia) 진단 체계를 LLM에 적용한다. 퍼플렉시티나 정확도는 모델이 “나빠졌다”만 말해 주지만, 실어증 분류는 결손의 “종류”(문법 붕괴 vs 의미 붕괴)를 구분하는 표준화된 어휘를 제공한다.
- 제안 방법 : 두 가지 상보적 개입을 동결된 모델에 가한다. (1) 분류기 유도 병변(classifier-guided lesioning) 은 AphasiaBank 전사(transcript)와 259개 “모델 스크램블(model scrambles)”로 학습한 5-way 분류기(control / 전도·명칭 실어증 / Broca / Wernicke / 모델 스크램블)를 목적함수로 삼아, 어텐션 헤드를 하나씩 평가·누적·가지치기하는 CLAMP 탐색으로 목표 실어증 유형을 유발하는 최소 헤드 집합을 찾는다. (2) 스티어링(steering) 은 환자 전사와 대조군 전사를 모델에 읽혔을 때의 잔차 스트림 평균 차이 벡터 $\mathbf{v}_\ell$ 을 특정 층에 더해, 손상 없는 모델이 Broca 또는 Wernicke 유형처럼 말하게 만든다. 여기에 활성 패칭, 헤드 공유 분석, TAB·MMLU 일반화 검사, 전문가 평가, 스티어링 백(steering back) 실험을 더한다.
- 발견 사실 : CLAMP는 11개 모델 × 2 과제 × 3 목표의 66개 설정 중 54개에서 목표 실어증 행동을 유발했고(기존 7개 모델 42개 설정 기준 38개, 말뭉치 통계 기반 방법은 최대 10개), 전문가는 분류기 레이블에 90% 동의했다. 그러나 Broca 병변과 Wernicke 병변은 더 작은 병변의 헤드 중 중앙값 54%를 공유했고(517개, 우연 기대의 3배), 스티어링 벡터도 코사인 0.79~0.90으로 거의 같은 방향을 가리켰다. 병변은 새 프롬프트에서 언어를 전반적으로 손상시키지만 목표 유형을 가져가지는 못한 반면(184개 답변 중 1개), 스티어링은 설정을 고르지 않은 6개 프롬프트에서도 Broca 65%, Wernicke 63%의 유형 전이를 보였다. 병변을 스티어링 벡터로 되돌리면 54개 중 53개가 풀리지만 52개는 모델 스크램블이 되었고, 무작위 방향도 50~51개를 풀었다.
- 핵심 기여 :
- 실어증 기반 진단 틀 : 임상 실어증 분류를 LLM 실패 모드의 어휘로 가져와, 붕괴를 “무작위 잡음”이 아닌 “등급화된 구조적 결손”으로 기술하는 프레임워크를 제안했다. 모델 고유의 기계적 실패를 분리하는 “모델 스크램블” 클래스가 핵심 장치다.
- 구조·표현 이중 개입 : 이산 회로(헤드 병변)와 연속 표현(스티어링 벡터) 양쪽에서 같은 실어증 유형을 유도해, 발견이 특정 기법의 산물이 아님을 교차 검증했다. 두 방법 모두 Broca/Wernicke가 서로 깊이 얽혀 있다는 결론으로 수렴한다.
- 비대칭 일반화의 발견 : 병변 효과는 탐색에 쓰인 서사 과제에 묶이는 반면 스티어링 방향은 과제를 넘어 유형을 유지한다는 점, 그리고 “병변을 되돌리는 것”과 “치유하는 것”이 다르다는 점을 정량화했다. 부수적으로 경량 5-way 분류기가 LLM 심판보다 전문가와 더 잘 일치함을 보였다.
Abstract 쉬운 설명(Gemini)
💡 한 줄 요약
“인공지능(LLM)의 회로를 살짝 건드렸더니 사람의 ‘실어증’ 환자와 똑같은 증상을 보였습니다. 이를 통해 AI가 인간의 뇌와 얼마나 비슷하게 언어를 처리하는지 분석한 연구입니다.”
🔍 이해를 돕기 위한 세 가지 핵심 포인트
- 인공지능과 사람 뇌의 공통점: “일부만 고장 나도 말이 안 나와요”
인간의 뇌는 아주 신비로워서, 머리 전체가 다치지 않고 특정 언어 영역(예: 브로카 영역)만 살짝 다쳐도 갑자기 말을 못 하거나 말을 이해하지 못하는 ‘실어증’에 걸립니다.
놀랍게도 챗GPT 같은 대형 인공지능(LLM)도 똑같습니다. 인공지능 내부에는 수십억 개의 디지털 신경망이 퍼져 있는데, 연구진이 특정 신경망 몇 개만 콕 집어서 작동을 방해했더니, 인공지능이 사람 실어증 환자처럼 엉뚱한 말을 하거나 문장을 완성하지 못하는 현상이 나타났습니다.
- 실험 방법: “AI 뇌 수술해 보기” 🔬
연구진은 인공지능의 뇌(신경망)를 탐구하기 위해 두 가지 실험을 했습니다.
디지털 절제술 (Lesioning): AI 뇌의 특정 회로를 칼로 도려내듯 꺼버렸습니다. (예: “명사를 담당하는 뇌 회로를 꺼보자!”) 핸들 꺾기 (Steering): AI가 생각하는 방향을 억지로 유도해 보았습니다. (예: “말투를 어눌하게 만드는 방향으로 신경 신호를 조절해 보자!”)
- 실험 결과: “생각보다 훨씬 더 복잡하게 얽혀 있는 AI의 머릿속” 🕸️
실험 결과, AI 안에서 “단어를 고르는 능력”이나 “문법을 맞추는 능력”을 담당하는 방들을 따로따로 찾아내는 데는 성공했습니다.
하지만 신기하게도 이 방들은 완전히 독립되어 있지 않고, 서로 엄청나게 복잡한 실타래처럼 엉켜 있었습니다. 문법을 담당하는 방을 조금만 건드렸는데 단어 선택 방까지 같이 영향을 받는 식이었죠. 이는 인간의 실제 뇌가 작동하는 방식과 매우 닮아 있습니다.
🎯 이 연구가 왜 중요한가요? (의의)
지금까지 우리는 인공지능이 왜 그렇게 글을 잘 쓰는지 정확한 원리(내부 구조)를 100% 알지 못했습니다. 그냥 “데이터를 많이 넣었더니 똑똑해졌다” 수준이었죠.
이 연구는 “의학에서 뇌 환자를 치료하고 연구하듯이, 인공지능도 ‘치료/수술’하는 관점으로 접근하면 AI가 생각하는 원리를 완벽하게 지도(Map)로 그릴 수 있다”는 가능성을 보여준 아주 흥미로운 연구입니다.
실어증 정렬된 모델의 결과
뇌의 손상 부위에 따라 말투가 완전히 달라지듯, AI 역시 어느 ‘회로’를 건드리고 조절하느냐에 따라 극명하게 대비되는 두 가지 말투(오류 패턴)를 보였습니다.
- 🛑 브로카 실어증 유도 (표현성 실어증 말투)
인간의 ‘브로카 영역’은 생각한 바를 말로 내뱉는 ‘언어의 운동(출력)’을 담당합니다. AI에게 브로카 실어증 유도 신호(Steering)를 주거나 관련 회로를 차단하면 다음과 같은 말투가 나타납니다.
“단어만 툭툭 던지는 옹알이 말투” 문법을 맞추거나 문장을 부드럽게 이어주는 조사(은/는/이/가), 접속사(그리고, 하지만) 등을 거의 쓰지 못합니다. 핵심 단어만 힘겹게 나열하는 이른바 ‘전보식 문장(Telegraphic speech)’을 씁니다. 한국어 가상 예시 원래 답변: “저는 어제 친구와 함께 근처 식당에 가서 맛있는 비빔밥을 먹었습니다.” 브로카 AI 말투: “나… 어제… 친구… 식당… 비빔밥… 먹다…”
- 🌀 베르니케 실어증 유도 (수용성 실어증 말투)
인간의 ‘베르니케 영역’은 단어의 뜻을 이해하고 ‘의미가 통하는 문장을 구성’하는 역할을 합니다. 이 부분을 망가뜨리거나 유도하면 아주 독특한 말투가 됩니다.
“말은 유창한데 무슨 소린지 모를 아무말 대잔치” 문법이나 어조는 아주 유창하고 자연스럽습니다. 막힘없이 술술 이야기합니다. 하지만 정작 단어들의 조합이 엉망진창이어서 아무런 의미가 없는 문장이 됩니다. (전문 용어로 이를 ‘말 비빔(Word Salad)’ 혹은 ‘의미 없는 유창성’이라고 합니다.) 존재하지 않는 단어를 새로 지어내서 쓰기도 합니다. 한국어 가상 예시 원래 답변: “지구 온난화 문제를 해결하기 위해서는 탄소 배출을 줄여야 합니다.” 베르니케 AI 말투: “탄소의 구름들이 고양이의 발걸음처럼 하늘을 헤엄치기 때문에 우리는 매일 아침 전화를 걸어 우산의 온도를 조절해야 맞습니다.” (문법은 완벽하지만 전혀 앞뒤가 맞지 않는 헛소리를 합니다.)
💡 요약하자면
실어증 유도 유형 문법과 유창성 의미 전달력 말투 특징 브로카 실어증 🛑 매우 둔하고 어눌함 핵심 의미는 겨우 통함 조사를 빼먹고 핵심 단어만 나열함 베르니케 실어증 🌀 매우 유창하고 매끄러움 전혀 의미 불명 (헛소리) 문법은 완벽하나 단어들이 마구 뒤섞임
연구진이 인공지능 내부의 ‘활성화 신호 방향’을 조금 조절해 주는 것만으로도, 멀쩡하던 AI가 이 두 가지 말투 중 하나로 순식간에 변하는 현상이 정교하게 관찰되었습니다.
관련 개념
실어증(Aphasia)이라는 렌즈: 분산 표현과 국소 손상의 긴장
실어증(aphasia) 은 뇌졸중 등 뇌 손상으로 후천적으로 생기는 언어 장애입니다. 임상에서는 세 가지 속성, 즉 발화가 유창한가(fluency), 남의 말을 이해하는가(comprehension), 따라 말할 수 있는가(repetition)로 유형을 나눕니다. AphasiaBank는 Western Aphasia Battery-Revised(WAB-R)의 하위 검사로 각 화자의 유형과 0~100의 중증도 점수(aphasia quotient, 낮을수록 심함)를 부여합니다.
🧠 1. 네 가지 실어증 유형
| 유형 | 유창성 | 이해 | 반복 | 특징 |
|---|---|---|---|---|
| Broca | 비유창 | 비교적 보존 | 저하 | 짧고 힘겨운 구, 기능어·굴절 탈락(agrammatism) |
| Wernicke | 유창(과다할 수 있음) | 저하 | 저하 | 내용이 빈약, 단어·음 치환(paraphasia) |
| 전도(Conduction) | 유창 | 비교적 양호 | 저하 | 음 오류를 내고 자가 교정 시도 |
| 명칭(Anomic) | 유창 | 양호 | 양호 | 단어 찾기 곤란, 우회 표현; 가장 경미 |
전도와 명칭 실어증은 주로 “반복” 검사로 구분되는데, 이야기나 조리법 같은 자유 발화는 반복을 검사하지 않으므로 논문의 분류기는 두 유형을 하나의 클래스로 합칩니다. 또한 부록 B의 t-SNE 분석에서 전도·명칭 전사는 대조군 전사와 많이 겹쳤습니다. 10-최근접 이웃 중 대조군 비율이 대조군 0.89/0.91(Cinderella/sandwich), 명칭 0.44/0.58, 전도 0.25/0.41인 반면 Broca는 0.07/0.11, Wernicke는 0.07/0.33이었습니다. 그래서 본문은 서로 대비가 뚜렷한 Broca(문법 붕괴)와 Wernicke(의미 붕괴)를 주로 보고합니다.
⚖️ 2. 왜 LLM에 실어증인가
저자들이 출발하는 이론적 긴장은 다음과 같습니다.
- LLM은 Chomsky식 모듈 분할과 달리 다양한 언어 구조를 하나의 고차원 표현 공간에 분산 인코딩하며, 이는 생물학적 뇌의 집단 부호화(population coding)와 닮아 있고 전역적 중복성을 줍니다. 대부분의 어텐션 헤드는 제거해도 손실이 작고, 큰 모델에서는 여러 어텐션 층을 통째로 떨어뜨려도 됩니다.
- 그런데 최근 연구(Qin et al. 2026, Lu et al. 2026)는 극소수 뉴런을 바꾸면 모델이 반복 잡음으로 붕괴함을 보였습니다. 분산돼 있으면서 국소 손상에 취약하다는 것은 어떻게 양립할까요?
임상 신경심리학은 바로 이 질문을 뇌에 대해 150년간 다뤄 왔습니다. 국소 손상 뒤 언어가 어떤 식으로 무너지는지를 관찰해 기능 조직을 지도화한 것입니다. 저자들은 실어증 유형을 진단 어휘 로만 사용하며, Broca 영역·Wernicke 영역과 모델 부품의 1:1 대응을 가정하지 않습니다. 이는 “병변된 LM의 오류 분포가 사람 실어증과 진짜 닮지는 않는다”고 주장한 Roll et al. (2026a)의 경고와 같은 입장입니다.
🔀 3. 선행 연구와의 위치
| 선행 연구 | 접근 | 이 논문과의 차이 |
|---|---|---|
| Yang et al. (2026) | 멀티모달 모델의 디코더 층을 병변해 개별 환자의 그림 이름대기 오류 프로파일 재현. 초기 층=완전 실패, 중간=의미 오류, 후기=신조어의 깊이 구배 관찰 | 단어 수준 VL 과제 vs 이 논문은 연속 텍스트 생성에서 내부 기능 네트워크를 국소화 |
| Roll et al. (2026a, b) | Text Aphasia Battery(TAB)로 손상된 LM 평가, 사람 실어증과의 유사성에 회의적 | 이 논문은 TAB를 일반화 검사에 차용하되, 유형 분류를 진단 틀로만 사용 |
| Wang et al. (2025a) | 텍스트 유사도로 모델 출력을 환자 발화에 맞추는 병변 | 전문가가 보면 결과가 “모델 스크램블”이라는 문제 → 분류기로 해결 |
| 회로 분석(Vig, Wang, Zhang & Nanda) | 정확도·목표 토큰 확률 손실을 추적 | 이 논문은 자유 서사에서 “지정된 임상 행동”을 만드는 병변을 탐색 |
| 스티어링(Zou, Rimsky, Arditi 등) | 연구자가 만든 대조 입력(유해/무해 등)의 평균 차이 | 대조 입력을 임상 데이터(환자 vs 대조군 전사)에서 가져오고 전문가가 결과를 판정 |
💡 Key Takeaway 이 논문은 실어증을 “LLM이 사람 뇌와 같다”는 주장의 근거가 아니라, 퍼플렉시티가 구분하지 못하는 결손의 종류를 이름 붙이는 진단 어휘 로 씁니다. 분산 표현과 국소 취약성의 긴장을, 병변(구조)과 스티어링(표현)이라는 두 개입으로 동시에 탐색하는 것이 설계의 핵심입니다.
데이터와 모델 설정
📚 1. AphasiaBank 두 과제
AphasiaBank(MacWhinney et al., 2011)는 실어증 환자와 신경학적으로 건강한 대조군의 자연 발화 데이터베이스입니다. 논문은 서로 다른 발화 유형을 끌어내는 두 과제를 씁니다.
- Cinderella 과제 : 신데렐라 이야기를 다시 말하기 → 서사(narrative) 발화
- Sandwich 과제 : 땅콩버터 젤리 샌드위치 만드는 법 설명 → 고정된 단계 순서의 절차(procedural) 발화
| 그룹 | Cinderella 전사 | 화자 | Sandwich 전사 | 화자 |
|---|---|---|---|---|
| Control | 395 | 288 | 472 | 360 |
| Anomic | 272 | 148 | 187 | 131 |
| Conduction | 141 | 73 | 81 | 62 |
| Broca | 273 | 113 | 111 | 77 |
| Wernicke | 58 | 30 | 29 | 23 |
| All aphasia | 744 | 353 | 408 | 281 |
| All | 1,139 | 637 | 880 | 638 |
원본은 Cinderella 1,147개, sandwich 1,437개였는데 sandwich의 557개 텍스트가 두 번 등장해 하나만 남겼고, Cinderella의 4개 텍스트는 명칭 실어증과 대조군 양쪽으로 레이블돼 있어 둘 다 버렸습니다. 실어증 전사 중 Cinderella 744개 중 720개, sandwich 408개 중 382개에 중증도 점수(aphasia quotient)가 딸려 있습니다. 데이터는 TalkBank 규칙과 CC BY-NC-SA 3.0 하에서 사용했고 전사를 재배포하지 않습니다.
🤖 2. 11개 모델
| 계열 | 모델 | 층 | 층당 헤드 | 전체 헤드 | softmax 헤드 |
|---|---|---|---|---|---|
| GPT-2 (base) | GPT-2 XL | 48 | 25 | 1,200 | 1,200 |
| Llama-2 (chat) | Llama-2-7B-chat | 32 | 32 | 1,024 | 1,024 |
| Llama-2-13B-chat | 40 | 40 | 1,600 | 1,600 | |
| Pythia (base) | Pythia-1B | 16 | 8 | 128 | 128 |
| Pythia-1.4B | 24 | 16 | 384 | 384 | |
| Pythia-2.8B | 32 | 32 | 1,024 | 1,024 | |
| Pythia-6.9B | 32 | 32 | 1,024 | 1,024 | |
| Qwen3.5 (post-trained) | Qwen3.5-0.8B | 24 | 8 / 16 | 336 | 48 |
| Qwen3.5-2B | 24 | 8 / 16 | 336 | 48 | |
| Qwen3.5-4B | 32 | 16 / 32 | 896 | 128 | |
| Qwen3.5-9B | 32 | 16 / 32 | 896 | 128 |
Qwen3.5는 네 층마다 하나(0부터 세어 3, 7, 11, …)만 softmax 어텐션을 쓰고 나머지는 Gated DeltaNet 선형 어텐션을 씁니다. 두 종류 헤드 모두 병변 대상이며, softmax 헤드는 모든 Qwen3.5 모델에서 전체 헤드의 14.3%입니다. 모든 모델은 fp32로 실행했습니다.
🎛️ 3. 프롬프트와 디코딩
- 프롬프트는 AphasiaBank의 지시문을 그대로 씁니다: “Tell me as much of the story of Cinderella as you can”, “Tell me how you would make a peanut butter and jelly sandwich”. 사람 발화와 같은 과제로 비교하기 위함입니다.
- GPT-2 XL과 Pythia는
Question: … \nAnswer:형식, Llama-2는[INST] … [/INST], Qwen3.5는 chat template에 thinking 블록을 비워 닫은 형태로 받습니다. 시스템 프롬프트는 없습니다. - 모든 모델은 greedy 디코딩 + 반복 페널티 1.25, 최대 180 토큰. 페널티 없이 greedy로 돌리면 손상 없는 base 모델도 Cinderella 과제에서 루프에 빠져 분류기가 최대 99% 확률로 모델 스크램블로 판정했기 때문입니다. greedy이므로 각 병변은 하나의 답을 내고, 재생성하면 글자 그대로 같은 답이 나옵니다.
- 답변은 보이지 않는 유니코드 포맷 문자를 제외하고 20자 이상이어야 유효합니다. Llama-2-13B-chat의 일부 병변은 몇 글자 뒤에 170개의 zero-width joiner를 쏟아내는데, 이를 세면 “tOoOO”가 통과하고 분류기는 $P(\mathrm{Broca})=0.70$ 을 줍니다.
- Cinderella 과제에서는 먼저 “Do you know the story of Cinderella?”를 묻고, 손상 없는 모델이 “yes”라고 답하면 병변 모델도 “yes”라고 답한 경우에만 서사를 채택합니다. 이야기를 “모른다”고 하는 모델의 깨진 서사를 실어증으로 오인하지 않기 위한 장치입니다.
💡 Key Takeaway 사람과 같은 프롬프트, 결정론적 디코딩, “이야기를 아는가” 확인, 20자 규칙 등은 모두 기계적 실패를 실어증으로 오인하지 않기 위한 장치입니다. 이 논문의 방법론적 기여 상당 부분이 이런 세부 규칙에 있습니다.
5-way 분류기: “모델 스크램블” 클래스의 도입
기존에 실어증을 흉내 내려던 병변 방법은 사실 모델을 망가뜨리기만 했습니다. Qin et al. (2026)의 핵심 뉴런 제거는 반복 잡음을 만들고, Wang et al. (2025a)의 텍스트 유사도 기반 병변도 전문가가 보면 “모델 스크램블”이었습니다. 그래서 저자들은 실어증과 모델 스크램블을 구분하는 분류기 를 먼저 만들고, 그것으로 병변 탐색을 유도합니다.
🏷️ 1. 다섯 클래스와 학습 데이터
| 클래스 | Cinderella | Sandwich | 합계 |
|---|---|---|---|
| Control | 399 | 936 | 1,335 |
| Conduction or anomic | 417 | 334 | 751 |
| Broca | 273 | 131 | 404 |
| Wernicke | 58 | 36 | 94 |
| Model scrambles (Llama-2-7B-chat) | 113 | 90 | 203 |
| Model scrambles (GPT-2 XL) | 56 | 0 | 56 |
| 전체 학습 텍스트 | 1,316 | 1,527 | 2,843 |
모델 스크램블 259개는 예비 넉아웃 연구의 출력입니다. 5개를 제외하면 모두 헤드나 FFN 블록을 제거한 모델의 답이고, 132개는 Llama-2-7B-chat에서 헤드를 점점 더 많이 제거하는 탐욕 탐색의 연속 단계에서 왔습니다. Gemini 3.5 Flash 심판이 다섯 가지 기계 인공물 차원(Stray Brackets, Token Repetition, Tokenizer Loops, Formulaic AI-isms, Sentence Repetition)으로 플래그를 세우고, 언어학자와 임상의가 검토했습니다. 심판 프롬프트에는 “반복이 사람의 말더듬·강조로 보이면 기계 인공물로 보지 않는다”는 타이브레이커가 들어 있어 실어증 고유의 비유창성을 보존합니다. 스크램블의 길이는 12~1,090자(중앙값 571)이며 233개가 반복 단위를 포함합니다. 대조군 전사 1,335개 중 799개에는 반복 단위가 없습니다.
🧩 2. 14개 텍스트 특징과 구조
| 범주 | 특징 |
|---|---|
| 서사 척도 (CLAN 재구현) | 발화 수, 단어 토큰 수, 평균 발화 길이(MLU) |
| 반복 통계 | 가장 짧은 반복 단위 길이, 최대 반복 횟수 |
| 단어 목록 대리 지표 | 개방/폐쇄 부류 비율, 개방 부류 비중, -ly 어미 단어 수, 과제 명사(33개 목록) 수, 파편·말더듬 수 |
| 유사도 특징 (all-MiniLM-L6-v2) | control−Broca, control−Wernicke, control−(전도·명칭), control 유사도 |
세 서사 척도는 CLAN 값과 Pearson $r$ 0.986 / 0.993 / 0.968로 일치합니다. 반면 단어 목록 대리 지표는 CLAN과의 상관이 약하고($r=0.095$, $-0.050$), -ly 단어의 73.2%는 sandwich 과제의 “jelly”였으며, 파편·말더듬 수는 사람 전사에서 전부 0이었습니다. 네 번째 유사도 특징은 원래 모델 스크램블과의 대비로 설계됐지만 코드의 레이블 불일치(한 글자 차이) 때문에 0을 빼서 사실상 control 유사도 그 자체가 됐습니다. 저자들이 이를 명시적으로 밝힌 점이 인상적입니다.
구조는 BGE-large-en-v1.5(24층, 1,024차원, 최대 384 토큰)에 rank 16 LoRA($\alpha=32$, dropout 0.1)를 모든 선형층에 붙이고, 토큰 평균 임베딩(단위 정규화)과 14개 표준화 특징을 합친 1,038차원 입력을 256 은닉 유닛의 2층 퍼셉트론(ReLU, dropout 0.3)으로 5개 로짓에 매핑합니다. AdamW(lr $10^{-4}$, wd 0.01), 배치 4, 클래스 균형 샘플링, 검증 macro-F1 기준 조기 종료(최대 20 epoch). 서로 다른 random split의 20개 모델을 앙상블 하고, $P(\mathrm{aphasia})$ 는 세 실어증 클래스 확률의 합입니다.
📊 3. 성능
| 클래스 | Precision | Recall | F1 | N |
|---|---|---|---|---|
| Control | 0.942 | 0.981 | 0.961 | 1,317 |
| Cond. or anomic | 0.828 | 0.769 | 0.797 | 737 |
| Broca | 0.783 | 0.816 | 0.799 | 397 |
| Wernicke | 0.583 | 0.457 | 0.512 | 92 |
| Model scrambles | 0.992 | 0.996 | 0.994 | 255 |
| Macro average | 0.826 | 0.804 | 0.813 | 2,798 |
| Accuracy | 0.886 | 2,798 |
학습 데이터에 한 번만 등장하는 1,693개 텍스트로 제한하면(중복 사본이 학습 split에 들어갈 수 없는 조건) 정확도 0.833, macro-F1 0.783으로 떨어집니다. 본문이 보고하는 83.3% / 0.78은 이 보수적 수치입니다. 혼동 행렬에서 대조군 1,317개 중 Broca·Wernicke·스크램블로 예측된 것은 0개이고, 스크램블 255개 중 254개를 잡았으며, 사람 전사 2,543개 중 스크램블로 부른 것은 2개뿐입니다. 오류는 대부분 전도·명칭 실어증 주변에 몰려 있고 Wernicke F1이 0.512로 가장 낮습니다. $P(\mathrm{aphasia})>0.5$ 기준의 이진 분리는 precision 0.979, recall 0.935, 정확도 0.959입니다.
저자들은 split이 화자가 아닌 전사 단위라는 한계도 밝힙니다. 각 모델의 테스트 전사 517개 중 446~475개(전체 89.2%)가 학습 split의 전사와 화자를 공유합니다.
💡 Key Takeaway 이 분류기의 진짜 역할은 실어증 유형 분류보다 “사람 같은 결손”과 “기계적 붕괴”를 가르는 것 입니다. 스크램블 F1 0.994가 그 역할을 뒷받침하고, 이 구분이 없으면 뒤의 모든 병변 결과가 오염됩니다. 코드 버그와 화자 누수를 스스로 공개한 점은 재현성 측면에서 참고할 만합니다.
CLAMP: 분류기 유도 병변 누적과 최소 가지치기
CLAMP(Classifier-guided Lesion Accumulation with Minimal Pruning) 는 어텐션 헤드를 병변 단위로 삼습니다. 가설은 “어텐션 층에는 병렬 헤드가 여럿 있으므로, 헤드를 선택적으로 끄면 모델 스크램블 없이 실어증 같은 행동을 유도할 수 있다”는 것입니다.
🔪 1. 헤드 넉아웃의 정의
헤드 넉아웃은 프롬프트와 생성 토큰의 모든 위치 에서, 어텐션 출력 사영(output projection) 입력 중 그 헤드의 슬라이스를 0으로 만듭니다. GPT-2 XL과 Pythia는 value 사영에 bias $b_V$ 가 있어 헤드가 매 위치에 더하는 항 $W_O b_V$ 도 함께 제거됩니다. Qwen3.5의 softmax 층에서는 게이트를 거친 출력을, Gated DeltaNet 층에서는 각 value 헤드의 슬라이스를 0으로 만듭니다.
🪜 2. 세 단계 탐색
고정된 모델·과제·목표에 대해, 헤드 집합 $H$ 를 끄고 생성한 답에 분류기가 주는 목표 확률을 $s(H)$ 라 합니다.
- 순위(rank) : 모든 헤드를 하나씩 끄고 $s({h})$ 내림차순으로 정렬합니다.
- 누적(growth) : 이 순서대로 헤드를 추가해 $s(H)>0.5$ 가 되는 첫 접두사(prefix)를 찾습니다. 배치 단위(GPT-2 XL 25, Llama-2-13B 40, 나머지 32개 접두사)로 생성하고, 0.5를 넘는 접두사가 포함된 첫 배치에서 멈춥니다.
- 가지치기(pruning) : 64개가 넘는 집합은 먼저 절반 크기의 연속 청크 단위로 줄이고, 그다음 매 라운드마다 leave-one-out으로 “혼자 빠져도 0.5 이상을 유지하는” 헤드들을 찾아 가능한 한 많이 한꺼번에 제거합니다. 어떤 헤드도 혼자 빠질 수 없을 때 끝납니다.
최종 집합에서는 어느 한 헤드라도 되살리면 $s(H)$ 가 0.5 이하로 떨어집니다. 가지치기 예산은 15,000개 답변이며, 54개 유효 병변 중 4개(GPT-2 XL Cinderella Wernicke 244개, Llama-2-7B-chat Cinderella Wernicke 276개, Pythia-6.9B Cinderella Broca 578개, Qwen3.5-4B Cinderella aphasia 208개)가 예산에서 멈췄습니다. 그래도 활성 패칭 결과 이 병변들은 헤드의 91~99%가 필요했으므로 크기는 “빡빡한 상한”입니다.
🎲 3. 동점(tie) 문제
큰 모델에서는 혼자 꺼도 답이 글자 그대로 안 바뀌는 헤드가 많습니다.
| 모델 | 과제 | Aph. 동점 | Broca | Wern. | 전체 헤드 |
|---|---|---|---|---|---|
| Llama-2-13B-chat | Cinderella | 1,305 | 1,307 | 1,313 | 1,600 |
| Sandwich | 1,298 | 1,298 | 1,298 | ||
| Llama-2-7B-chat | Cinderella | 568 | 569 | 571 | 1,024 |
| Sandwich | 449 | 450 | 452 | ||
| GPT-2 XL | Cinderella | 569 | 569 | 569 | 1,200 |
| Sandwich | 397 | 412 | 417 | ||
| Pythia-2.8B | Cinderella | 933 | 933 | 933 | 1,024 |
| Sandwich | 316 | 487 | 485 | ||
| Pythia-1B | Cinderella | 9 | 9 | 10 | 128 |
| Sandwich | 5 | 9 | 14 |
동점 헤드는 안정 정렬로 층 순서를 유지하므로, 누적이 동점 구간까지 내려가면 첫 층부터 차례로 추가됩니다. Llama-2-7B-chat의 Cinderella Wernicke 누적 집합은 740개(560개 이상 동점), GPT-2 XL의 sandwich Broca는 984개(400개 이상 동점)였고 가지치기로 276개와 146개로 줄었습니다. 저자들은 큰 병변의 층 위치가 헤드의 역할뿐 아니라 동점 순서를 부분적으로 반영한다 고 경고합니다. 반면 Qwen3.5는 단일 헤드 넉아웃이 답을 바꾸지 않는 경우가 Qwen3.5-2B Cinderella에서 336개 중 1개뿐일 정도로 민감합니다.
🎯 4. “목표 도달”의 두 기준
병변이 “작동”하려면 답이 유효하고(20자 이상, 이야기를 안다고 답함) 목표에 도달해야 합니다. 목표 도달은 (a) 분류기의 목표 확률이 0.5를 넘거나 (b) 목표가 최빈 클래스인 경우입니다. 탐색은 (a)만 쓰고, 최종 보고만 (b)도 인정합니다. 그래서 0.5를 넘긴 적 없는 탐색도 작동하는 병변을 보고할 수 있고, CLAMP 54개 중 3개(Pythia-1.4B sandwich Broca 316개 헤드 $P=0.488$, Qwen3.5-2B·4B sandwich Wernicke 63개·228개 헤드 $P=0.463$, $0.423$)가 그런 경우입니다.
💡 Key Takeaway CLAMP는 “분류기를 공격적으로 최적화”하는 대신 순위·임계값 검사만으로 보수적으로 움직입니다. 이 보수성이 뒤에서 모델 스크램블을 피하는 핵심 이유로 지목됩니다. 동점과 예산 제한은 병변 크기와 층 분포를 해석할 때 반드시 고려해야 할 아티팩트입니다.
베이스라인 병변 방법과의 비교
Table 2는 기존 7개 모델(GPT-2 XL, Llama-2 2종, Pythia 4종) × 2 과제 × 3 목표 = 42개 설정 에서 각 방법이 목표에 도달하는 병변을 찾은 횟수입니다.
🧪 1. 여덟 가지 베이스라인
| 방법 | 병변 공간 | 유도 신호 | 핵심 아이디어 |
|---|---|---|---|
| Param | 어텐션·MLP 가중치 행렬 상위 1% $\lvert w\,\partial L/\partial w \rvert$ | 말뭉치 통계 | Wang et al. (2025a). BLEU-1·BERTScore로 가장 닮은 환자 그룹에 병변을 배정 |
| Param-mask / Head-mask | MLP 병변 / 헤드 | 전사 우도 | Csordás et al. (2021)식 학습 마스크 $k_i=\sigma(\theta_i)$ |
| Param-mask-hard / Head-mask-hard | 위와 동일 | 전사 우도 + 분류기(가지치기) | $k_i>0.5$ 인 요소를 끄고 가지치기 |
| Head-grown-cos | 헤드 | 말뭉치 코사인 유사도 | CLAMP와 같은 탐색, 목적함수만 “목표 그룹 유사도 − 대조군 유사도” |
| Param-C | Param의 병변 | 분류기 | Param 병변을 CLAMP처럼 누적·가지치기 |
| Head-CEM | 헤드 | 분류기 | 교차 엔트로피 방법(CEM), 라운드당 64개 집합, 최대 20라운드 |
| CLAMP | 헤드 | 분류기 | 본 논문 |
학습 마스크의 손실은
$$ \mathcal{L}=\frac{1}{|T|}\sum_{x\in T}\mathrm{softplus}\bigl(-r(x)/\tau\bigr)+\frac{1}{|C|}\sum_{x\in C}\mathrm{softplus}\bigl(r(x)/\tau\bigr)+\lambda\sum_i k_i $$
로, $r(x)=(\log p_k(x)-\log p_0(x))/n$ 은 마스크 모델과 원본 모델의 토큰당 로그 우도비입니다. 목표 그룹 $T$ 의 전사는 더 그럴듯하게, 나머지 $C$ 는 덜 그럴듯하게 만들면서 $\ell_1$ 로 희소화합니다($\tau=0.1$ nats/token, $\lambda$ 6단계 감소 × 50 스텝).
📈 2. Table 2: 42개 설정에서 작동한 횟수
| 방법 | Aph. | Broca | Wern. | All |
|---|---|---|---|---|
| 말뭉치 통계 유도 | ||||
| Param | 2 | 0 | 0 | 2 |
| Param-mask | 4 | 0 | 0 | 4 |
| Param-mask-hard | 3 | 1 | 0 | 4 |
| Head-mask | 5 | 0 | 0 | 5 |
| Head-mask-hard | 8 | 1 | 1 | 10 |
| Head-grown-cos | 2 | 0 | 0 | 2 |
| 분류기 유도 | ||||
| Param-C | 11 | 10 | 4 | 25 |
| Head-CEM | 9 | 8 | 6 | 23 |
| CLAMP | 14 | 11 | 13 | 38 |
세 가지 결론이 나옵니다.
- 분류기 유도 > 말뭉치 통계 유도. 말뭉치 기반 방법은 최대 10개, 분류기 기반은 최소 23개입니다. 전문가는 병변 모델의 답에 대한 분류기 레이블에 90% 동의했습니다.
- 헤드 병변 > 파라미터 병변. CLAMP 38개 vs Param-C 25개. 나머지 4개 설정에서 CLAMP는 모델 스크램블을 냈습니다.
- 공격적 최적화는 오히려 해롭다. Head-CEM은 23개만 성공했고 실패한 19개 중 12개가 모델 스크램블입니다. CLAMP의 보수적 탐색이 분류기 학습 분포에 가까운 답을 유지했을 것이라는 해석입니다.
🔍 3. 부록 D의 확장 비교
부록 D(Table 13, 14)는 병변 공간(헤드 / 어텐션 가중치 병변 / MLP 병변 / MLP+헤드)과 탐색 방법(누적 / CEM / 학습 마스크 / 층 탐색)을 교차해 효과를 분리합니다.
- 같은 누적 탐색에서 헤드 38 > 어텐션 병변 26 > MLP 병변 18 설정.
- CEM은 MLP 병변에서 36개로 헤드(23개)보다 많이 성공하지만, 그중 6개 답은 자기 반복(zlib 압축비 0.25 미만)입니다.
- 38개를 달성한 유일한 다른 탐색(“MLP 누적 후 헤드 스윕”)은 Broca에서 13 vs 11로 앞서지만 퇴화 답변 5개를 냅니다. CLAMP는 퇴화 답변 0개.
- 헤드만의 집합 86개 중 퇴화 2개 vs 가중치 병변 포함 집합 195개 중 22개. “헤드를 통째로 끄면 기계 실패로 가는 일이 드물다”는 가설을 지지합니다.
- Head-CEM은 짧은 답을 선호합니다. Broca 답 8개 모두 100자 미만(중앙값 34.5), 그중 6개가 “I don’t know, but it”으로 시작합니다. 사실 “I don’t know, but it’s a good one!”이라는 답은 24개 (방법, 설정) 쌍에서 작동 답이었고 항상 Pythia의 Cinderella 과제였습니다. CLAMP는 이 답을 낸 적이 없고 Broca 답의 중앙값 길이가 227자입니다.
- 학습 마스크는 우도는 바꾸지만 답은 잘 못 바꿉니다. 126개 마스크 실험 중 90개에서 목표 그룹 우도가 오르고 다른 그룹은 내렸지만(토큰당 ±0.31), 답이 목표에 도달한 것은 25개뿐이며 Llama-2에서는 목표 확률이 0.01을 넘긴 마스크가 없습니다.
- Param은 자기 기준으로 48개 클러스터 중 15개를 실어증 유형에 배정했지만, 분류기는 그중 35개를 모델 스크램블로 봤습니다.
💡 Key Takeaway “환자 발화와 닮게 만들기”를 텍스트 유사도나 우도로 정의하면 모델이 망가지는 쪽으로 최적화됩니다. 무엇이 실어증이고 무엇이 기계 실패인지 아는 목적함수 와, 그것을 과하게 밀어붙이지 않는 탐색이 함께 필요합니다.
병변 결과와 활성 패칭
🗺️ 1. 11개 모델, 66개 설정
CLAMP는 11개 모델 전체에서 66개 설정 중 54개 에 성공했고 나머지는 모델 스크램블이었습니다. 실어증(아무 유형) 목표는 모든 모델·과제에서 찾았고, Broca는 22개 중 15개, Wernicke는 22개 중 17개에서 유도했습니다. Qwen3.5의 선형 어텐션 헤드에도 적용됩니다. 예를 들어 Llama-2-13B-chat에서 101개 헤드를 끄면 유창한 신데렐라 서사가 “to tell a tale of Ct.. to tell me.”가 되고 $P(\mathrm{Broca})=0.89$ 인데, 모델은 여전히 이야기를 안다고 답합니다.
병변 크기는 다양합니다. GPT-2 XL은 Cinderella aphasia 9개, Cinderella Wernicke 244개, sandwich aphasia 31개, sandwich Broca 146개, sandwich Wernicke 188개이고, Pythia-1B는 8~35개 범위입니다. Pythia-6.9B의 Cinderella aphasia 병변은 단 하나의 헤드 L1H26입니다.
🩹 2. 활성 패칭: 헤드는 “프롬프트를 읽을 때” 함께 작동한다
병변 헤드가 언제 영향을 미치는지 보기 위해 네 가지 패칭 조건을 씁니다. 깨끗한 실행은 원본 모델, 병변 실행은 모든 위치에서 헤드를 끈 모델입니다.
| 조건 | 내용 | 결과 |
|---|---|---|
| Restore all | 병변의 모든 헤드 출력을 프롬프트 위치에서 깨끗한 값으로 되돌리고, 답을 쓸 때만 끔 | 54개 중 53개 병변이 풀림(목표 확률 최대 0.369) |
| Restore one | 한 헤드만 프롬프트 위치에서 복원 | 병변당 헤드의 중앙값 83% 가 복원 시 병변을 풀음. 4,600개 헤드 중 3,579개 |
| Leave out one | 한 헤드만 제외하고 나머지 끔 | 4,484/4,600 헤드에서 병변이 풀림(대부분 구성상 당연) |
| Alone | 그 헤드만 끔 | 2개 이상 헤드 병변 50개 중 어느 헤드도 혼자 목표 도달 못 함 |
Heimersheim & Nanda(2024)의 용어로 복원은 denoising입니다. 핵심 결론은 두 가지입니다.
첫째, 53개 병변은 모델이 프롬프트를 읽는 동안 헤드가 꺼져 있어야 작동합니다. 답을 쓸 때만 끄면 목표에 도달하지 않습니다. 유일한 예외는 Pythia-6.9B의 단일 헤드 L1H26으로, 프롬프트에서 복원해도 $P=0.957$ 이 유지됩니다.
둘째, 단일 헤드 복원은 병변을 “고치는” 게 아니라 “다른 식으로 깨뜨립니다”. 병변을 푼 3,541개 단일 복원 답 중 분류기는 80%(2,819개)를 모델 스크램블, 13%(450개)만 control로 분류했습니다. 원본 답이 control인 41개 병변만 봐도 80% / 12%로 같습니다. 반면 Restore all은 41개 중 40개를 풀고 그중 22개가 control입니다. 즉 실어증 같은 답은 병변 전체가 함께 작동할 때 나오고, 한 헤드만 바꾸면 회로가 통째로 망가집니다.
TAB 단답 항목에서도 같은 그림입니다. 54개 병변 중 41개가 15개 항목 중 2개 이상을 잃었는데, Restore all은 이 중 39개에서 잃은 항목의 절반 이상을, 16개에서 전부를 돌려줬습니다. 최선의 단일 복원은 10개 / 4개에 그쳤습니다. 중앙값으로 병변 4개 → Restore all 8개 → 최선 단일 복원 5.5개(원본 8.5개).
저자들은 “거의 모든 헤드가 필요하다”는 결과의 상당 부분이 CLAMP의 구성(가지치기가 끝난 병변은 정의상 경계에 있음)에서 따라 나오므로, 헤드의 기여량 이 아니라 작동 위치 만 보여 준다고 선을 긋습니다. 경로 패칭(path patching)이 다음 단계로 제안됩니다.
💡 Key Takeaway 실어증 유사 행동은 수십~수백 개 헤드가 프롬프트 처리 단계에서 동시에 꺼졌을 때 나타나는 회로 수준 현상이며, 그 회로에서 헤드 하나를 바꾸면 “실어증 → 정상”이 아니라 “실어증 → 기계 붕괴”로 갑니다. 국소 취약성이 사실은 집단적 구조라는 점이 드러납니다.
회로 얽힘: Broca 병변과 Wernicke 병변은 헤드를 공유한다
🔗 1. 같은 모델·과제에서 다른 목표의 병변 (Table 21)
| 두 병변 $L_1$, $L_2$ 가 $N$ 개 헤드에서 무작위로 뽑혔다면 평균 $ | L_1 | L_2 | |
- 둘 다 목표에 도달한 13개 Broca–Wernicke 쌍 에서 두 병변은 더 작은 병변 헤드의 중앙값 54% 를 공유합니다. 합계 517개 로 우연 기대 165개의 3배이며, 11개 쌍에서 $p<0.01$ 입니다.
- 예외 둘: Pythia-1B sandwich(3개 공유 vs 우연 2.5개), Pythia-6.9B Cinderella(1개 헤드 Wernicke 병변이 578개 Broca 병변 안에 들어 있음).
- aphasia 병변은 Broca 병변과 중앙값 50%(15쌍, 236개 vs 우연 98개), Wernicke 병변과 39%(17쌍, 249개 vs 97개)를 공유합니다.
겹침은 단일 헤드 수준에서 시작합니다. 한 헤드를 끄면 답이 더 Broca다워지는 정도와 더 Wernicke다워지는 정도의 Spearman 상관은 13쌍에서 중앙값 0.93(0.49~0.99)입니다. 즉 두 탐색이 비슷한 순위를 따라 누적합니다. 동점 헤드가 겹침을 부풀리긴 합니다(517개 중 134개가 양쪽 순위에서 동점, Llama-2에서 80개). 그러나 동점을 빼도 383개 vs 우연 156개, 9개 쌍에서 $p<0.01$ 입니다.
🔄 2. 같은 목표, 다른 과제의 병변 (Table 22)
계열당 한 모델(GPT-2 XL, Llama-2-13B-chat, Pythia-1B, Qwen3.5-9B)에서 Cinderella 병변과 sandwich 병변을 비교했습니다. 비교 가능한 9쌍 중 7쌍이 헤드를 공유하고 5쌍은 우연의 2.4~5.5배($p<0.01$)입니다. 그러나 공유 헤드는 병변을 “운반”하지 않습니다.
- 공유 헤드만 끄면 7쌍 모두에서 어느 과제도 목표에 도달하지 않고, 한쪽에만 속한 헤드도 마찬가지입니다.
- 두 병변의 합집합을 끄면 두 과제 모두 목표에 도달하는 쌍은 Pythia-1B aphasia 하나뿐(23개 헤드, 0.965 / 0.953; 가지치기하면 16개). 나머지 8개 합집합 중 6개는 양쪽 다 모델 스크램블.
- 18개 병변 중 자기 혼자 양쪽 과제에서 목표에 도달하는 것은 GPT-2 XL sandwich aphasia(31개 헤드, 0.859 / 0.862) 하나입니다.
🧲 3. Qwen3.5: softmax 헤드 편향
Qwen3.5 병변 16개를 합치면 1,535개 헤드 중 softmax 헤드가 294개(19.2%)로 기대치 14.3%(219.3개)보다 많습니다. 16개 중 15개 병변에서 softmax 비율이 14.3%를 넘고, 초기하 검정으로 5개가 $p<0.05$(Qwen3.5-9B Cinderella aphasia 73개 중 25개, $p=5.3\times10^{-6}$; Qwen3.5-2B sandwich Wernicke 63개 중 18개, $p=7.2\times10^{-4}$ 등), Bonferroni 보정 후에도 둘은 유의합니다. 다만 모든 병변의 다수는 여전히 Gated DeltaNet 헤드입니다.
💡 Key Takeaway Broca 회로와 Wernicke 회로는 분리된 모듈이 아니라 크게 겹치는 집합 입니다. 게다가 공유 부분이 기능의 핵심도 아닙니다. 공유 헤드만 끄면 아무 일도 안 일어나고, 합치면 대개 망가집니다. “무엇이 어디에 있는가”보다 “어떤 조합이 어떤 붕괴를 내는가”가 더 적절한 질문임을 시사합니다.
서사 밖 일반화: 병변은 손상을 가져가지만 유형은 가져가지 못한다
각 병변은 한 서사 과제의 답에서 찾은 것입니다. 저자들은 이를 (1) 다른 서사 과제, (2) Text Aphasia Battery(TAB)의 단답 15문항(단어 이해, 문장 이해, 반복)과 연결 텍스트 5문항, (3) MMLU 두 과목(global facts 100문항, high-school world history 237문항)에서 검사합니다.
📋 1. Table 3: 계열별 중앙값
| 계열 | TAB 특징 (원본 → 병변) | TAB 단답 (정답 / 15) | MMLU 하락 (nats) |
|---|---|---|---|
| GPT-2 | 0.8 → 2.6 | 8 / 15 | 0.24 |
| Llama-2-chat | 0.0 → 1.8 | 3 / 15 | 1.59 |
| Pythia | 0.0 → 2.0 | 4 / 15 | 0.11 |
| Qwen3.5 | 0.2 → 4.8 | 4.5 / 15 | 1.11 |
| All | 0.0 → 2.7 | 4 / 15 | 0.89 |
TAB 특징은 DeepSeek-V4.1-Flash 심판이 연결 텍스트 답변당 찾은 TAB의 19개 실어증 특징 수입니다.
🩻 2. 손상은 넓게 퍼진다
- 54개 병변 중 50개 에서 심판이 원본보다 더 많은 실어증 특징을 찾았습니다(중앙값 2.7 vs 0.0). 심판은 병변 모델의 5개 답 중 중앙값 4개에서 전반적 의사소통 장애를 봤고, 24개 병변에서는 5개 모두였습니다. 원본 모델은 최대 2개.
- 단답은 원본 중앙값 8.5개 → 병변 4개. 41개 병변이 2개 이상을 잃었고, Qwen3.5 16개 병변은 전부 잃었습니다. Qwen3.5는 원본이 13~14개를 맞히므로 잃을 것이 많았고, 특히 반복 5문항을 원본은 모두 정확히 따라 했지만 병변은 평균 4.0개를 잃었습니다. 원본 Llama-2는 반복 문항을 정확히 맞힌 것이 0개인데, 답에 “Sure! Breakfast.”처럼 자기 말을 덧붙이기 때문입니다.
- MMLU 정답 로그 확률 하락은 중앙값 0.89 nats, 범위 $-0.03$ ~ $7.78$. 31개 병변이 0.5 nats를 넘겼습니다. Llama-2 병변은 세계사 정확도를 0.675 / 0.717에서 0.203~0.270으로, Qwen3.5 병변은 0.654~0.907에서 0.207~0.532로 떨어뜨렸습니다. 가장 작은 하락(0.35 nats)인 Qwen3.5-9B sandwich aphasia조차 0.907 → 0.532입니다.
🚫 3. 그러나 유형은 머문다
- 연결 텍스트 답변의 평균 목표 확률이 0.5를 넘는 병변은 없습니다(최대 0.369, 중앙값 0.009). 259개 채점 답변 중 12개만 목표 도달, 그중 11개는 아무 유형이나 되는 aphasia 목표입니다.
- Broca·Wernicke 병변이 다른 서사와 TAB 연결 텍스트에 낸 184개 채점 답변 중 목표 유형에 도달한 것은 1개 뿐입니다(Pythia-2.8B Cinderella Wernicke 병변의 “첫 직장” 답, $P(\mathrm{Wernicke})=0.862$).
- 다른 서사 과제에서 목표에 도달한 병변은 54개 중 1개(GPT-2 XL sandwich aphasia).
- 부록 D의 Table 14는 이것이 CLAMP만의 문제가 아님을 보입니다. 모든 방법에서 연결 텍스트의 중앙값 목표 확률은 최대 0.137이고, 299개 작동 집합 중 3개만 0.5를 넘깁니다.
활성 패칭에서 Restore all이 TAB 단답을 복구한다는 결과(앞 섹션)는 서사 밖 손상도 같은 원천, 즉 프롬프트 처리 중의 헤드 작동에서 온다는 것을 보여 줍니다.
💡 Key Takeaway 병변은 “언어를 넓게 망가뜨리되, 어떤 식으로 망가지는지(유형)는 탐색 분포에 묶여 있는” 개입입니다. 분류기가 두 서사 과제로 학습됐다는 사실이 병변의 유형 특이성을 그 분포 안에 가둡니다. 이것이 논문이 말하는 “비대칭 일반화”의 한쪽입니다.
스티어링: 환자 전사에서 방향을 뽑아 손상 없는 모델에 더하기
🧮 1. 스티어링 벡터 (Eq. 1)
각 과제에서 모델은 모든 전사 $x$ 를 과제 프롬프트 뒤에 자기 답인 것처럼 읽고, $h_\ell(x)$ 는 층 $\ell$ 뒤 잔차 스트림을 전사 토큰(프롬프트 제외)에 대해 평균한 것입니다. 목표 $T$ 의 벡터는 두 그룹 평균의 차이입니다.
$$ \mathbf{v}_\ell=\frac{1}{|T|}\sum_{x\in T}h_\ell(x)-\frac{1}{|C|}\sum_{x\in C}h_\ell(x) $$
$C$ 는 대조군 전사, $T$ 는 Broca 목표면 Broca 전사, Wernicke 목표면 Wernicke 전사, aphasia 목표면 네 유형을 합친 전사(그룹별 평균이 아닌 풀링이라 큰 그룹이 더 많이 기여)입니다. GPT-2 XL과 Pythia는 LayerNorm이 모델 차원 평균을 빼므로 평균 상태에서도 그 평균을 뺍니다. 스티어링은 프롬프트를 읽고 생성하는 모든 위치 에서 층 $\ell$ 뒤 잔차 스트림에 $\alpha\mathbf{v}_\ell$ 을 더합니다. 강도는
$$ r=\frac{|\alpha\mathbf{v}\ell|}{\bar{h}\ell} $$
로 보고하며, $\bar{h}\ell$ 은 전사들의 $h\ell(x)$ 평균 노름입니다. $\alpha=1$ 은 모델·과제·층에 따라 $r$ 0.035~0.508에 해당하고, 목표에 도달하는 최소 강도에서 스위프는 중앙값 5.77배의 aphasia 벡터를 더합니다.
🔬 2. 선형 프로브: 방향은 실제로 존재하는가 (Table 23)
스티어링에 앞서 전사의 평균 상태에 로지스틱 회귀(L2, $C=0.01$)를 화자 단위 5-fold 교차 검증으로 맞춥니다.
| 프로브 | AUC 범위 (11개 모델, 전 층) |
|---|---|
| Aphasia vs control | 0.960 ~ 0.995 |
| Broca vs 나머지 전부 | 0.933 ~ 0.963 |
| Wernicke vs 나머지 전부 | 0.734 ~ 0.878 |
| Aphasia 프로브 과제 간 전이 | 0.866 ~ 0.992 |
Broca·Wernicke 프로브는 다른 실어증 유형도 음성 클래스에 넣으므로 어렵습니다. Pythia-1B 8층에서 대조군만 상대로 하면 AUC 0.9999 / 0.9993인데 전체 상대로는 0.945 / 0.822입니다. 추가로 두 가지가 중요합니다.
- 중증도 : 실어증 전사를 단위 aphasia 벡터에 사영한 값과 aphasia quotient의 Spearman $\rho$ 는 Cinderella에서 $-0.759$ ~ $-0.809$, sandwich에서 $-0.635$ ~ $-0.701$ (음수 = 사영이 클수록 심함). 방향이 임상 중증도와 연속적으로 대응합니다.
- 제1주성분 : 전 전사 평균 상태의 PC1과 aphasia 벡터의 절대 코사인은 층 평균 0.875~0.956, 최선의 층에서 0.955~0.988. 전사가 가장 많이 변하는 방향이 곧 실어증–대조군을 가르는 방향 입니다.
🎚️ 3. 스위프 (Table 24)
각 모델·과제·벡터에 대해 깊이에 고르게 퍼진 8개 층 $\mathrm{round}(iL/8)$, $i=0,\dots,7$ 과 8개 강도 $r\in{0.1,0.25,0.5,1,1.5,2,3,4}$ 를 스윕하고, 소스 과제 답이 목표에 도달하는 최소 강도와 그때의 층을 고릅니다. 도달하는 설정이 없으면 최고 확률 설정을 씁니다.
- aphasia 벡터는 176개(11 모델 × 2 과제 × 8층) 중 103개 층 에서 작동: Pythia 64개 중 54개(중앙값 $r=0.5$), Qwen3.5 64개 중 28개($r=1.5$), Llama-2 32개 중 15개($r=2$), GPT-2 XL 16개 중 6개($r=1.5$).
- Broca 벡터 78개 층, Wernicke 벡터 25개 층. Wernicke 벡터는 GPT-2 XL과 Llama-2에서 한 번도 작동하지 않았습니다.
- 무작위 방향 대조 : aphasia 벡터와 같은 노름의 가우시안 방향 3개를 같은 격자에서 돌리면 4,224개 설정 중 119개(2.8%)만 목표 도달. $r=1$ 에서 aphasia 벡터는 176개 중 41개, 무작위는 528개 중 27개입니다.
- 층 하나를 고정하면 작동 강도는 “너무 약해 변화 없음”과 “너무 강해 스크램블이나 20자 미만”의 사이에 있습니다. 5,808개 스티어링 답 중 683개가 20자 미만이었습니다.
- 음의 강도로 대조군 쪽으로 미는 528개 설정에서는 aphasia 13개, Broca 3개, Wernicke 0개만 목표에 도달했습니다.
🧭 4. 유형 특이 벡터
Broca·Wernicke 벡터는 aphasia 벡터와 코사인 0.838~0.989 / 0.548~0.975로 거의 같은 방향입니다. 각 벡터에서 aphasia 벡터 성분을 사영해 뺀 유형 특이 벡터 를 스윕하면 흥미로운 비대칭이 나옵니다.
| 벡터 | 작동 층 수 / 176 | 비고 |
|---|---|---|
| Wernicke 전체 | 25 | GPT-2 XL, Llama-2에서 0 |
| Wernicke 특이 | 94 | 22개 모델–과제 쌍 전부에서 작동, 전체 벡터가 실패한 10쌍 포함 |
| Broca 전체 | 78 | |
| Broca 특이 | 29 | 15쌍에서만 작동 |
즉 Wernicke의 “유형다움”은 일반 실어증 방향과 분리된 성분에 실려 있는 반면, Broca는 일반 실어증 방향 자체에 많이 의존합니다. 사람 평가는 전체 벡터를 썼으므로 GPT-2 XL과 Llama-2의 Wernicke 답변은 0.5를 넘지 못한 설정에서 나왔다는 점을 저자들이 밝힙니다.
💡 Key Takeaway 잔차 스트림에는 임상 중증도와 상관하고 PC1과 거의 일치하는 “실어증 방향” 이 있고, 그것을 한 층에 더하는 것만으로 손상 없는 모델이 환자처럼 말합니다. 무작위 방향은 2.8%만 성공하므로 이는 방향의 특이성입니다. Wernicke 특이 성분은 분리 가능하고 Broca는 덜하다는 비대칭도 기억할 만합니다.
스티어링 결과: 전문가 평가, 유형 전이, 벡터 유사도
👩⚕️ 1. 전문가 평가 설정
7개 모델(GPT-2 XL, Llama-2 2종, Pythia 4종) × 3 목표 × 2 소스 과제 벡터 × 7개 프롬프트(두 서사 + TAB 연결 텍스트 5개) = 294개 답변 중, 20자 미만 18개와 심판이 빈 응답을 낸 4개를 빼고 272개 를 두 전문가가 레이블했습니다. aphasia 목표 91개는 이진 시트(실어증 여부), Broca·Wernicke 목표 181개는 5-way 시트입니다. 전문가 간 일치는 80%, Cohen’s $\kappa=0.76$ (substantial). 전문가 2가 의논 후 수정한 레이블을 쓰면 96%, $\kappa=0.95$ 가 되지만 본문은 의논 전 레이블을 씁니다. 전문가 간 불일치 43건 중 29건이 모델 스크램블 여부였고, 그중 27건은 전문가 1이 스크램블이라 한 것을 전문가 2가 실어증 유형으로 본 경우입니다.
📈 2. 주요 결과
| 측정 | Broca | Wernicke |
|---|---|---|
| 분류기 기준, 단일 층 추가로 목표 도달 | 11개 모델 × 2 과제 전부 | 22쌍 중 12 |
| 전문가 중 한 명이 목표 유형으로 판정 (전체) | 58% | 58% |
| 설정 선택에 쓰이지 않은 6개 프롬프트, 스크램블 제외 | 65% (31/48) | 63% (40/64) |
| 소스 과제, 스크램블 제외 | 5/5 | 8/12 |
유형은 방향을 따라갑니다. 새 프롬프트 6개에서 Broca 방향 답 76개 중 44개가 Broca로, 9개만 Wernicke로 레이블됐고, Wernicke 방향 답 77개 중 44개가 Wernicke, 13개만 Broca였습니다. 분류기도 153개 새 프롬프트 답 중 67개에서 목표 유형을 찾은 반면, 같은 모델의 Broca·Wernicke 병변 은 139개 중 1개였습니다. 이것이 “비대칭 일반화”의 다른 한쪽입니다.
다만 Broca 스티어링은 모델을 자주 망가뜨립니다. 전문가는 Broca 답 90개 중 37개를 스크램블로 봤고(aphasia 25/91, Wernicke 15/91), Pythia-1B의 Broca 답 14개 중 10개가 스크램블이었습니다. 저자들은 말뭉치에 스크램블 예시가 없기 때문일 수 있다고 추정합니다. 반면 Wernicke 스티어링은 Pythia에서 50개 중 40개로 잘 되고, GPT-2 XL·Llama-2에서는 26개 중 8개입니다(이 모델들은 Wernicke 설정이 0.5를 못 넘김). sandwich 전사로 만든 벡터가 Cinderella 벡터보다 성공률이 높습니다(스크램블 제외 79/84/74% vs 45/54/54%).
🗺️ 3. 레이블 없는 공간에서의 확인 (Figure 8)
분류기 미세조정 전의 BGE-large 공간에서 10-최근접 이웃을 세면, 원본 답은 82% / 92%가 대조군 전사 옆에 있습니다. Broca 스티어링 답 은 이웃의 57% / 43%가 Broca 전사(전체 비중 21% / 11%)이고 스크램블은 11% / 12%뿐입니다. 반면 Broca 병변 답 은 이웃의 53% / 37%가 모델 스크램블(전체 비중 13% / 9%)이고 Broca 전사는 33% / 15%입니다. 목표에 도달한 Broca 병변 7개도 이웃의 57%가 스크램블입니다. 레이블을 모르는 공간에서도 스티어링은 환자 발화 쪽으로, 병변은 기계 실패 쪽으로 답을 옮긴다는 뜻입니다. 저자들은 인코더가 짧고 파편적인 발화를 파편적 기계 출력 근처에 둘 수 있으므로 이 지도는 분류기를 대체하지 않고 점검한다고 덧붙입니다.
📐 4. Broca 벡터와 Wernicke 벡터는 길이 대부분을 공유한다 (Table 26)
| 비교 | 층 중앙값 코사인 |
|---|---|
| 같은 과제의 Broca vs Wernicke 벡터 | 0.79 ~ 0.90 (22쌍) |
| Broca 벡터 vs aphasia 벡터 | 0.973 |
| Wernicke 벡터 vs aphasia 벡터 | 0.915 |
| 같은 유형, 다른 과제 | Broca 0.72, Wernicke 0.66 |
| 레이블 셔플(200회) | 0.97 ~ 0.99 |
| aphasia 성분 제거 후 Broca vs Wernicke | $-0.65$ ~ $-0.41$ |
관측 코사인은 672개 층 중 670개에서 셔플 분포의 2.5 백분위 아래이므로 두 벡터는 “완전히 같지는” 않습니다. 하지만 공유 부분이 압도적이고, 일반 실어증 방향을 빼고 남은 부분은 서로 반대를 가리킵니다. 병변의 헤드 공유와 정확히 평행한 그림입니다. 두 유형은 “대조군에서 벗어나는 방향”의 대부분을 공유하고, 각자를 구분하는 작은 성분만 따로 가집니다.
🧑⚖️ 5. 분류기 vs LLM 심판 (Table 4)
| 레이블러 | 이진 | 5-way | 전체 |
|---|---|---|---|
| 분류기 | 73 | 62 | 65 |
| LLM 심판 (DeepSeek-V4.1-Flash) | 64 | 51 | 55 |
| 두 전문가 간 | 88 | 76 | 80 |
| (Cohen’s $\kappa$) | 0.75 | 0.68 | 0.76 |
단위는 “전문가 중 한 명과 일치한 비율(%)”입니다. 최빈 상수 레이블 기준선은 47%입니다. 분류기의 우위는 주로 모델 스크램블에서 옵니다. 전문가가 스크램블로 본 77개 답 중 분류기는 51개, 심판은 23개에서 전문가와 일치했습니다. 이진 시트에서 심판은 스크램블 25개 중 20개를 “실어증”이라 불렀고, 5-way에서 181개 중 111개를 Wernicke로 불러 Wernicke recall 89%지만 Broca recall 33%였습니다. 분류기와 심판은 서로 42%($\kappa=0.31$)만 일치하고 이진 시트에서는 $\kappa=0.00$ 입니다. 다만 분류기도 소스 과제의 Broca 답 14개를 모두 Broca로 부른 반면(자기 점수로 설정을 골랐으니 당연), 전문가는 9개를 스크램블로 봤습니다. 분류기의 스크램블 recall은 이진 시트 80%, 5-way 31%로 시트에 따라 크게 다릅니다.
💡 Key Takeaway 스티어링은 (1) 전문가가 인정하는 유형별 발화를 (2) 설정 선택에 쓰이지 않은 프롬프트에서도 (3) 방향에 맞는 유형으로 만들어 냅니다. 이것이 병변과 가장 대비되는 점입니다. 동시에 벡터 기하학은 병변의 헤드 공유와 같은 결론, 즉 유형 간 조밀한 얽힘 을 독립적으로 재확인합니다.
스티어링 백: 병변을 “되돌리기”와 “치유하기”는 다르다
마지막 실험은 병변 모델에서 목표 방향을 제거하면 병변이 풀리는지 묻습니다. Arditi et al. (2024)을 따라 모든 블록 뒤에서 잔차 스트림을
$$ h \leftarrow h-\bigl(h^{\top}\hat{\mathbf{v} }\ell\bigr)\hat{\mathbf{v} }\ell,\qquad \hat{\mathbf{v} }\ell=\mathbf{v}\ell/|\mathbf{v}_\ell| $$
로 바꾸거나(removal), 한 층에서 음의 강도로 방향을 더합니다(push, $r\in{-0.5,-1,-2,-4}$, 8개 층). 대조는 같은 방식의 무작위 방향 제거와 같은 노름의 무작위 push 3개입니다. 54개 병변 각각에 135개 조건을 돌립니다.
🔁 1. 자기 방향도, 무작위 방향도 병변을 푼다 (Table 33)
| 조건 | 풀린 병변 / 54 | 남은 목표 확률 (병변 전 0.711) |
|---|---|---|
| 자기 방향 제거 | 53 (나머지 1개는 20자 미만) | 0.010 |
| 무작위 방향 제거 (3개 각각) | 51, 50, 50 (최소 하나 54, 셋 다 45) | 0.081 |
| 자기 방향 push (1,728개) | 95% | 약한 강도에서 0.024~0.034 |
| 무작위 push (5,184개) | 91% | 약한 강도에서 0.072~0.078 |
자기 방향이 목표 확률을 더 많이 깎기는 하지만(Llama-2 제외), 푸는 빈도는 무작위와 거의 같습니다. push에서는 모든 강도·층에서 자기 92~97% vs 무작위 89~94%입니다. 따라서 “병변이 풀린다”는 사실은 병변이 그 유형의 방향을 통해 작동한다는 증거가 되지 못합니다. 층 탐색이 찾은 9개 작은 병변에서도 무작위 제거가 27회 중 21회 풀었습니다.
💔 2. 풀린 답은 원본 답이 아니다
- 54개 자기 방향 제거, 162개 무작위 제거, 1,728개 자기 push, 5,184개 무작위 push 중 원본 텍스트를 재현한 것은 하나도 없습니다.
- 자기 방향 제거로 풀린 53개 답 중 분류기는 52개를 모델 스크램블, 0개를 control로 봤습니다. 나머지 1개(Llama-2-7B-chat 276헤드 Wernicke 병변)는 실어증으로 남되 유형이 전도·명칭으로 바뀌었습니다.
- 분류기 없이 “유창함”을 zlib 압축비 ≥ 0.25 와 비공백 문자의 80% 이상이 영어 사전 단어라는 규칙으로 정의하면, 자기 방향 제거의 풀린 답 53개 중 35개가 유창하지 않습니다. 무작위 제거는 풀린 151개 중 111개가 유창하고 34개는 유창한 control이었습니다. 역설적으로 무작위 방향이 답을 덜 망가뜨립니다.
- 유창한 control 답으로 병변을 푸는 push는 자기 방향 9.7%(167/1,728, 54개 병변 중 38개에서 존재), 무작위 5.2%(271/5,184). 자기 방향이 두 배 가까이 낫지만 열에 하나 미만입니다. 강도가 셀수록 줄어들어 $r=-4$ 에서는 0입니다.
- 자기 방향 제거는 손상 없는 모델의 답도 54개 전부 바꾸고 20개를 유창성 검사에서 떨어뜨립니다. Qwen3.5-9B에서는 aphasia 방향을 제거하자 오히려 $P(\mathrm{aphasia})$ 가 0.001 → 0.548(Cinderella), 0.006 → 0.848(sandwich)로 올라 목표에 도달했습니다.
전사 연속(continuation) 실험도 같은 결론입니다. 사람 전사의 첫 25단어로 답을 시작하고 $r=\pm1, \pm2$ 로 aphasia 벡터를 더해 이어 쓰게 하면, 대조군 화자의 연속 206개 중 153개가 $r=1$ 에서 실어증이 됩니다(GPT-2 XL만 18개 중 3개, 나머지는 스크램블). 그러나 실어증 화자의 연속에서 방향을 빼면($r=-1$) 40개 중 32개가 실어증이 아니게 되지만 control이 되는 것은 10개뿐이고 22개는 스크램블입니다. $r=-2$ 에서는 대조군 연속 208개 중 50개가 오히려 실어증이 되고 105개가 스크램블이 됩니다.
💡 Key Takeaway 잔차 스트림에서 방향 하나를 빼는 것은 “언어가 깨지는 쪽으로 가는 거의 모든 섭동” 과 구별되지 않습니다. 병변을 푸는 것은 쉽지만 비특이적이고, 풀린 상태는 치유가 아니라 다른 종류의 붕괴입니다. Arditi 식 “방향 제거”를 인과 증거로 쓸 때 무작위 방향 대조가 왜 필수인지를 보여 주는 결과입니다.
결론, 한계, 열린 질문
🧾 1. 세 가지 결론
| 결론 | 병변 쪽 증거 | 스티어링 쪽 증거 |
|---|---|---|
| 기능 기제의 이중 존재 | CLAMP가 66개 중 54개 설정에서 이산 헤드 회로로 Broca·Wernicke 행동 유도 | 단일 층에 벡터 추가로 Broca 22/22, Wernicke 12/22 유도, 전문가 58% 확인 |
| 조밀한 기능적 얽힘 | Broca–Wernicke 병변 헤드 공유 중앙값 54%, 517개(우연의 3배), 단일 헤드 순위 상관 0.93 | Broca–Wernicke 벡터 코사인 0.79~0.90, aphasia 벡터와 0.97 / 0.92, 특이 성분은 $-0.65$ ~ $-0.41$ |
| 비대칭 일반화 | 새 프롬프트에서 손상은 전파되나 유형은 184개 중 1개만 유지 | 새 프롬프트에서 Broca 65%, Wernicke 63%가 유형 유지, 방향에 따라 유형이 갈림 |
저자들은 이를 (1) 붕괴를 “무작위 잡음”이 아니라 “등급화된 구조적 결손”으로 보는 관점 전환, (2) 단일 기법의 아티팩트를 피하는 구조·표현 교차 검증 틀, (3) LLM 심판보다 전문가와 더 일치하는 경량 임상 주석 분류기라는 세 기여로 정리합니다.
⚠️ 2. 저자가 밝힌 한계
- 병변과 방향이 영어 서사 두 과제(Cinderella, sandwich)에서만 나왔습니다. AphasiaBank의 그림 묘사(VLM 필요)나 개인 서사, 다른 언어 말뭉치로 확장할 수 있지만 아직 하지 않았습니다.
- 분류기는 259개 전문가 레이블 예시로만 기계 실패를 배웠고, 전문가가 스크램블로 본 스티어링 답의 약 절반만 잡습니다. 분류기와 LLM 심판의 레이블은 임상 진단이 아니라 보조 신호로 읽어야 합니다.
- 모델 집합이 제한적이며 MoE 구조로의 확장은 미래 과제입니다. 희소 전문가 라우팅이 병변·스티어링 기제에 영향을 줄 수 있습니다.
본문·부록에서 추가로 드러나는 방법론적 주의점도 있습니다. 분류기 split의 화자 누수(89.2%), 네 번째 유사도 특징의 코드 버그, CLAMP 동점 헤드가 층 분포를 왜곡할 가능성, 가지치기 예산에 걸린 4개 병변, “거의 모든 헤드가 필요하다”는 결과가 구성상 따라 나온다는 점, TAB 연결 텍스트 심판 결과를 사람이 검증하지 않은 점, 심판(DeepSeek-V4.1-Flash)이 temperature 0에서도 비결정적이라 첫 응답만 쓴 점 등입니다.
❓ 3. 열린 질문
- 병변의 유형 특이성이 분류기의 학습 분포에 묶여 있다면, 더 넓은 분포(TAB 연결 텍스트 포함)로 학습한 분류기로 찾은 병변은 유형을 가져갈 수 있을까요? 아니면 이산 회로는 본질적으로 입력 분포에 더 민감한 걸까요?
- Wernicke 특이 벡터는 22쌍 전부에서 작동하는데 Broca 특이 벡터는 15쌍입니다. Broca의 “유형다움”이 일반 실어증 방향(비유창성·짧음)과 분리되지 않는 것은 표현의 문제일까요, 데이터(Wernicke 전사 58개 vs Broca 273개)의 문제일까요?
- 단일 헤드 복원이 80%를 스크램블로 보내는 현상은 병변 회로가 “경계”에 있다는 구성 탓인지, 아니면 실어증 유사 상태가 좁은 매니폴드라는 모델 속성인지 경로 패칭으로 가려야 합니다.
- 스티어링 백에서 무작위 방향이 자기 방향만큼 병변을 푼다는 결과는, refusal 등 다른 영역에서 “방향 제거가 행동을 없앤다”는 주장들에도 무작위 대조가 같은 수준으로 필요함을 시사합니다.
- Qwen3.5 병변이 softmax 헤드에 치우친다는 관찰은 선형 어텐션 하이브리드에서 “어떤 종류의 헤드가 언어 구조를 담당하는가”라는 더 큰 질문으로 이어집니다.
💡 Key Takeaway 이 논문의 가장 단단한 결론은 “LLM이 뇌와 같다”가 아니라, 구조적 개입과 표현적 개입이 독립적으로 같은 기하학(크게 겹치고 작은 특이 성분만 다른)을 보인다 는 것입니다. 그리고 “회로를 찾았다”와 “그 회로가 입력을 넘어 일반화한다”, “방향을 빼면 행동이 사라진다”와 “그 방향이 행동의 원인이다”가 서로 다른 주장임을 실험으로 분리해 보였다는 점에서, 해석가능성 연구의 방법론적 기준을 한 단계 올립니다.