You know maize mean?
Spectral Archaeology: The Causal Topology of Model Evolution
0. Summary
기본 정보 : ArXiv,2026.01.06, Spectral Archaeology: The Causal Topology of Model Evolution
연구 배경
언어 모델의 학습 데이터가 점점 불투명해지고 있다. 독점 데이터셋과 합성 데이터 파이프라인이 모델의 출처(provenance)를 가리면서, 오염 검사(contamination test)나 멤버십 추론(membership inference) 같은 표준 검증 방법은 후보 문서가 있어야만 작동한다는 전제 때문에 무력해진다. 이 진단 공백은 점점 더 시급해지는데, 생성된 데이터로 재귀 학습을 하면 모델 붕괴(model collapse)가 일어날 수 있음이 알려져 있음에도(Shumailov et al., 2024a), 그런 학습 체제를 가중치만 보고 탐지할 수 있는 도구가 없기 때문이다. 행동 벤치마크는 모델이 “무엇을” 하는지는 알려주지만 “어떻게” 하는지는 알려주지 않는다. 저자의 가설은 어텐션 기하(attention geometry)가 학습 이력의 포렌식 증거를 보존한다는 것이다. 특히 코드와 형식 논리에 최적화된 합성 커리큘럼은 문체적 유연성을 논리적 경직성과 맞바꾸며, 코드는 자연어와 달리 표면 변환에 불변이 아니므로($A\to B\neq B\to A$), 수동태(passive voice) 를 “반(反)코드 탐침”으로 쓰면 강건한 언어 회로에는 무해하지만 논리 특화 회로에는 스트레스가 되는 최소 섭동이 된다.
제안 방법
Spectral Archaeology 는 학습이 필요 없는(training-free) 기계론적 탐침이다. 각 층의 어텐션 행렬을 헤드별 어텐션 질량으로 가중 합산하고 대칭화해 토큰 그래프로 만든 뒤, 그래프 라플라시안 $L=D-\bar{W}$ 의 고유분해에서 네 지표를 읽는다. 대수적 연결성(algebraic connectivity)을 재는 Fiedler 값 $\lambda_{2}$, 국소 대 전역 정보 흐름을 재는 고주파 에너지 비율(HFER), 토큰 표현이 그래프 구조와 얼마나 정렬되는지를 재는 평활도 지수(Smoothness) $\eta$, 고유값 질량의 분포를 재는 스펙트럼 엔트로피 $H_{L}$ 이다. 의미가 같은 능동태·수동태 문장 쌍에 대해 층별 $\Delta\lambda_{2}=\lambda_{2,\text{passive} }-\lambda_{2,\text{active} }$ 를 계산하고, 구문 처리가 집중되는 초기 창(2~5층)의 평균을 주 지표로 삼는다. Microsoft Phi 계보(1.5, 2, 3, 3.5, 4), Llama-3.2(1B, 3B), Qwen(2.5-0.5B, 2.5-7B, 1.5-MoE), Mistral-7B, Gemma-2-2B(보류 검증용)의 5개 계열 12개 모델을 10개 언어에서 평가하고, 부트스트랩 95% 신뢰구간(2,000회), 절사 Hedges’ $g$, 짝지은 순열 검정(10,000회)과 Benjamini-Hochberg FDR 보정($q=0.05$)으로 통계적 유의성을 확인한다. 기전 분석으로는 그래디언트 기반 헤드 식별, 표적 제거(ablation), 2층 활성화 스티어링(activation steering)을 쓴다.
발견 사실
| Phi-3-mini 에서 영어 수동태는 2~4층에 걸쳐 연결성의 파국적 붕괴를 일으킨다. $\lambda_{2}$ 는 능동태 약 0.90 에서 2층 0.14, 3층 최소 0.08 로 떨어지고(91% 감소), 초기 창 평균 $\overline{\Delta\lambda_{2} }_{[2,5]}\approx-0.62$ 이며, 나머지 9개 언어는 $ | \Delta\lambda_{2} | <0.06$ 으로 안정적이다. 저자는 이를 수동태 유발 연결성 붕괴(Passive-Triggered Connectivity Collapse, PTCC) 라 명명한다. 같은 패턴이 Phi-3.5-mini 에서 재현되고($-0.64$), Llama·Mistral·Qwen 의 다른 90개 모델-언어 쌍은 모두 $ | \Delta\lambda_{2} | <0.05$ 다. 그러나 Phi 계보 전체를 보면 PTCC 는 Phi-3/3.5 에만 있고, 코드 중심의 Phi-1.5/2 는 영어 연결성이 애초에 낮은 “단편화된 기준선”($\lambda_{2}\approx0.25$), 후속 Phi-4 는 $\Delta\lambda_{2}\approx0$ 인 “적응형 기어박스”를 보인다. 즉 흉터는 합성 데이터 자체가 아니라 코드→채팅 커리큘럼 전환의 산물이다. 같은 모델이 wh-의문문에서는 오히려 연결성이 향상되어($+0.06$) 일반적 무능이 아닌 특화의 역전(specialization inversion)임이 드러난다. 2층 평활도 하나로 고정 임계값 규칙을 만들면 9/9 모델을 완벽히 분류하고, 보류 체크포인트 4/4 와 미학습 계열 Gemma-2-2B 도 일관되게 배치된다. 기전적으로 PTCC 는 2층의 희소한 “보상 패치”(헤드 2.3, 2.19, 2.31)에 국소화되며, 표적 제거는 무작위 제거보다 2.2배 빨리 연결성을 무너뜨린다. 2층에 능동-수동 차이 벡터를 주입하면 잃어버린 연결성의 약 36~38% 가 회복되고 perplexity 가 낮아지지만, 같은 벡터를 20층에 넣으면 효과가 10.7배 줄어든다. 건강한 모델(Mistral, Llama)은 연결성 회복이 1.3~6.4% 에 불과한데도 PPL 이 최대 26.8% 개선되어, 스티어링이 “구조 수리”와 “의미 부스트”라는 두 경로로 작동함을 보인다. 정렬된 모델은 기반 모델보다 Fiedler 값이 평균 0.089 낮고, Phi-4 의 위상 체제는 언어 정체성보다 토큰화 밀도를 따른다(가나 0.78 vs 로마자 0.25 = 영어 0.25). |
핵심 기여
- 가중치 전용 학습 체제 지문 : 어텐션 그래프 스펙트럼이 단일 순방향 패스만으로 안정적인 “스펙트럼 지문”을 제공하며, 후보 문서 없이도 합성/유기 학습 체제를 15배 분리하고 단순 해석 가능 규칙으로 완벽히 식별할 수 있음을 12개 모델·10개 언어에서 보였다.
- PTCC 의 발견과 발달적 해석 : 영어 전용·구문 유발 연결성 붕괴를 식별하고, Phi 계보 분석으로 이것이 합성 데이터의 보편 속성이 아니라 커리큘럼 전환이 라우팅 중복성을 희소 회로로 압축하면서 생기는 전환 특이적 병리임을 보였다. 네 가지 반복되는 처리 전략(특화 붕괴, 단편화 기준선, 교차 언어 균일, 확신 보정)도 분류했다.
- 인과적 국소화와 수리 : PTCC 를 2층의 희소 보상 패치에 국소화하고, 활성화 스티어링으로 부분 복구가 가능함을 보이면서, 구조 결함 수리(스티어링)와 과제 단순화(Chain-of-Thought)를 스펙트럼으로 구분하는 이중 해리(double dissociation) 를 제시했다.
Abstract 쉬운 설명(Gemini)
인공지능(AI) 분야의 어려운 전문 용어들을 걷어내고, 비전공자도 단번에 이해할 수 있도록 비유를 들어 아주 쉽게 설명해 드릴게요! 😉
🛠️ 한 줄 요약: “AI 모델의 뇌 속에 남은 흉터를 찾는 기술”
이 논문은 똑똑한 AI 모델이 만들어지는 과정에서 뇌(신경망) 속에 어떤 상처나 변화가 생겼는지, 그리고 그것을 어떻게 치료할 수 있는지를 분석한 연구입니다.
🧐 무엇이 문제였고, 왜 이 연구를 했을까요?
우리는 보통 AI가 똑똑한지 평가할 때 “시험 점수(수능 점수나 자격증 시험)”만 봅니다. 점수가 잘 나오면 “오, 이 AI 성능 좋네!” 하고 넘어가죠.
하지만 이 방식에는 큰 문제가 있습니다.
❌ 시험 점수만 봐서는 이 AI가 진짜 원리를 이해해서 풀었는지, 아니면 그냥 정답을 달달 외워서 편법으로 풀었는지 알 수가 없습니다. ❌ 또한, 학습 도중에 성격이 어떻게 변했는지, 머릿속에서 정보가 어떻게 흘러가는지 그 내부 과정을 전혀 알 수 없었습니다. (이를 AI의 ‘블랙박스’ 문제라고 합니다.)
💡 연구진의 아이디어: “AI에게 시험만 보게 하지 말고, 머릿속의 신경망(커뮤니케이션 길)이 얼마나 잘 연결되어 있는지 직접 뇌 스캔(MRI)을 해보자!”
🩺 연구진이 발견한 재미있는 사실들 (쉬운 비유)
연구진은 AI가 글을 읽을 때 단어와 단어 사이를 어떻게 연결하는지 ‘어텐션 그래프’라는 뇌 스캔 기술을 사용해 관찰했습니다. 그리고 엄청난 발견들을 해냈습니다.
1️⃣ “수동태” 문장을 읽을 때 뇌가 일시정지되는 AI 🧠💥
AI에게 공부를 시킬 때, 처음에는 ‘코딩(컴퓨터 언어)’을 가르치다가 나중에 ‘챗봇처럼 대화하는 법’으로 과목을 바꿨습니다.
그런데 이렇게 과목을 갑자기 바꿨더니, AI 뇌 속의 특정 부분에 커다란 흉터가 남았습니다. 특히 영어로 “수동태(예: ‘사과가 나에게 먹혔다’)” 문장을 읽을 때, 머릿속 정보 고속도로가 완전히 꽉 막혀버리는 마비 증상(논문에서는 이를 PTCC라고 부름)이 나타난 것이죠.
📌 쉽게 말해: 갑작스러운 공부 과목 변경 스트레스로 인해, 특정 문장을 볼 때 일시적으로 뇌가 버벅거리는 현상이 발생한 것입니다.
2️⃣ 얻는 게 있으면 잃는 것도 있다 (트레이드오프) ⚖️
AI가 특정 분야(예: 법률, 코딩 등)에 아주 똑똑한 전문가가 되는 과정에서, 문장을 다양하고 창의적으로 쓰는 능력(말투의 유연성)은 오히려 나빠졌습니다. 한쪽 능력을 극대화하느라 다른 쪽 능력을 희생한 흔적이 뇌 스캔에 고스란히 남았습니다.
3️⃣ AI의 족보(혈통)를 찾아내는 지문 🧬
사람마다 지문이 다르듯, AI 모델들도 글을 읽고 처리할 때 고유한 뇌 활동 패턴을 보였습니다. 연구진은 이 패턴을 분석해서 “이 AI는 GPT 가문 출신이네”, “이 AI는 라마(Llama) 가문 출신이네” 하고 100% 정확하게 맞출 수 있는 뇌 지도를 그려냈습니다.
4️⃣ 뇌 수술을 통한 치료 성공 🩺💉
연구진은 한 걸음 더 나아가 미세한 핀셋으로 뇌 속을 헤집어보았습니다. 수동태를 읽을 때 마비가 오는 원인이 뇌 전체가 아니라 ‘2번째 레이어(초기 판단 영역)’에 있는 아주 작은 부품 몇 개가 고장 나서 그렇다는 것을 알아냈습니다.
여기에 미세한 전기 자극을 주어 방향을 틀어주는 치료법(활성화 스티어링)을 썼더니, 막혔던 정보 고속도로가 뻥 뚫리며 잃어버린 뇌 기능의 약 38%를 성공적으로 복구해 냈습니다.
🌟 이 연구가 왜 중요할까요? (결론)
기존에는 AI가 오답을 말하면 “데이터를 더 많이 넣어주고 처음부터 다시 공부해!”라고 할 수밖에 없었습니다. 돈과 시간이 엄청나게 들었죠.
하지만 이 연구 덕분에 이제는:
- AI가 학습하는 과정에서 어떤 스트레스를 받았고 어디가 고장 났는지 정밀 진단할 수 있고,
- 고장 난 특정 미세 부품만 콕 집어서 고치는 ‘정밀 치료’가 가능해졌다는 점에서 AI 안전성과 효율성을 한 단계 끌어올린 중요한 연구입니다.
관련 개념
가중치만으로 학습 이력을 읽어야 하는 이유
🧭 1. 학습 데이터 불투명성이 만드는 진단 공백
학습 데이터 출처를 검증하는 기존 방법들은 공통된 전제를 깔고 있습니다. 멤버십 추론(Carlini et al., 2021; Shi et al., 2023)은 “이 문서가 학습에 쓰였는가”를 묻고, 오염 분석(Golchin and Surdeanu, 2023)은 “이 벤치마크가 학습에 새어 들어갔는가”를 묻습니다. 둘 다 후보 문서가 손에 있어야 합니다. 그런데 독점 데이터셋과 합성 데이터 파이프라인(“Textbooks Are All You Need” 계열, Gunasekar et al., 2023)이 확산되면서 후보 문서 자체가 없는 상황이 늘었습니다. 모델은 벤치마크 점수가 높지만 숨은 취약성(hidden brittleness)을 가질 수 있고(Gudibande et al., 2023; Shumailov et al., 2024b), 이것을 가중치와 순방향 패스만으로 확인할 방법이 필요합니다.
| 접근 | 필요한 접근 권한 | 탐지 대상 | 한계 |
|---|---|---|---|
| 멤버십 추론 | 모델 + 후보 문서 | 특정 문서의 학습 포함 여부 | 후보 없으면 불가 |
| 오염 분석 | 모델 + 벤치마크 | 평가 데이터 누출 | 후보 없으면 불가 |
| 행동 벤치마크 | 블랙박스 출력 | 과제 성능 | “어떻게” 는 모름 |
| Spectral Archaeology | 어텐션 행렬 (단일 순방향 패스) | 학습 체제·발달 이력의 위상 지문 | 어텐션 접근이 필요 |
저자는 이 문제를 모델 붕괴와 직접 연결합니다. 생성 데이터로 재귀 학습하면 붕괴가 일어날 수 있다는 사실은 알려져 있지만, 어떤 모델이 그런 체제를 거쳤는지를 데이터 없이 판별할 도구가 없다는 것입니다.
🔍 2. 회로 분석과의 차이: 미시 특징이 아니라 거시 위상 전이
기계론적 해석가능성 연구는 회로 분석(Elhage et al., 2021; Olsson et al., 2022; Wang et al., 2022)과 희소 오토인코더(Bricken et al., 2023; Templeton et al., 2024)로 개별 특징을 분리하지만 계산 비용이 큽니다. 어텐션 프로빙(Clark et al., 2019; Voita et al., 2019b)은 헤드의 전문화를 보여 주지만 언제 회로가 실패하는지는 알려주지 않습니다. Spectral Archaeology 는 개별 특징을 분리하는 대신, 체제(regime)가 바뀔 때 회로 전체에서 일어나는 거시적 위상 전이(macroscopic phase shift) 를 탐지합니다. Michel et al. (2019)이 보인 “많은 헤드는 중복이고 핵심 계산은 희소한 부분집합에 의존한다”는 관찰이, 이 논문에서 발견한 희소 보상 패치의 기계론적 배경이 됩니다.
📡 3. 트랜스포머 스펙트럼 방법의 계보
어텐션을 그래프로 보는 정보 흐름 추적(Abnar and Zuidema, 2020; Chefer et al., 2021), 어텐션 커널 스펙트럼 분석(Bietti et al., 2023), 랭크 붕괴(rank collapse) 연구(Noci et al., 2022)가 선행 연구입니다. 가장 가까운 것은 어텐션 맵의 스펙트럼 특징으로 환각을 탐지한 Binkowski et al. (2025)과 고유값 추적으로 분포 외(OOD) 입력을 탐지한 Ettori et al. (2025)입니다. 저자의 이전 연구(Noël, 2025)는 태(voice) 처리에서 정적 스펙트럼 지문을 찾았고, 이 논문은 동적 스트레스 테스트를 도입해 인과적 위상 균열을 분리한다는 점에서 전진합니다.
💡 Key Takeaway 학습 데이터가 없는 상황에서 “이 모델이 어떤 체제로 학습되었는가”를 묻는 것이 출발점입니다. 저자는 어텐션 기하가 그 이력을 거시 위상의 형태로 보존한다고 가정하고, 수동태라는 최소 구문 섭동으로 그 위상을 흔들어 균열을 드러내는 전략을 택합니다. 모델 붕괴 연구 관점에서는 “붕괴한 모델을 데이터 없이 식별하는 가중치 전용 진단”이라는 틀 자체가 이 논문의 기여입니다.
어텐션을 토큰 그래프로: 라플라시안과 네 가지 스펙트럼 지표
🧮 1. 그래프 구성 (Eq. 1)
$\ell$ 층에 $H$ 개 헤드, $N$ 개 토큰이 있을 때, 헤드 $h$ 의 소프트맥스 이후 어텐션 행렬을 $A^{(\ell,h)}\in\mathbb{R}^{N\times N}$ 이라 합니다. 무방향 그래프는 대칭화와 질량 가중 합산으로 만듭니다.
\[\bar{W}^{(\ell)}=\sum_{h=1}^{H}\alpha_{h}\cdot\frac{1}{2}\left(A^{(\ell,h)}+(A^{(\ell,h)})^{\top}\right),\qquad \alpha_{h}\propto\sum_{i,j}A^{(\ell,h)}_{ij}\]$\alpha_{h}$ 는 헤드를 어텐션 질량으로 가중합니다. 조합 그래프 라플라시안은 $L^{(\ell)}=D^{(\ell)}-\bar{W}^{(\ell)}$ 이고 $D^{(\ell)}$ 은 차수 행렬입니다. 부록 J.3 은 같은 파이프라인을 헤드 평균 형태로 다시 적습니다.
\[\bar{\mathbf{A} }^{(\ell)}=\frac{1}{h}\sum_{i=1}^{h}\mathbf{A}^{(\ell)}_{i},\qquad \mathbf{W}^{(\ell)}=\frac{1}{2}\left(\bar{\mathbf{A} }^{(\ell)}+(\bar{\mathbf{A} }^{(\ell)})^{\top}\right),\qquad \mathbf{L}=\mathbf{D}-\mathbf{W},\ D_{ii}=\sum_{j}W_{ij}\]고유스펙트럼 ${\lambda_{0},\lambda_{1},\ldots,\lambda_{n-1}}$ 에서 $\lambda_{0}=0$ 입니다. 부록 F.2 에 따르면 균일 평균과 질량 가중 합산은 모든 정성적 결론에서 일치합니다.
📐 2. 네 가지 지표 (Eq. 2)
| 지표 | 정의 | 높을 때 | 낮을 때 |
|---|---|---|---|
| Fiedler 값 $\lambda_{2}$ | 라플라시안의 두 번째로 작은 고유값(대수적 연결성) | 토큰들이 잘 통합된 하나의 전체 | 고립된 군집으로 단편화 |
| HFER | 고주파 고유모드에 실린 신호 에너지 비율(스펙트럼 상반부의 질량) | 국소적 정보 흐름 지배 | 전역적 정보 흐름 지배 |
| 평활도 지수 $\eta$ | 디리클레 에너지를 신호 크기로 정규화 | 토큰 표현이 그래프 구조와 정렬 | 구조와 어긋남 |
| 스펙트럼 엔트로피 $H_{L}$ | 정규화 스펙트럼 위의 섀넌 엔트로피 | 분산된 처리 | 집중된 계산 |
엔트로피의 역할이 특히 중요합니다. 높은 연결성은 두 가지 수학적으로 다른 상태에서 나올 수 있습니다. 각 토큰의 의미 부하가 커서 의도적으로 모두를 연결하는 “구조화된 통합”(높은 $\lambda_{2}$ + 낮은 엔트로피)과, 사전 지식이 없어서 그냥 모두를 균일하게 보는 “퇴행적 균일성”(높은 $\lambda_{2}$ + 높은 엔트로피, 무작위 그래프에 가까운 평탄 스펙트럼)입니다. 저자는 후자를 “패닉 모드”라 부르며, 엔트로피가 이 둘을 가릅니다.
🧪 3. 왜 Fiedler 값인가: 기준선 비교 (Table 12)
Phi-3 의 2층에서 표준 어텐션 통계량과 비교하면 Fiedler 값의 판별력이 두드러집니다.
| 지표 | 능동태 ($\mu$) | 수동태 ($\mu$) | Cohen’s $d$ | 판정 |
|---|---|---|---|---|
| Fiedler ($\lambda_{2}$) | 0.90 | 0.14 | 8.42 | 강건 |
| Frobenius 노름 | 1.840 | 2.000 | $-2.40$ | 강함 |
| 최대 어텐션 | 1.000 | 0.998 | 0.31 | 약함 |
| 어텐션 엔트로피 | 1.134 | 0.247 | 4.12 | 중간 |
최대 어텐션은 붕괴 상태에서 분산이 거의 0 이라 쓸모가 없고, Fiedler 값만이 “그래프가 위상적으로 끊어졌다”는 사실을 정량화합니다.
💡 Key Takeaway 어텐션 행렬을 가중 그래프로 보고 라플라시안 스펙트럼을 읽으면, “토큰들이 하나의 구조로 통합되는가”(Fiedler), “정보가 국소적인가 전역적인가”(HFER), “통합이 의도적인가 퇴행적인가”(엔트로피)를 분리해 측정할 수 있습니다. 모델 붕괴 연구에서 자주 쓰는 출력 다양성·perplexity 지표와 달리, 이 네 지표는 내부 계산의 위상을 직접 재는 후보 지표입니다.
수동태 스트레스 테스트: 설계, 모델, 언어, 통계
🎯 1. 왜 수동태인가 (Eq. 3)
능동태→수동태 변환은 체계적인 어텐션 재구성을 요구합니다. 행위자-피행위자 재배정, 조동사 삽입, 의존 관계의 재고정(reanchoring)입니다. 코드에 최적화된 회로에게는 이것이 “표면 변환에 불변이어야 하는” 자연어의 성질과 충돌하는 스트레스가 됩니다. 의미가 맞춰진 문장 쌍에 대해 층별 차이를 계산합니다.
\[\Delta\lambda_{2}^{(\ell)}=\lambda_{2,\text{passive} }^{(\ell)}-\lambda_{2,\text{active} }^{(\ell)}\]구문 처리가 집중되는 초기 창(2~5층)의 평균 $\overline{\Delta\lambda_{2} }_{[2,5]}$ 가 주 종점(primary endpoint)입니다. 부록 F.2 에 따르면 인접 창(1~4, 2~5, 3~6층)도 모든 부호 패턴과 피크 위치를 보존합니다.
🗂️ 2. 데이터셋 (부록 J.2)
| 범주 | 구성 | 규모 |
|---|---|---|
| 태 대조(Voice Contrast) | 의미가 맞춰진 능동/수동 문장 쌍 (예: “The author translated the account.” / “The account had been evaluated by the electrician.”) | 200 + 200 |
| 문법 범주 | 능동태(SVO), 수동태(OV-by-S + 조동사), wh-의문문(전치 연산자), 복합절(관계절·내포문); 템플릿 기반 합성, 명사/동사 풀 무작위화 | 범주당 200 |
| OOD 스트레스 | 횡설수설(50~500자 무작위 영숫자), 반복(“The The The…”, 50~200 토큰), 코드 잡음, 수식 잡음 | 범주당 100 |
10개 언어(영어, 프랑스어, 독일어, 스페인어, 포르투갈어, 러시아어, 아랍어, 일본어, 중국어, 이탈리아어)에서 토크나이저 수준으로 길이를 통제한 문장 쌍을 씁니다. 본문 3.4절은 언어당 200쌍, 부록 A.1 은 언어당 20쌍이라고 적어 수치가 어긋납니다. 부록 J.2 가 태 대조 200쌍을 명시하므로 영어는 200쌍, 나머지 언어는 불확실하다고 읽는 편이 안전합니다.
🧠 3. 모델 (부록 A.1, J.1)
| 계열 | 모델 | 역할 |
|---|---|---|
| Phi (Microsoft) | Phi-1.5 (1.3B), Phi-2 (2.7B), Phi-3-mini-4k-instruct (3.8B, 32층), Phi-3.5-mini-instruct (3.8B), Phi-4 (14B) | 합성 커리큘럼 계보 |
| Llama (Meta) | Llama-3.2-1B / 3B (Base 및 Instruct) | 유기 학습 기준 |
| Qwen (Alibaba) | Qwen2.5-0.5B-Instruct, Qwen2.5-7B-Instruct, Qwen1.5-MoE-A2.7B | 다국어·MoE |
| Mistral | Mistral-7B-v0.1 (부록 J.1 은 Instruct-v0.1 로 표기) | 유기 학습 기준 |
| Gemma (Google) | Gemma-2-2B-IT | 보류(held-out) 검증 |
| 진화 분석 | open_llama_3b (Llama-1 대리), open_llama_3b_v2 (Llama-2 대리) | 아키텍처 진화 |
모두 FP16 으로 Hugging Face transformers 에서 로드하며, 실험은 A100 80GB 한 장에서 수행됩니다. 스펙트럼 분석은 입력당 순방향 패스 한 번이면 되고, 비용은 $N\times N$ 라플라시안 고유분해($O(N^{3})$ 최악, 희소 방법으로 보통 $O(N^{2})$)가 지배합니다. 이 연구의 문장 길이($N<50$)에서는 샘플당 100ms 미만입니다.
📊 4. 통계 프로토콜
부트스트랩 95% 신뢰구간(2,000회 재표집), 효과 크기로 절사 Hedges’ $g$, 언어별 유의성은 짝지은 순열 검정(10,000회 셔플)에 Benjamini-Hochberg FDR 보정($q=0.05$)을 적용합니다. 부록 F.2 의 방법론적 강건성 점검에서는 라플라시안 정규화(랜덤워크·대칭)가 동일한 부호 패턴을 내고 크기 변동은 부트스트랩 대역 안이며, 방향 그래프 라플라시안도 15% 이내 크기로 패턴을 재현합니다.
💡 Key Takeaway 설계의 핵심은 “최소 섭동”입니다. 수동태는 의미를 바꾸지 않고 구문 라우팅만 바꾸므로, 연결성 변화가 생기면 그것은 내용이 아니라 라우팅 회로의 성질을 반영합니다. 10개 언어는 음성 대조군 역할을 하며, 영어에서만 효과가 나면 아키텍처가 아니라 분포(학습 데이터) 탓이라는 논리입니다.
합성 흉터(PTCC): Phi-3 의 영어 전용 연결성 붕괴
📉 1. 중심 결과 (Figure 2, Table 14)
Phi-3-mini 에서 영어 수동태는 2~4층에 걸친 파국적 연결성 붕괴를 일으킵니다. 수동태 조건의 층별 Fiedler 값은 다음과 같습니다.
| 층 | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7+ |
|---|---|---|---|---|---|---|---|---|
| $\lambda_{2}$ | 0.58 | 0.24 | 0.14 | 0.08 | 0.09 | 0.37 | 0.56 | 0.69–0.88 |
| 능동태 약 0.90 에서 2층 0.14, 3층 최소 0.08 로 떨어지며(91% 감소), 3층 값은 연결 그래프의 이론적 최소에 가깝습니다. 초기 창 평균은 $\overline{\Delta\lambda_{2} }_{[2,5]}\approx-0.62$ 이고, 나머지 9개 언어는 $ | \Delta\lambda_{2} | <0.06$ 으로 안정적입니다. 6층에서 완전히 회복됩니다. 저자는 이 효과가 세 가지 면에서 주목할 만하다고 합니다. 크기(이론적 최소 근접), 특이성(10개 언어 중 9개는 무효과), 국소화(구문 처리가 일어나는 2~4층에 집중). |
🌍 2. 전체 교차 모델 표 (Table 7)
초기 창 Fiedler 델타($\overline{\Delta\lambda_{2} }_{[2,5]}$, 수동 $-$ 능동)의 전체 표입니다.
| 언어 | Phi-3 | Phi-3.5 | Llama-1B | Llama-3B | Qwen-0.5B | Qwen-7B | Qwen-MoE | Mistral |
|---|---|---|---|---|---|---|---|---|
| en | $-0.62$ | $-0.64$ | $-0.01$ | $+0.00$ | $-0.02$ | $-0.04$ | $-0.04$ | $-0.01$ |
| fr | $-0.02$ | $+0.02$ | $-0.00$ | $+0.01$ | $-0.02$ | $-0.05$ | $-0.01$ | $-0.01$ |
| de | $-0.02$ | $-0.04$ | $+0.01$ | $-0.00$ | $-0.01$ | $-0.01$ | $-0.00$ | $+0.01$ |
| es | $-0.00$ | $+0.02$ | $+0.01$ | $-0.01$ | $-0.02$ | $+0.01$ | $-0.00$ | $-0.00$ |
| pt | $-0.02$ | $-0.03$ | $+0.00$ | $-0.02$ | $-0.02$ | $-0.01$ | $-0.00$ | $-0.01$ |
| ru | $-0.02$ | $+0.01$ | $-0.01$ | $-0.01$ | $+0.01$ | $+0.01$ | $-0.03$ | $-0.01$ |
| ar | $-0.06$ | $-0.13$ | $-0.03$ | $-0.02$ | $-0.03$ | $+0.00$ | $+0.01$ | $-0.02$ |
| ja | $-0.02$ | $+0.05$ | $-0.00$ | $-0.01$ | $-0.01$ | $+0.00$ | $+0.01$ | $+0.00$ |
| zh | $+0.00$ | $-0.00$ | $+0.02$ | $-0.03$ | $-0.03$ | $-0.03$ | $+0.03$ | $+0.01$ |
| it | $-0.01$ | $+0.01$ | $-0.01$ | $-0.02$ | $+0.00$ | $+0.00$ | $-0.00$ | $-0.01$ |
| 영어 열의 Phi-3/3.5 만 두드러지고, 나머지 90개 모델-언어 쌍은 모두 $ | \Delta\lambda_{2} | <0.05$ 입니다(아랍어 Phi-3.5 의 $-0.13$ 은 예외인데, 뒤의 한계 절에서 다룹니다). 저자는 Phi-3 의 붕괴를 본문 여러 곳에서 $\Delta\lambda_{2}\approx-0.76$ 이라고도 적습니다. 이는 초기 창 평균($-0.62$)이 아니라 Table 15 의 최대 낙폭 기준 수치로 보이며, 두 수치가 혼용되어 있다는 점은 읽을 때 주의해야 합니다. |
🧱 3. 구성별 등급과 강건성 (Table 11)
PTCC 는 수동태를 넘어 등급을 두고 일반화됩니다. 수동태는 $\lambda_{2}=0.14$ 의 심각한 붕괴를 일으키지만, 여격 이동(dative shift)이나 부사 전치(adverbial fronting)는 $\lambda_{2}\approx0.29$ 로 “스트레스는 주되 깨뜨리지는 않는” 수준입니다. 길이나 어휘의 인공물이 아님을 확인하기 위한 두 실험이 있습니다.
| 조건 | 예시 구조 | 평균 $\Delta\lambda_{2}$ |
|---|---|---|
| 표준 | The book was written by… | $-0.18$ |
| 긴 문장 (N=20) | The [adj] [noun] was [verb] by… | $-0.13$ |
| 관계절 | The [noun], [clause], was [verb]… | $-0.24$ |
주어와 행위자 사이 토큰 거리를 늘려도(조밀한 형용사구, $N=200$ 샘플) 흉터는 $\Delta\lambda_{2}\approx-0.125$ 로 유지되고, 관계절로 주어와 동사를 떼어 놓으면 오히려 $-0.24$ 로 더 가파르게 떨어집니다. 구조적 복잡성이 라우팅 실패를 완화하기는커녕 악화시킵니다. Table 11 의 “Long (N=20)” 표기와 본문의 “$N=200$ samples” 는 서로 다른 것을 가리키는지(샘플 수 대 토큰 수) 명확하지 않습니다.
🔀 4. 특화의 역전: wh-의문문에서는 향상
Phi-3 의 영어 붕괴가 일반적 구문 무능이라면 다른 복잡 구조에서도 비슷한 실패가 나와야 합니다. 실제로는 반대입니다. 수동태는 $\Delta\lambda_{2}=-0.62$ 의 붕괴를 일으켰지만 wh-의문문은 $+0.06$ 의 연결성 향상을 일으켰습니다. 자원이 사라진 것이 아니라 재배분된 것입니다. 형식 논리와 코드에 흔한 구조(장거리 변수 바인딩)에는 뛰어나고, 다양한 자연어에 흔한 구조(국소적 문체 도치)에는 실패합니다. 저자는 이를 합성 학습 편향, 즉 형식 논리 구조를 대화적 유연성보다 우선한 결과로 해석합니다.
💡 Key Takeaway PTCC 는 “모델이 영어를 못한다”가 아니라 “영어 라우팅이 특정 구문 축에 과특화되어 있다”는 신호입니다. 벤치마크 정확도에는 보이지 않는 이 비대칭이, 합성 커리큘럼이 남긴 흉터의 형태입니다. 모델 붕괴 연구에서 “다양성 손실”을 출력 분포가 아니라 내부 라우팅의 유연성 손실로 다시 정의할 수 있다는 암시이기도 합니다.
Phi 계보의 발달 궤적: 흉터는 커리큘럼 전환의 산물
🧬 1. 발달 호(弧) (Table 15)
흉터가 합성 학습의 보편 서명인지, Phi-3 커리큘럼의 특수 인공물인지를 가리기 위해 Phi 계보 전체를 분석합니다.
| 모델 | 공개 | 영어 $\lambda_{2}$ (능동) | $\Delta\lambda_{2}$ (수동) | 진단 |
|---|---|---|---|---|
| Phi-1.5 | 2023.09 | 0.25 | $\approx0$ | 단편화된 기준선 |
| Phi-2 | 2023.12 | 0.20–0.30 | $\approx0$ | 단편화된 기준선 |
| Phi-3-mini | 2024.04 | 0.90 | $-0.76$ | 합성 흉터 |
| Phi-3.5-mini | 2024.08 | 0.88 | $-0.74$ | 합성 흉터 |
| Phi-4 | 2024.12 | 0.30 | $+0.01$ | 적응형 기어박스 |
PTCC 는 Phi-3/3.5 에만 고립되어 있습니다. 이전 모델은 붕괴에 필요한 높은 연결성 기준선 자체가 없고, 이후 모델은 근본적으로 다른 전략으로 취약성을 해소한 것으로 보입니다.
🧩 2. Phi-1.5/2: 구조 이전의 단편화
Phi-1.5 와 Phi-2 는 PTCC 를 보이지 않는데, 그 이유는 전제 조건이 없기 때문입니다. 영어는 구문 구성과 무관하게 영구적으로 낮은 연결성 체제($\lambda_{2}\approx0.20$–$0.30$)로 처리됩니다. 저자는 이를 “단편화된 기준선(Fragmented Baseline)” 병리라 부릅니다. 모델이 영어를 통합된 구문 구조가 아니라 느슨하게 연결된 토큰 모음으로 다루며, 이는 코드와 형식 논리를 강조하고 영어를 “주석 언어”로 취급한 “Textbooks Are All You Need” 철학과 일치합니다. Phi-2 는 추가 이상도 보입니다. 러시아어·중국어·일본어는 매우 높은 연결성($\lambda_{2}>0.85$)을, 영어·프랑스어는 낮은 연결성을 보이는 언어 조건부 체제 분리(“구조적 격리”)입니다. 이 높은 연결성이 진짜 능력인지 퇴행적 “안전 모드”인지는 엔트로피 판별기로 가립니다.
⚙️ 3. Phi-4: 적응형 기어박스
| Phi-4 는 전작과도 흉터 난 Phi-3 과도 극적으로 다릅니다. 수동태 델타가 모든 언어에서 $ | \Delta\lambda_{2} | <0.02$ 로 무시할 만하고, 언어가 두 체제로 깔끔하게 갈립니다. 알파벳 언어(영어, 프랑스어, 독일어, 러시아어)는 $\lambda_{2}\approx0.30$ 의 “모듈형”, 표의 문자 언어(일본어, 중국어)는 $\lambda_{2}\approx0.93$ 의 “조밀형”입니다. Phi-2 의 “패닉 모드”와 달리 Phi-4 의 고연결 체제는 낮은 엔트로피를 동반하므로, 균일한 어텐션이 아니라 의도적 전역 통합입니다. 저자는 입력 스크립트의 정보 밀도에 따라 내부 위상을 바꾸는 이 동작을 “적응형 기어박스(Adaptive Gearbox)” 라 부릅니다. |
🌡️ 4. 엔트로피 판별기: 지능 대 패닉 (Table 16)
| 모델 | 언어 | Fiedler $\lambda_{2}$ | 엔트로피 $H_{L}$ | 해석 |
|---|---|---|---|---|
| Phi-2 | 영어 | 0.94 | 0.77 | 모국어 능력 |
| Phi-2 | 러시아어 | 0.87 | 1.19 | 패닉 모드 |
| Phi-4 | 영어 | 0.28 | 0.96 | 모듈형 처리 |
| Phi-4 | 일본어 | 0.84 | 0.86 | 구조화된 통합 |
| Phi-4 | 중국어 | 0.84 | 0.84 | 구조화된 통합 |
Phi-2 러시아어는 높은 $\lambda_{2}$(0.87)에 높은 $H_{L}$(1.19)이 겹쳐 패닉이고, Phi-4 일본어는 높은 $\lambda_{2}$(0.84)에 낮은 $H_{L}$(0.86)이 겹쳐 구조화된 통합입니다. Phi-4 의 일본어 엔트로피(0.86)는 영어(0.96)보다 낮은데 연결성은 3배 높습니다. 확신에 찬 선택적 어텐션이지 혼란이 아니라는 뜻입니다. Table 16 의 Phi-2 영어 $\lambda_{2}=0.94$ 는 Table 15 의 “0.20–0.30” 과 맞지 않는데, 논문에 설명이 없습니다.
🔁 5. 진화적 해석: 외상에서 성숙으로
- Phi-1.5/2 (유아기) : “구조적 격리”. 영어는 과소 학습되어 영구 단편화 경로로 처리되고, 일부 언어의 높은 연결성은 능력이 아니라 패닉(높은 엔트로피)입니다.
- Phi-3/3.5 (청소년기) : “합성 흉터”. 단편화된 영어 기준선에 새 다국어 능력을 잇는 과정에서 높은 영어 연결성을 달성했지만, 라우팅을 희소 보상 회로로 압축해 구문 스트레스에 부서집니다.
- Phi-4 (성숙기) : “적응형 기어박스”. PTCC 가 치유되었고, 모델은 내용과 무관한 위상 선택기를 운용합니다.
핵심 함의는 PTCC 가 합성 학습에 내재한 것이 아니라 라우팅 중복성을 희소 회로로 압축하는 전환 특이적 실패 모드라는 점입니다. 영구적으로 낮은 영어 연결성을 그냥 감내하는 Qwen(전략 B)과 달리, Phi-3 은 코드 중심 기반 위에 높은 연결성을 강제하여 효율적이지만 “해킹된” 라우팅 해법을 얻었고, 그것이 수동태에서 파국적으로 실패합니다.
💡 Key Takeaway 같은 “합성 데이터 계보” 안에서도 병리는 단계마다 다릅니다. 단편화(낮은 기준선) → 흉터(높은 기준선 + 취약한 붕괴) → 적응(밀도 기반 전환). 스펙트럼 분석이 학습 체제(합성/유기)만이 아니라 계열 내부의 발달 궤적까지 복원할 수 있다는 것이 “spectral archaeology” 라는 이름의 근거입니다. 모델 붕괴를 세대별로 추적하는 연구에 그대로 옮길 수 있는 틀입니다.
네 가지 처리 전략과 포렌식 식별
🗺️ 1. 네 전략 (Table 1, Table 2)
8개 주 모델로 확장하면 같은 구문 변환에 대해 네 가지 질적으로 다른 기하 반응이 나타납니다.
| 전략 | 모델 | $\lambda_{2}$ (en) | $\Delta\lambda_{2}$ | $\Delta$HFER | $\Delta$Ent | 특징 |
|---|---|---|---|---|---|---|
| A. 특화 붕괴 (Specialized) | Phi-3/3.5 | 0.70 | $-0.62$ | $+0.20$ | $+0.45$ | 논리 효율은 높으나 위상이 취약 |
| B. 단편화 기준선 (Fragmented) | Qwen-7B | 0.12 | $-0.04$ | $-0.35$ | $+0.60$ | 영어가 영구 저연결 부분공간에 거주 |
| C. 교차 언어 균일 (Uniform) | Llama | 0.80 | $-0.01$ | $+0.02$ | $+0.05$ | 언어 특화 없는 강건·균일 위상 |
| D. 확신 보정 (Confident) | Mistral | 0.85 | $-0.01$ | $\approx0$ | $-0.15$ | 수동태에서 엔트로피가 오히려 감소 |
- 전략 A (Phi-3) : 정상 기준선 연결성을 유지하다 구문 스트레스에서 파국적으로 붕괴합니다. 쓰일 때는 효율적이지만 스트레스에 부서지는 특화 영어 회로입니다. HFER 급증과 엔트로피 증가가 동반되어 신호가 고주파 모드로 단편화되고 구조화된 계산이 사라집니다.
- 전략 B (Qwen2.5-7B) : 능동태에서도 영어 연결성이 다른 언어($\approx0.70$)보다 훨씬 낮은 $\approx0.12$ 입니다. 스트레스 유발 붕괴가 아니라 영구적 기준선 차이이며, 영어가 어텐션 다양체의 별도 저연결 부분공간을 차지합니다. HFER 반응이 역전되어 수동태가 고주파 에너지를 줄입니다($-0.35$). 0.5B 에서도 같은 패턴($\lambda_{2}\approx0.15$)이 나오므로 규모가 아니라 토크나이저 설계나 사전학습 혼합에서 비롯된 계열 수준 속성으로 보입니다. Qwen1.5-MoE 는 이산 전문가 라우팅 때문에 층별 궤적이 들쭉날쭉하지만 전략은 같고, 효율 지향 희소 아키텍처인데도 PTCC 가 없어 PTCC 가 아키텍처가 아니라 학습 데이터의 속성임을 뒷받침합니다.
-
전략 C (Llama-3.2) : 10개 언어 모두 $\lambda_{2}\approx0.80$ 의 높은 연결성을 유지하고 델타는 $ \Delta\lambda_{2} <0.02$ 입니다. 다양한 유기 웹 데이터가 국소 구문 섭동에 불변인 어텐션을 강제한 결과, 특화가 아니라 중복성을 통한 강건성입니다. 3B 에서도 같은 패턴이 유지되어 규모 불변입니다. - 전략 D (Mistral-7B) : Fiedler·HFER 변화는 거의 없는데 엔트로피 델타가 음수입니다. 수동태가 출력 불확실성을 줄입니다. 저자는 수동태의 경직된 제약(필수 조동사, 고정 어순)이 추가 구조 앵커로 작용해 파싱 모호성을 줄이는 “확신 역전”으로 해석하며, Sliding Window Attention·Group Query Attention 같은 아키텍처 선택이 고품질 데이터와 상호작용한 결과일 가능성을 언급합니다.
🔎 2. 고정 임계값 포렌식 분류기 (Eq. 4, Table 3)
학습 데이터 없이 출처를 식별할 수 있는지를 보기 위해, 단일 지표인 2층 평활도 $S$ 로 투명한 규칙 분류기를 만들고, 보류 평가 전에 결정 경계를 고정하는 프로토콜을 씁니다.
\[\text{Rough: } S<0.50,\qquad \text{Medium: } 0.50\le S<1.00,\qquad \text{Smooth: } S\ge1.00\]| 계열 | 평활도 범위 | 정확도 |
|---|---|---|
| Phi-3 (흉터 난 합성) | $<0.50$ (Rough) | 2/2 |
| Qwen (다국어) | $[0.50,1.0)$ (Medium) | 4/4 |
| Llama/Mistral (유기) | $\ge1.0$ (Smooth) | 3/3 |
| 합계 | 9/9 (100%) |
고정 규칙을 보류 체크포인트(Base/Instruct)에 적용하면 4/4 로 오류가 없었고, 미학습 계열인 Gemma-2-2B-IT($S=0.91$)도 Medium 체제에 일관되게 배치되었습니다. 저자는 이것이 “이 평가 집합에서 탐지 가능한 스펙트럼 서명이 존재한다”는 존재 증명이지 범용 귀속 보증이 아니라고 명시합니다. 규칙이 라벨 암기가 아니라 연속적 속성을 포착한다는 해석입니다. 본문은 합성/유기 체제 사이 “15배 분리”를 반복해 언급하지만, 그 15배가 어떤 양의 비인지는 본문에 정의되어 있지 않습니다.
🧭 3. 배치 함의 (5.1절)
| 용도 | 함의 |
|---|---|
| 모델 선택 | 다국어 응용에는 특화 모델(Phi-3)보다 균일 전략 모델(Llama)을 선호해 언어 특이 취약성을 피함 |
| 학습 검증 | 데이터셋 없이 학습 주장을 검증. 평활도 하나로 계열 식별 |
| 실패 예측 | 특화 역전(수동태 붕괴 + wh 향상)으로 어떤 구문이 어떤 모델에 스트레스를 줄지 배치 전 예측 |
💡 Key Takeaway 네 전략은 벤치마크에는 보이지 않는 “암묵적 성격”입니다. 특히 전략 A 와 B 의 대비가 중요합니다. 둘 다 영어가 문제지만, 하나는 “높은 연결성이 스트레스에 무너지는” 취약성이고 다른 하나는 “애초에 낮은 연결성을 감내하는” 안정적 단편화입니다. 모델 붕괴의 “느린 퇴행” 과 “급격한 균열”을 구분하는 데 같은 이분법을 적용할 수 있습니다.
기전과 인과적 수리: 보상 패치, 스티어링, 이중 해리
🔬 1. 2층 제거와 희소 보상 패치 (Table 4)
Phi-3 에서 점진적 제거를 수행하면, 2층을 제거했을 때 능동태 연결성이 수동태 기준선($\lambda_{2}\approx0.14$)으로 붕괴합니다. 2층이 고연결 상태를 능동적으로 구축한다는 증거입니다. 그래디언트 분석 $\mathbb{E}[|\nabla_{A}\lambda_{2}|]$ 로 잔여 연결성을 유지하는 헤드를 찾으면 희소한 “보상 패치”(헤드 2.3, 2.19, 2.31)가 드러납니다.
| 제거 헤드 수 $k$ | 0 | 1 | 2 | 3 | 5 | 10 |
|---|---|---|---|---|---|---|
| 표적 (top-$k$) | 0.26 | 0.25 | 0.23 | 0.22 | 0.19 | 0.15 |
| 무작위 ($k$ 헤드) | 0.26 | 0.26 | 0.25 | 0.24 | 0.23 | 0.20 |
표적 제거는 무작위보다 2.2배 빨리 연결성을 무너뜨립니다($k=10$ 에서 0.15 대 0.20). 전문화된, 하중을 지탱하는(load-bearing) 회로라는 확인입니다. 저자는 이 위치를 2층 유도 헤드(induction heads)로 해석하며, Geva et al. (2023)의 내부 메모리 네트워크를 위한 핵심 라우팅 기제라고 연결합니다.
🩹 2. 스티어링을 통한 외과적 수리 (Eq. 5–6, Table 5, Table 9)
PTCC 가 라우팅 실패라면 되돌릴 수 있어야 합니다. 스티어링 벡터는 보정 집합 $S$(문장 쌍 50개)에서 2층 평균 풀링 은닉 상태의 능동-수동 차이로 만듭니다.
\[v=\frac{1}{|S|}\sum_{s\in S}\left(h^{(2)}_{\text{active} }(s)-h^{(2)}_{\text{passive} }(s)\right),\qquad \tilde{h}^{(2)}=h^{(2)}+\alpha\cdot v\]$\alpha$ 는 검증 집합에서 ${0.05,0.1,0.2,0.5,1.0,2.0}$ 그리드 탐색으로 정합니다. 본문 Table 5 의 결과입니다(N=100 자연 문장).
| 모델 | 기본 PPL | 스티어링 PPL | $\lambda_{2}$ 회복 | 이득 |
|---|---|---|---|---|
| Phi-3-mini | 38.41 | 34.75 | 36.2% | +9.5% |
| Mistral-7B | 113.02 | 90.93 | 6.4% | +19.6% |
| Llama-3B | 130.98 | 95.93 | 1.3% | +26.8% |
부록 D.1 의 Table 9 는 다른 수치를 보고합니다.
| 모델 | 기본 PPL | 스티어링 PPL | 최적 $\alpha$ | 이득 |
|---|---|---|---|---|
| Mistral-7B-v0.1 | 68.35 | 55.60 | 0.20 | +18.66% |
| Llama-3.2-3B | 103.05 | 84.60 | 0.20 | +17.91% |
| Qwen-2.5-0.5B | 96.25 | 86.85 | 0.05 | +9.77% |
| Phi-3-mini | 33.35 | 31.09 | 0.20 | +6.80% |
두 표의 기본 PPL 과 이득이 다른데(Phi-3 38.41/+9.5% 대 33.35/+6.80%), 평가 집합이 다른 것으로 짐작되지만 논문은 설명하지 않습니다. 초록의 “약 38% 회복” 과 Table 5 의 36.2% 도 약간 다릅니다. 스티어링 강도는 일관된 상전이를 보입니다. 아임계($\alpha<0.05$)는 효과 없음, 최적($0.05\le\alpha\le0.2$, “골디락스 구간”)은 유의한 PPL 감소, 초임계($\alpha\ge0.5$)는 “과잉 스티어링”으로 성능 저하입니다.
🔀 3. 두 가지 인과 경로: 용량 복원 대 의미 부스트
모든 모델이 스티어링으로 성능이 좋아지지만, 스펙트럼은 두 경로를 구분합니다. 흉터 난 Phi-3 에서는 스티어링이 2층 위상 균열을 외과적으로 수리해 잃어버린 연결성의 36.2% 를 회복하는 용량 복원(Capacity Restoration) 입니다. 반면 유기 모델(Mistral, Llama)에서는 연결성 회복이 1.3% 까지 미미해 구조 결함이 없음을 확인시키며, 최대 26.8% 의 큰 PPL 이득은 기존의 중복 경로를 더 결정론적인 구성으로 결정화하는 의미 부스트(Semantic Booster) 로 해석됩니다. 수리는 공간적으로 특이적입니다. 같은 벡터를 20층에 주입하면 이득이 2.08% 로, 효능이 10.7배 줄어듭니다.
🧠 4. CoT 와의 대비 (Figure 3)
Chain-of-Thought 프롬프팅은 Fiedler 가 가장 낮고($\approx0.02$), 평활도도 가장 낮으며($\approx0.10$), 엔트로피는 가장 높고($\approx1.2$) perplexity 는 우수합니다. CoT 는 추론을 토큰으로 외재화하므로 그래프 연결성이 필요 없습니다. 모델이 어텐션 통합으로 “계산”하는 대신 미리 계산된 단계를 “읽는” 것입니다.
| 개입 | 기제 | 연결성 | PPL |
|---|---|---|---|
| 스티어링 | 용량 복원: 내부 연결성 수리, 제로샷 처리 가능 | 회복 | 감소 |
| CoT | 과제 단순화: 계산을 맥락으로 떠넘겨 연결성 요구를 우회 | 붕괴 | 감소 |
| Window=1 | 어텐션을 단일 토큰 창으로 제한 | 파국적 실패 (PPL 367.59) | 급증 |
둘 다 PPL 을 낮추지만 스티어링만 계산 결손을 수리합니다. Window=1 의 파국은 장거리 에지가 구문 처리에 필수임을 확인시킵니다.
⚖️ 5. 이중 해리 (Table 6, Table 10)
| 상태 | 예 | 병리 | 구조적 개입 | 의미적 개입 |
|---|---|---|---|---|
| 흉터 | Phi-3 | 위상 균열 | +24.5% | $\approx21$% |
| 건강 | Mistral | 중복 위상 | +3.0% | +25.0% |
Phi-3 은 어떤 의미적 “격려”로도 고칠 수 없는 라우팅 결함을 앓고, Mistral 은 구문이 구조적으로 건전하지만 확신을 높여 CoT 수준의 이득을 토큰 비용 없이 얻을 수 있습니다. 수동태 수리와 wh 향상을 비교한 Table 10 도 같은 비대칭을 보입니다.
| 모델 | 수동태 수리 | wh 향상 |
|---|---|---|
| Mistral-7B-v0.1 | +18.66% ($\alpha$=0.2) | +18.44% ($\alpha$=2.0) |
| Llama-3.2-3B | +17.91% ($\alpha$=0.2) | +12.88% ($\alpha$=1.0) |
| Phi-3-mini | +6.80% ($\alpha$=0.2) | +0.62% ($\alpha$=1.0) |
| Qwen-2.5-0.5B | +9.77% ($\alpha$=0.05) | +0.00% (취약) |
유기 모델은 균형 잡힌 구문 지형을 보이고, 합성 중심 Phi-3 은 균열된 수동태 회로는 수리 가능하지만 이미 특화된 wh 회로는 향상 여지가 거의 없는 치우친 지형을 보입니다. Table 6 의 Phi-3 구조적 이득 +24.5% 는 Table 5(+9.5%)나 Table 9(+6.80%)와 또 다른 수치여서, 어떤 설정의 값인지 본문에 명시되지 않았습니다.
🧪 6. 행동-스펙트럼 상관 (Table 13)
| 모델 | $n$ | Pearson $r$ | 95% CI |
|---|---|---|---|
| Phi-3-mini | 10 | $-0.976$ | [$-0.99$, $-0.89$] |
| Qwen2.5-7B | 10 | $-0.627$ | [$-0.85$, $-0.24$] |
| Llama-3.2-3B | 10 | $-0.143$ | [$-0.62$, $+0.41$] |
Phi-3 에서는 언어별 연결성 변화가 행동적 난이도 분산의 95% 를 설명합니다($r=-0.976$). 기하 신호가 계산 용량을 직접 추적한다는 확인이지만, $n=10$(언어 수)이라는 점은 유념해야 합니다.
💡 Key Takeaway “같은 개입이 같은 PPL 이득을 내더라도 내부에서 일어나는 일은 다를 수 있다”는 것이 이 절의 교훈입니다. 스펙트럼은 결함 수리와 건강한 회로 최적화를 구분합니다. 모델 붕괴 완화 연구에서 “지표가 회복되었다” 만으로는 부족하고, 내부 위상이 복원되었는지를 따로 확인해야 한다는 방법론적 요구로 읽힙니다.
정렬 효과, 토큰화-위상 법칙, 기반 모델의 역반응
🧷 1. 정렬 관련 연결성 감소 (Table 8)
지시 튜닝과 정렬 절차가 어텐션 그래프 연결성 감소와 체계적으로 연관되는지 검정했습니다.
| 그룹 | 모델 수 | 평균 Fiedler $\mu$ | $\Delta$ (Base $-$ Instruct) |
|---|---|---|---|
| Base | 6 | 0.472 | 0.089 [0.003, 0.177]* |
| Instruct | 8 | 0.383 |
*95% 부트스트랩 CI, $p<0.05$. 차이 $\Delta=0.089$ 는 유의하며, 정렬이 낮은 스펙트럼 연결성과 연관됨을 시사합니다. 다만 모든 경우에 극단적 불연속이 아니라 Fiedler 값의 넓은 하향 이동으로 나타납니다. 저자는 Base-Instruct 차이가 정렬 외의 체크포인트 변화도 반영할 수 있으므로 “정렬 관련(alignment-associated)” 이지 엄격히 인과적이지는 않다고 선을 긋습니다.
🔁 2. 학습 체제에 따른 기능적 역전
Base 와 정렬 모델 사이에 스티어링 반응의 부호가 뒤집힙니다. 확장 체크포인트 집합에서 Base 모델은 스티어링 아래 평균 $-14.03\%$ 의 강한 음의 이득을, Instruct/정렬 모델은 $+1.54\%$ 의 양의 이득을 보입니다. 정렬 모델에서는 용인되거나 약간 유익한 같은 방향이 Base 체크포인트에서는 적극적으로 거부됩니다. 정렬이 2층에서 외부 제어 신호에 대한 반응 방식을 근본적으로 재편한다는 뜻입니다.
🈶 3. 스크립트 교체 통제와 토큰화-위상 법칙 (Table 17)
Phi-4 의 위상이 의미 내용이나 언어 정체성이 아니라 토큰화 밀도에 적응한다는 것을 인과적으로 분리하기 위해, 의미가 맞춰진 삼중항 $N=30$ 을 만들었습니다. 문장 경계 인식 효과를 통제하려고 모두 종결 구두점을 넣었는데, 파일럿에서 구두점 없는 로마자가 코드/목록으로 오분류되어 연결성이 인위적으로 부풀려졌기 때문입니다.
| 입력 형식 | 스크립트 | Fiedler $\lambda_{2}$ | 체제 |
|---|---|---|---|
| 일본어 (가나/한자) | 표의·음절 | 0.78 | 조밀 통합 |
| 일본어 (로마자) | 라틴 | 0.25 | 모듈형 도약 |
| 영어 (번역) | 라틴 | 0.25 | 모듈형 도약 |
같은 의미, 반대 위상. 같은 스크립트, 동일 위상. 가나에서 로마자로 바꾸면 연결성이 3.1배 줄고(0.78→0.25), 로마자 일본어는 다른 언어의 다른 내용을 담은 영어와 정확히 같은 연결성을 보입니다. 40개 층 전체에서 가나는 중간 층 내내 $\lambda_{2}\approx0.80$ 의 조밀 체제를, 로마자와 영어는 $\lambda_{2}\approx0.25$ 의 희소 체제를 유지하며, 분리는 3층부터 35층까지 유지되다 최종 출력 층에서만 수렴합니다. 저자는 이를 토큰화-위상 법칙(가설) 로 정리합니다. 동일한 의미 내용에 대해 어텐션 그래프 연결성은 토큰 수에 반비례하며, 조밀 토큰화(표의 문자)는 전역 통합을, 희소 토큰화(알파벳)는 모듈형 가교를 유발한다는 것입니다. 세 예측(표의 문자 > 알파벳, 로마자화는 알파벳 수준으로 붕괴, 체제는 언어가 아니라 스크립트를 따름)이 모두 확인되었지만, 아랍어·히브리어·태국어 등 추가 스크립트와 모델에서의 검증은 남아 있습니다.
💡 Key Takeaway “건강한 기하”의 기준선 자체가 스크립트에 따라 체계적으로 다릅니다. 이는 스펙트럼 지표를 붕괴 진단에 쓸 때 언어·토크나이저별 기준선을 따로 잡아야 한다는 뜻입니다. 정렬이 연결성을 낮추고 Base 모델이 스티어링을 거부한다는 결과는, 재귀 학습 세대마다 정렬 단계가 끼어드는 실제 파이프라인에서 붕괴 신호와 정렬 신호를 분리해야 한다는 경고이기도 합니다.
한계와 열린 방향
⚠️ 1. 저자가 인정한 한계
- 탐침의 폭 : 주 탐침은 수동태이고, wh-의문문·여격 이동·부사 전치에서 등급 효과를 확인했지만 일반화를 강화하려면 더 넓은 구문 범위가 필요하다.
- 발달적 기원 : 실패 헤드를 식별하고 표적 제거로 인과를 세웠지만, 왜 특정 커리큘럼이 이 취약성을 만드는지는 설명하지 못한다. Phi 계보 궤적은 다국어 확장 중 효율-강건성 교환을 시사하지만, 동일 아키텍처를 체계적으로 다른 커리큘럼으로 통제 학습해야 직접 검정할 수 있다.
- 언어별 기준선 : 아랍어는 2층에서 수동태 연결성이 거의 0($\lambda_{2}\approx0$)인데, 영어와 달리 능동태 기준선도 낮아($\lambda_{2}\approx0.06$) 델타가 작다. 이는 취약한 특화가 아니라 과소 학습일 가능성이 있으며, 별도 연구가 필요한 다른 실패 모드다.
- 인과 귀속 : 계열 간 비교는 커리큘럼과 아키텍처를 혼동한다. 15배 분리는 시사적이지만 통제 실험 없이는 결정적이지 않다. Base-Instruct 차이도 정렬 외 체크포인트 변화를 반영할 수 있어 “정렬 관련”으로만 취급한다.
- 포렌식 분류의 범위 : 9/9, 4/4 의 완벽 분류는 이 평가 집합에서의 존재 증명이지 범용 귀속 보증이 아니다.
- 윤리·작성 : 기계론적 탐침 기법에 특별한 윤리적 위험은 없다고 밝히며, 원고 작성에 Gemini 3.0 Pro 를 문장 다듬기·코드 리팩터링에 썼고 저자가 모두 검토했다고 공개한다.
🔒 2. 외부 관점의 한계
- 수치 불일치가 많다 : 언어당 쌍 수(200 vs 20), Phi-3 붕괴 크기($-0.62$ vs $-0.76$), Phi-3 스티어링 기본 PPL 과 이득(38.41/+9.5% vs 33.35/+6.80% vs Table 6 의 +24.5%), 연결성 회복(38% vs 36.2%), Phi-2 영어 $\lambda_{2}$(0.20–0.30 vs 0.94), Fiedler 값 표기($\lambda_{2}$ vs 부록 J 의 $\lambda_{1}$), Mistral 체크포인트(v0.1 vs Instruct-v0.1), Table 11 의 N 표기가 서로 어긋난다. 핵심 주장의 방향은 바뀌지 않지만, 수치를 인용할 때는 어느 표인지 명시해야 한다.
- “15배 분리”의 정의 부재 : 반복 언급되는 핵심 수치인데 어떤 두 양의 비인지 본문에 없다.
- 단일 저자·단일 GPU 규모 : 12개 모델이라 하지만 Table 1·7 은 8개, 분류는 9개, 정렬 비교는 14개 체크포인트로 집합이 절마다 다르다. 행동-스펙트럼 상관은 $n=10$ 이다. 효과 크기는 크지만 표본은 작다.
- PTCC 사례가 사실상 하나의 계열 : 흉터의 “합성 학습 서명” 주장은 Phi-3/3.5 두 체크포인트에 기반한다. 저자 스스로 Phi 계보 분석을 통해 “합성 데이터 자체가 아니다”로 후퇴했으므로, 다른 합성 중심 계열(예: 다른 textbook 류 모델)에서 PTCC 또는 다른 흉터가 재현되는지가 확인되어야 “커리큘럼 전환 병리”라는 일반 명제가 선다.
- 어텐션 접근 요구 : 가중치 전용이라 하지만 실제로는 어텐션 행렬 추출이 필요하다. 어텐션을 노출하지 않는 폐쇄 API 모델에는 적용할 수 없고, 저자도 향후 과제로 둔다.
- 모델 붕괴와의 연결이 동기 수준에 머문다 : 서론에서 재귀 학습 붕괴를 언급하지만, 실제로 자기 생성 데이터로 재귀 학습한 모델에 스펙트럼 탐침을 적용한 실험은 없다. Phi 계보는 “합성 데이터로 학습한 모델”이지 “자기 출력으로 재귀 학습한 모델”이 아니므로, 이 논문의 PTCC 가 붕괴의 지문이라고 바로 말할 수는 없다.
❓ 3. 열린 질문
- 자기 생성 데이터로 세대를 거듭 학습한 모델에서 Fiedler·엔트로피·HFER·평활도는 어떤 궤적을 그리는가? 단편화(낮은 기준선)로 가는가, 흉터(취약한 고연결)로 가는가, 패닉(높은 연결 + 높은 엔트로피)으로 가는가?
- 스펙트럼 엔트로피의 “패닉 모드”(균일 어텐션)는 붕괴 후기의 출력 다양성 손실과 어떤 관계인가? 내부 스펙트럼이 평탄해지는 시점이 출력 분포가 좁아지는 시점보다 앞서는가?
- 2층 보상 패치 같은 희소 하중 회로는 재귀 학습에서 더 희소해지는가(중복성 압축), 아니면 사라지는가?
- 스티어링의 “용량 복원 대 의미 부스트” 구분을 붕괴 완화(실제 데이터 축적, 검출기 필터링 등)에 적용하면, 어떤 완화책이 구조를 복원하고 어떤 것이 지표만 끌어올리는가?
- 토큰화-위상 법칙이 맞다면, 재귀 학습으로 토큰 분포가 단순해질 때(어휘 붕괴) 연결성 기준선 자체가 이동할 텐데, 그것을 붕괴 신호와 어떻게 분리하는가?
- 정렬이 연결성을 낮춘다면, 세대마다 RLHF/DPO 를 끼워 넣는 실제 파이프라인에서 붕괴에 의한 감소와 정렬에 의한 감소를 어떻게 구분하는가?
🧷 4. 내 판단과 연구 연결
- 붕괴 정의 : 이 논문은 붕괴를 출력 분포가 아니라 내부 라우팅 위상의 변화로 볼 수 있는 어휘를 줍니다. “단편화(Fragmented)”, “흉터(Scarred)”, “패닉(Panic)”, “적응(Adaptive)” 네 상태는 Phi 계보에서 나온 것이지만, 재귀 학습 세대를 같은 축에 놓으면 “붕괴의 단계 모형”으로 바로 번역됩니다. 특히 Phi-3 의 PTCC, 즉 높은 기준선이 스트레스 아래 무너지는 상태는 “벤치마크는 멀쩡한데 분포 꼬리에서 무너지는” 초기 붕괴의 후보 서명입니다.
- 측정 지표 : 네 지표 중 바로 가져다 쓸 수 있는 것은 Fiedler 값과 스펙트럼 엔트로피의 조합입니다. 높은 $\lambda_{2}$ + 높은 $H_{L}$ 의 패닉 모드는 “모델이 사전 지식을 잃고 모든 토큰을 균일하게 본다”는 뜻이므로, 붕괴 후기(분산 소실, 모드 붕괴)의 내부 상관물로 가설을 세울 수 있습니다. 비용이 순방향 패스 한 번 + $O(N^{2})$ 고유분해라 세대마다 수백 문장에 적용하는 데 부담이 없고, 저자가 공개한 라이브러리(spectral-trust, GitHub vcnoel/spectral-archeology)로 재현할 수 있습니다. 다만 Table 12 가 보여 주듯 Frobenius 노름이나 어텐션 엔트로피도 일정 판별력을 가지므로, 세대별 추적에서는 네 지표를 모두 기록하고 어떤 것이 가장 먼저 움직이는지 비교해야 합니다.
- 완화 방법 : 스티어링 실험이 주는 교훈은 “완화 후 지표 회복”을 두 종류로 쪼개야 한다는 것입니다. 실제 데이터 축적이나 검출기 기반 필터링 같은 완화책이 PPL 이나 다양성 지표를 회복시킬 때, 그것이 연결성 복원(용량 복원)인지 단순히 출력을 다시 선명하게 만든 것(의미 부스트)인지를 스펙트럼으로 분리할 수 있습니다. 또 2층 보상 패치가 “효율을 위해 중복성을 압축한 결과”라는 해석은, 붕괴 완화에서 중복성(redundancy) 을 명시적 목표로 삼을 근거가 됩니다.
- 실험 설계 : 가장 직접적인 후속 실험은 이 논문의 파이프라인을 재귀 학습 세대열(Gen0 → Gen$k$)에 그대로 적용하는 것입니다. 세대마다 (1) 능동/수동 쌍의 $\overline{\Delta\lambda_{2} }{[2,5]}$, (2) 언어별 기준선 $\lambda{2}$, (3) $H_{L}$, (4) 2층 평활도를 기록하고, 출력 다양성·PPL 과의 선후 관계를 본다. 통제 변수로 저자가 지적한 두 혼동 요인, 즉 정렬 단계 유무와 토크나이저 고정 여부를 분리해야 합니다. 스크립트 교체 통제(가나/로마자/영어)는 “같은 의미, 다른 토큰 밀도”를 만드는 깔끔한 방법이라, 붕괴로 어휘가 단순화될 때 기준선 이동을 보정하는 대조군으로 쓸 수 있습니다.
- 인용 용도 : (a) 가중치 전용 학습 체제 탐지의 필요성을 모델 붕괴 동기와 연결하는 서론 인용, (b) 어텐션 라플라시안 스펙트럼 지표의 정의(Eq. 1–3), (c) “합성 데이터 자체가 아니라 커리큘럼 전환이 흉터를 만든다”는 반례적 결과, (d) 지표 회복과 구조 복원을 구분해야 한다는 방법론적 논점. 수치를 인용할 때는 본문 표와 부록 표가 어긋나는 곳이 많으므로 반드시 출처 표를 함께 적어야 합니다.
💡 Key Takeaway 이 논문은 모델 붕괴를 직접 실험하지 않았지만, 붕괴 연구에 세 가지를 제공합니다. 데이터 없이 학습 이력을 읽는 가중치 전용 진단, 출력이 아니라 내부 라우팅 위상으로 퇴행을 정의하는 어휘, 그리고 완화책의 효과를 “구조 복원”과 “지표 부스트”로 가르는 판별 기준입니다. 재귀 학습 세대열에 이 파이프라인을 적용하는 것이 가장 빠른 후속 실험입니다.