0. Summary

기본 정보 : ArXiv,2026.05.28, Representation Collapse in Sequential Post-Training of Large Language Models

연구 배경

최근 LLM 은 한 번의 instruction tuning 으로 끝나지 않고, 일반 SFT → 선호 최적화 → 안전 정렬 → 도메인 특화 → 긴 chain-of-thought 튜닝 → 제품 분포 변화에 따른 재조정으로 이어지는 긴 사후학습(post-training) 사슬을 거친다. 지배적인 평가 관행은 각 단계를 행동(behavior) 기준으로만 본다. 지시를 잘 따르는가, 벤치마크를 푸는가, 유해 요청을 거부하는가, 쌍대 비교에서 이기는가. 그러나 Kumar et al.(2022) 이 보였듯 미세조정은 in-distribution 성능을 올리면서도 사전학습 특징을 왜곡하고 OOD 행동을 망가뜨릴 수 있다. 즉 사후학습 단계는 은닉 특징 공간의 기하(geometry) 도 바꾸며, 그 기하는 다음 학습에 남은 여지를 결정할 수 있다. 언어 표현의 이방성(anisotropy)과 퇴화(degeneration)는 Ethayarajh(2019), Mu & Viswanath(2018), Gao et al.(2019) 등이 단일 체크포인트에서 보고했지만, 개별적으로는 유용한 목적함수들이 경로 의존적으로 반복해서 기하를 밀어붙이는 순차 사후학습에서 이 현상이 어떻게 누적되는지는 다뤄지지 않았다. 저자들이 우려하는 것은 조용한 실패 모드다. 체크포인트가 가장 최근 과제에서는 좋아지면서 다음 과제에 대한 가소성(plasticity) 은 잃는 것이다.

제안 방법

표현 붕괴(representation collapse) 를 “고정 프로브 분포 아래에서 측정 가능한 집중(concentration) 또는 동질화(homogeneity) 의 증가”로 조작적으로 정의하고, 스펙트럼(유효 랭크, 참여비, top-$k$ 분산)·기하(중심화/비중심화 이방성, CKA 드리프트)·토큰 궤적(프롬프트·초기 응답·후기 응답·CoT·거부 구간별 랭크)·기능(로짓 엔트로피, top-2 마진, 지지 집합 크기, ECE)·업데이트(LoRA 특이 스펙트럼, 주각 겹침) 다섯 축의 측정 지표 모음 을 정의한다. Qwen2.5-1.5B 와 TinyLlama-1.1B 를 주 모델로, Llama-3.2-1B 와 OLMo-1B 를 강건성 검사로, Qwen2.5-7B 또는 Mistral-7B 를 규모 확인으로 쓰며, 일반 SFT·수학·코드·안전/거부·긴 CoT·DPO 류 선호 최적화를 네 가지 통제된 단계 순서(특화 사슬, 추론+선호, 안전 우선, 경로 의존성)로 적용한다. 모든 체크포인트는 12,000개 프롬프트-응답으로 된 고정 프로브 코퍼스 에서 teacher-forcing 으로 측정되고, 각 체크포인트를 이전에 쓰지 않은 미래 과제에 고정 예산으로 적응 시켜 가소성을 종속변수로 삼는다. 완화 방법으로 혼합 도메인 리플레이, 주기적 특징 리프레시, 표현 다양성 정규화($\mathcal{L}{\mathrm{cos} }$), LoRA 업데이트 비상관화($\mathcal{L}{\mathrm{decorr} }$) 네 가지를 Pareto 관점에서 평가한다.

발견 사실

Qwen2.5-1.5B 특화 사슬(Table 4, Table 8)에서 목표 점수는 Base 54.2 → General SFT 62.8 → Math 67.5 → Code 66.9 → Safety 70.1 로 거의 단조 상승했지만, 정규화 유효 랭크는 .74 → .71 → .66 → .63 → .58 로 떨어지고 이방성은 .08 → .19 로 올랐으며, Base 대비 CKA 는 1.00 → .72, 로짓 엔트로피는 4.34 → 3.21, LoRA 겹침은 .24 → .51 로 변했다. 같은 구간에서 미래 과제 점수는 71.0 → 60.7 로 하락했다. 안전 SFT 뒤 짧은 일반 리프레시를 넣으면 유효 랭크 .64, 이방성 .14, 미래 점수 65.2 로 일부 회복됐다. 붕괴는 목적함수 의존적이다. 안전/거부 튜닝은 강한 응답 템플릿 방향과 날카로운 로짓을, 긴 CoT 튜닝은 후기 생성 토큰에 집중된 추론 형식 방향을, 선호 최적화는 마진을 직접 키우므로 이방성 증가를 낳고, 수학·코드는 일부 층을 특화하면서 다른 곳의 도메인 분리도는 보존하거나 개선했다. 모델 × 데이터 교차표(Table 5)에서 붕괴 지수 / 미래 점수는 TinyLlama-1.1B 안전 .58 / 58.9 에서 Qwen2.5-7B 코드 .28 / 72.4 까지 분포했고, 같은 모델 안에서는 항상 안전/거부가 가장 높은 붕괴와 가장 낮은 미래 점수, 코드가 그 반대였다.

핵심 기여

층별 붕괴 측정 프로토콜 : 은닉 상태 스펙트럼, CKA 드리프트, 이방성, 토큰 다양성, 로짓 다양성, 보정, LoRA 업데이트 겹침을 모든 체크포인트에서 같은 프로브 코퍼스로 재는 측정 모음을 정의하고, 단일 종합 지수가 아니라 개별 지표를 보고하는 원칙을 세웠다.
통제된 순차 사후학습 벤치마크 : 일반·수학·코드·안전/거부·긴 CoT·선호 데이터를 토큰 예산을 맞춰 네 가지 순서로 적용하고, 고정 프로브 코퍼스와 고정 예산 미래 과제 적응을 결합해 “지금 무엇을 하는가”가 아니라 “다음에 얼마나 쉽게 배우는가”를 종속변수로 삼았다.
붕괴 → 가소성 예측과 경량 완화 : 유효 랭크·이방성·CKA·로짓 엔트로피·LoRA 겹침이 목표 점수·검증 손실·총 토큰 수를 넘어 미래 학습을 예측하는지 혼합효과 회귀로 검정하고, 리플레이·리프레시·다양성 정규화·업데이트 비상관화가 목표 이득을 유지하면서 붕괴를 줄이는지를 Pareto 전선으로 평가했다.

Abstract 쉬운 설명(Gemini)

이 논문의 핵심은 “AI를 더 똑똑하고 안전하게 만들려고 훈련을 거듭할수록, 겉으로는 일을 잘하는 것처럼 보이지만 속으로는 뇌가 딱딱하게 굳어버려 새로운 것을 전혀 배우지 못하는 상태가 된다”는 역설적인 경고를 던지는 것입니다.

이를 일상적인 비유와 단계별 상황을 통해 쉽게 풀어보겠습니다.

1. 배경: AI가 공부하는 두 단계

AI가 세상에 나오기까지는 크게 두 가지 공부 과정을 거칩니다.

1단계: 사전 학습(Pre-training) — ‘만물박사 학위 따기’
인터넷에 있는 수천억 개의 글(문학, 철학, 수학, 잡담, 코딩 등)을 닥치는 대로 읽습니다.
이때 AI는 엄청나게 유연하고 넓은 뇌(표현 공간)를 갖게 됩니다. 세상 만사에 대해 1,000가지가 넘는 다양한 각도로 생각할 수 있는 유연한 천재가 된 상태입니다.
2단계: 사후 학습(Post-training) — ‘신입사원 직무 연수’
하지만 이 천재는 너무 자유분방해서 욕도 하고, 헛소리도 하고, 명령을 무시하기도 합니다.
그래서 실전에 투입하기 전에 회사의 규칙을 가르치는 직무 연수를 차례대로 받게 됩니다.
1. 지시 따르기 훈련: “질문하면 딴소리하지 말고 명령대로 답해.”
2. 안전성 훈련: “해킹이나 범죄 관련 질문이 나오면 무조건 거절해.”
3. 수학/코딩 훈련: “답만 툭 던지지 말고 단계별로 풀이 과정을 적어.”
4. 인간 선호도 훈련(RLHF): “사람들이 좋아하는 공손하고 깔끔한 말투를 써.”

2. 문제의 본질: ‘표현 붕괴(Representation Collapse)’란?

여기서 문제가 발생합니다. 한 번의 연수로 끝나는 것이 아니라, ‘지시 튜닝 → 안전 튜닝 → 추론 튜닝 → 선호도 최적화’처럼 연수 코스를 꼬리에 꼬리를 물고 연속해서(Sequential) 진행할 때 벌어지는 현상입니다.

비유 1: 100색 물감 팔레트의 비극

사전 학습을 마친 AI는 빨강, 파랑, 노랑, 에메랄드, 보라 등 100가지 색상의 물감을 자유자재로 다루는 천재 화가였습니다.

안전 교육을 받더니 “붉은색은 피를 연상시켜 위험하니 회색으로 칠해”라는 말을 듣고 붉은 계열 물감을 버립니다.
논리성 교육을 받더니 “감정적인 색은 배제하고 정형화된 남색과 검은색만 써”라는 규칙에 맞춰 초록과 보라 물감을 버립니다.
기업 말투 교육을 받더니 결국 남색, 회색, 검은색 딱 3가지만 남겨놓게 됩니다.

결과적으로 AI는 ‘보고서 규격에 맞춘 흑백 문서’는 완벽하게 뽑아내지만, 나중에 “새로운 판타지 동화 삽화를 그려봐”라며 새로운 훈련을 시키려고 하면 이미 물감이 없어서 아무것도 그리지 못하게 됩니다. 이를 학술적으로 유효 랭크(Effective Rank)의 상실, 즉 ‘표현 붕괴’라고 부릅니다.

비유 2: 뇌가 석고처럼 굳어버린 베테랑 사원

입사 초기에는 어떤 기발한 아이디어도 유연하게 수용하던 인재가, 수년간 지나치게 엄격한 매뉴얼 교육과 결재 라인 훈련만 반복해서 받다 보니 완전히 ‘매뉴얼 봇’으로 변해버린 것과 같습니다.

어떤 질문을 던져도 정해진 몇 가지 사고 패턴(คิด루틴)으로만 뇌세포가 움직입니다.
생각의 유연성(가소성, Plasticity)이 완전히 사라져서, 회사의 정책이 조금만 바뀌어도 적응하지 못하고 뇌정지가 옵니다.

3. 왜 이것이 ‘조용한 실패(Quiet Failure)’인가?

이 현상이 특히 무서운 이유는 겉으로 드러나는 시험 점수는 계속해서 오르기 때문입니다.

테스트 점수의 착시:
- 안전성 튜닝을 마친 후 시험을 치면 “위험 답변 차단율 99.9%”로 만점이 나옵니다.
- 코딩 튜닝을 마친 후 시험을 치면 “파이썬 알고리즘 해결 능력 95점”으로 최고점을 찍습니다.
- 개발자들은 신나서 “우리 모델이 매 단계마다 점점 더 똑똑해지고 있다!”고 환호합니다.
속으로 썩어가는 내부 구조:
- 하지만 모델의 뇌 속을 CT 촬영하듯 들여다보면, 다양한 생각들이 오가던 수백 차원의 신경망 도로망이 모조리 폐쇄되고 오직 2~3개의 고속도로만 남겨진 채 극단적으로 찌그러져(비등방성 심화) 있습니다.
- 당장 눈앞의 시험 문제는 외운 공식대로 기가 막히게 풀어내지만, 조금만 학습 범위를 벗어난 새로운 질문(OOD: Out-of-Distribution)을 던지거나 다음 버전으로 넘어가기 위해 새 지식을 주입하려고 하면 기존 지식을 몽땅 까먹거나 학습 자체를 거부합니다.

4. 건강한 AI vs 표현이 붕괴된 AI 비교

구분	건강한 AI (다양성 보존 상태)	표현 붕괴가 일어난 AI (과도한 정렬 상태)
사고 공간의 넓이	1,000차원의 넓은 입체 공간을 골고루 활용함	종이 한 장처럼 평평하고 좁은 틈새로 찌그러짐
새로운 분야 학습력	“의료 데이터 추가 학습? 금방 배웁니다!” (유연함)	“뇌 용량이 굳어서 새 지식이 안 들어갑니다” (경직됨)
답변의 다양성	상황과 맥락에 맞춰 독창적이고 다채로운 표현 사용	어디서 본 듯한 판에 박힌 문장과 거절 문구 남발
벤치마크 점수	전 영역에서 고르게 준수한 성적	훈련받은 특정 시험만 100점, 조금만 꼬면 급락
내부 신호 (Logits)	자신이 모르는 것에 대해 적절한 불확실성을 표현함	근거 없이 특정 정답에만 100% 확신을 갖는 오만함

5. 연구진이 발견한 해결책: AI 뇌에 ‘스트레칭’ 시키기

논문은 사후 학습을 아예 하지 말자고 주장하는 것이 아닙니다. 성능을 높이면서도 뇌가 굳지 않게 만드는 3가지 가벼운 안전장치를 제안합니다.

옛날 기억 가끔 떠올리기 (혼합 도메인 리플레이, Replay):
수학과 코딩을 집중적으로 가르치는 중에도, 과거에 배웠던 문학, 역사, 일상 대화 데이터를 조금씩 섞어서 같이 복습시킵니다. “너 원래 이런 다채로운 생각도 할 줄 알던 녀석이야”라고 상기시켜 주는 것입니다.
생각 쏠림 방지 벌점 주기 (표현 다양성 정규화, Regularization):
AI가 문제를 풀 때 모든 뉴런의 신호가 한쪽 방향으로만 쏠리면 점수를 깎아버립니다. “정답을 맞히되, 머릿속의 다양한 영역을 골고루 쓰면서 풀어라”라고 강제하는 브레이크 장치입니다.
새로운 뇌 부위 골라 쓰기 (LoRA 탈상관화, Decorrelation):
보통 모델을 효율적으로 튜닝할 때 외장 메모리 칩 같은 작은 어댑터(LoRA)를 붙여 학습합니다.
이때 이전 훈련에서 썼던 똑같은 회로만 계속 덧칠하며 갉아먹지 못하도록, “이번 훈련은 지난번에 안 썼던 뇌 부위의 차원을 활용해라”라며 경로를 분산시켜 줍니다.

결국 이 연구는 “당장 눈앞의 벤치마크 시험 점수를 1~2점 올리겠다고 모델을 쥐어짜듯 계속해서 튜닝하면, 결국 미래의 가능성을 영구적으로 파괴하게 된다”는 AI 업계의 중요한 맹점을 꼬집고 있습니다. AI가 진정으로 똑똑해지려면 눈앞의 시험을 잘 보는 ‘정답 기계’가 되는 것보다, 머릿속의 유연한 생각 공간을 온전하게 지켜내는 것이 훨씬 더 중요하다는 사실을 증명한 연구입니다.

제안 연구 방법

이 논문(arXiv:2605.30524)은 순차적 사후 학습(Sequential Post-Training) 과정에서 발생하는 표현 붕괴(Representation Collapse)를 방지하기 위해, 기존의 복잡한 학습 파이프라인을 전면 수정하지 않고도 적용할 수 있는 4가지 경량 개입 기법(Lightweight Interventions)과 이를 정량화하는 다차원 진단 프로토콜(Measurement Suite)을 핵심 해법으로 제안합니다.

1. 표현 붕괴 완화를 위한 4가지 경량 개입 기법 (Lightweight Interventions)

연구진은 새로운 대규모 강화학습 알고리즘을 설계하는 대신, 연산 비용을 최소화하면서 모델의 유연성(Plasticity)을 보존할 수 있는 실용적 방법론을 제시했습니다.

① 혼합 도메인 리플레이 (Mixed-Domain Replay)

메커니즘: 각 사후 학습 단계(예: 코드 특화, 수학 추론, 선호도 정렬)를 진행할 때, 현재 단계의 데이터만 100% 학습시키는 대신 전체 토큰 예산의 5%, 10%, 20%를 범용 도메인 데이터나 직전 단계 데이터로 혼합하여 학습합니다.
작동 원리: 전체 훈련 토큰 수는 고정한 채 다른 도메인의 데이터를 주기적으로 환기함으로써, 모델의 은닉 상태(hidden states)가 특정 목적 함수(Objective)의 좁은 부분 공간(subspace)으로 급격히 쏠리는 것을 방지합니다.

② 주기적 특징 새로고침 (Periodic Feature Refresh)

메커니즘: 표현 붕괴가 특히 극심하게 발생하는 단계(예: 안전성 거절 학습, 극단적 보상 정렬 단계)가 끝난 직후, 적은 토큰 예산을 할당하여 짧은 범용 지시어(general-instruction) 튜닝을 중간에 삽입합니다.
작동 원리: 안전성 정렬 단계 등에서 강하게 형성된 획일적 응답 템플릿 방향성을 풀어주고, 지나치게 압축된 내부 특징 공간을 다음 단계 진입 전에 다시 확장(Unpack)시키는 리셋 역할을 수행합니다.

③ 표현 다양성 정규화 (Representation Diversity Regularization, $\mathcal{L}_{cos}$)

메커니즘: 손실 함수(Loss) 계산 시 배치(Batch) 내 은닉 벡터들이 특정 방향으로 획일화되는 현상을 직접적으로 억제하는 페널티 항을 추가합니다.
수식 설계: 선택된 트랜스포머 레이어 및 응답 토큰에 대해 중심화된 은닉 상태(Mean-centered hidden states) $\tilde{h}_i$ 간의 쌍별 코사인 유사도 제곱 평균을 페널티로 부과합니다.

\[\mathcal{L}_{cos} = \frac{1}{m(m-1)} \sum_{i \neq j} \left( \frac{\langle \tilde{h}_i, \tilde{h}_j \rangle}{\Vert{}\tilde{h}_i\Vert{}_2 \Vert{}\tilde{h}_j\Vert{}_2} \right)^2\]

최종 목적 함수는 타겟 손실에 가중치 $\beta$를 곱한 정규화 항을 더해 구성됩니다.

\[\mathcal{L} = \mathcal{L}_{task} + \beta \mathcal{L}_{cos}\]

특징: 코사인 페널티로 인해 발생할 수 있는 노름 왜곡(Norm artifacts)을 방지하기 위해 분산 하한(Variance floor)을 함께 설정하여, 은닉 상태의 유효 랭크(Effective Rank)가 쪼그라드는 것을 물리적으로 차단합니다.

④ LoRA 업데이트 탈상관화 (LoRA Update Decorrelation, $\mathcal{L}_{decorr}$)

메커니즘: 파라미터 효율적 미세조정(PEFT/LoRA) 환경에서 순차 학습을 진행할 때, 현재 단계의 어댑터 업데이트 기저가 이전 단계들의 어댑터 기저 공간과 겹치는 현상(Update Collapse)을 억제합니다.
수식 설계: 현재 단계 $t$의 정규직교 기저(Orthonormal basis) $Q_\ell^t$와 이전 모든 단계 $<t$의 기저 $Q_\ell^{<t}$ 간의 중첩도를 프로베니우스 노름(Frobenius norm) 제곱으로 측정하여 페널티를 부여합니다.

\[\mathcal{L}_{decorr} = \eta \sum_{\ell} \left\Vert{} (Q_\ell^t)^\top Q_\ell^{<t} \right\Vert{}_F^2\]

의의: 단순히 LoRA의 랭크 $r$을 키우는 것만으로는 기존 저차원 공간을 재사용하는 문제를 해결할 수 없음을 규명하고, 모델이 매 단계마다 서로 직교하는(Orthogonal) 새로운 차원의 파라미터 경로를 탐색하도록 강제합니다.

2. 붕괴 진단 및 검증을 위한 측정 체계 (Measurement Suite)

논문은 위 완화 기법들의 효과를 증명하기 위해, 모델의 외부 행동(Behavior) 평가에만 의존하던 기존 방식에서 벗어나 4개 축으로 구성된 다차원 진단 프로토콜을 제안했습니다.

측정 축 (Axis)	핵심 지표 (Metrics)	진단 목적 및 평가 내용
스펙트럼 붕괴 (Spectral)	• 유효 랭크 (Effective Rank, $r_{eff}$)

• 참여율 (Participation Ratio, PR)	공분산 행렬의 고윳값(Eigenvalues) 분포를 분석하여, 은닉 공간의 차원이 실질적으로 유지되고 있는지 측정
	기하학적/정렬 붕괴 (Directional)	• 비등방성 (Centered / Uncentered Anisotropy)

• CKA 표류 (Centered Kernel Alignment Drift)	데이터 샘플들이 특정 소수 방향으로만 쏠리는지, 베이스 모델 대비 표현의 내부 기하 구조가 얼마나 왜곡되었는지 추적
	기능적/출력 붕괴 (Functional)	• 로짓 엔트로피 (Logit Entropy)

• 예측 캘리브레이션 (ECE) 및 마진(Margin)	타겟 분포 밖의 데이터에 대해 모델이 과신(Overconfident)하거나 출력 어휘 다양성이 비정상적으로 축소되었는지 평가
	업데이트 붕괴 (Update)	• LoRA 기저 공간 중첩도 ($\Vert{}Q_t^\top Q_{<t}\Vert{}_F^2$)	단계별 어댑터 가중치가 독립된 차원을 쓰지 않고 동일한 부분 공간만을 반복해서 덮어쓰고 있는지 검증

3. 제안 방법의 핵심 성과 및 시사점

파레토 최적화 (Pareto Frontier) 달성: 단순 순차 미세조정(Baseline)은 타겟 태스크 점수가 오를 때 미래 적응 점수가 급격히 추락하는 트레이드오프를 보입니다. 반면, 제안된 다양성 정규화($\mathcal{L}{cos}$)와 탈상관화($\mathcal{L}{decorr}$) 기법은 당장의 타겟 벤치마크 점수를 거의 깎아먹지 않으면서도, 미래 미학습 태스크에 대한 샘플 효율성과 적응력(Future Plasticity)을 원래 수준으로 보존해 냅니다.
사전 경고 지표의 유효성 검증: 연구진이 제안한 표현 붕괴 지수(Collapse Index)는 후속 도메인 튜닝 시 발생할 성능 하락을 사전에 정확히 예측했습니다. 즉, 모델의 겉보기 벤치마크 점수만 보고 배포했다가 이후 새로운 정렬 단계에서 성능이 급락하는 문제를 사전에 모니터링할 수 있는 실무적 진단 기준을 마련했습니다.

관련 개념

순차 사후학습과 표현 붕괴의 조작적 정의

이 논문의 출발점은 “사후학습은 한 번이 아니라 사슬”이라는 관찰입니다. 사전학습 또는 instruction-tuned 기본 모델 $M_{0}$ 에서 시작해, 각 단계 $t$ 가 데이터 분포 $\mathcal{D}{t}$, 목적함수 $\mathcal{L}{t}$, 토큰 예산, 업데이트 방식으로 정해지는 체크포인트 열 $M_{1},\ldots,M_{T}$ 를 만듭니다. 대부분의 실험은 LoRA 를 쓰고, 효과가 어댑터 고유의 것인지 확인하기 위해 더 작은 full fine-tuning 조건을 둡니다.

🧭 1. 측정의 앵커: 고정 프로브 코퍼스

고정 프로브 코퍼스 $\mathcal{X}{\mathrm{probe} }$ 에 대해, 층 $\ell$·체크포인트 $M{t}$ 의 토큰 은닉 상태 행렬을 $H_{\ell}^{t}(\mathcal{X}{\mathrm{probe} })\in\mathbb{R}^{n\times d}$ 로 둡니다($n$ 은 표집한 토큰 수, $d$ 는 은닉 차원). 같은 teacher-forced 시퀀스에서의 로짓은 $Z^{t}(\mathcal{X}{\mathrm{probe} })$ 입니다. LoRA 로 적응한 가중치의 단계 업데이트는

\[\Delta W_{\ell}^{t}=\frac{\alpha}{r}B_{\ell}^{t}A_{\ell}^{t}\]

입니다. 모든 체크포인트에 같은 프로브 코퍼스를 적용하는 이유는 Figure 1 의 설명대로, 측정된 기하 변화가 평가 분포의 변화와 섞이지 않게 하기 위해서입니다.

🧩 2. 다섯 종류의 붕괴

저자들은 “붕괴” 를 모든 능력의 상실로 쓰지 않습니다. LoRA 가 작동하는 이유 자체가 유용한 업데이트의 상당수가 compact 하기 때문이므로, 저랭크 방향이 모두 해롭다는 뜻도 아닙니다. 관심 대상은 과도한 집중 입니다.

붕괴 종류	나타나는 모습	대응 지표
스펙트럼 붕괴 (spectral)	은닉 상태 공분산의 유효 랭크·참여비 감소	effective rank, participation ratio, top-$k$ variance
각도 붕괴 (angular)	평균 이동을 제거한 뒤에도 평균 코사인 유사도 증가	centered / uncentered anisotropy
분포 붕괴 (distributional)	프롬프트 도메인이나 토큰 구간이 덜 분리됨	linear probe, silhouette, between/within 공분산 비
기능 붕괴 (functional)	로짓 엔트로피 감소, 마진 증가, 목표 분포 밖에서 보정 악화	logit entropy, top-two margin, support size, ECE
업데이트 붕괴 (update)	서로 다른 단계의 LoRA 업데이트가 겹치는 부분공간을 점유	LoRA 특이 스펙트럼, 주각(principal angle) 겹침

⚠️ 3. 왜 조용한 실패인가

안전 튜닝은 생성을 거부 템플릿 쪽으로 압축할 수 있고, 긴 CoT 튜닝은 강한 추론 형식 다양체를 새길 수 있으며, 선호 최적화는 비교 데이터가 보상하는 방향의 마진을 날카롭게 하고, 도메인 튜닝은 국소적으로는 예측력이 있지만 전역적으로는 취약한 특징을 우대할 수 있습니다. 연속 학습(continual learning) 문헌이 오래전부터 보였듯, 미래 학습은 현재 정확도가 아니라 유용한 자유도의 보존 에 달려 있습니다. 문제는 사후학습이 언제 “유용한 특화”에서 “다음 적응을 어렵게 만드는 표현 체제”로 넘어가느냐입니다.

💡 Key Takeaway 표현 붕괴는 “능력 상실”이 아니라 “고정 프로브 분포에서 측정되는 집중·동질화의 증가”로 정의되며, 스펙트럼·각도·분포·기능·업데이트 다섯 축으로 나뉩니다. 핵심 우려는 최근 과제에 좋아지면서 다음 과제에 대한 가소성을 잃는 조용한 실패입니다.

측정 지표 모음 (Table 1)

이 논문의 첫 번째 기여는 지표 자체입니다. 저자들은 의도적으로 싼 지표만 골랐습니다. 붕괴 측정 모음은 일상적인 사후학습 도중에 돌릴 수 있을 만큼 가벼워야 한다는 것이 설계 원칙입니다.

🧮 1. 스펙트럼 지표

은닉 행렬 $H=H_{\ell}^{t}(\mathcal{X}{\mathrm{probe} })$ 에 대해 중심화 특징 $\bar{H}=H-\mathbf{1}\mu^{\top}$ 와 공분산 $\Sigma=(n-1)^{-1}\bar{H}^{\top}\bar{H}$ 를 정의합니다. 고유값 $\lambda{1}\geq\cdots\geq\lambda_{d}\geq 0$ 와 $p_{i}=\lambda_{i}/\sum_{j}\lambda_{j}$ 에 대해 정규화 유효 랭크 는

\[\widetilde{\mathrm{erank} }(\Sigma)=d^{-1}\exp\left(-\sum_{i}p_{i}\log(p_{i}+\epsilon)\right)\]

이고, 참여비(participation ratio) 는

\[\mathrm{PR}(\Sigma)=\frac{(\sum_{i}\lambda_{i})^{2} }{\sum_{i}\lambda_{i}^{2} }\]

입니다. 두 지표를 함께 보고하는 이유는 유효 랭크가 스펙트럼의 꼬리에 민감한 반면 참여비는 지배적 방향을 강조하기 때문입니다. top-$k$ 분산은 $k\in{1,8,32}$ 에 대해 보고하며, 집중의 정도를 시각적으로 읽기 쉽게 만듭니다.

📐 2. 기하 지표: 이방성과 CKA

평균 쌍별 코사인 유사도는 중심화 전후 모두 계산합니다. 원시 이방성은 평균 이동(mean shift) 에 지배될 수 있기 때문입니다. CKA 는 각 체크포인트를 기본 모델과, 그리고 바로 직전 단계와 비교합니다.

\[\mathrm{CKA}(H^{s},H^{t})=\frac{\|{H^{s} }^{\top}H^{t}\|_{F}^{2} }{\|{H^{s} }^{\top}H^{s}\|_{F}\|{H^{t} }^{\top}H^{t}\|_{F} }\]

도메인 분리도는 고정된 선형 프로브, 실루엣 점수, 도메인 간 대 도메인 내 공분산 비로 잽니다.

🔤 3. 토큰 궤적 지표

주 분석은 모든 프로브 토큰에 대한 공분산 랭크를 계산하지만, 더 진단적인 관점은 프롬프트 토큰·초기 응답·후기 응답·chain-of-thought 구간·거부 구간 을 분리하는 것입니다. 긴 CoT 튜닝이 프롬프트 표현은 보존하면서 후기 추론 흔적만 문체적으로 동질화시킬 수 있기 때문에 이 구분이 중요합니다.

🎯 4. 기능 지표

로짓 분석은 토큰 정체성을 고정하기 위해 teacher-forced 참조 연속을 씁니다. 보고 항목은 엔트로피, 고정 온도에서의 어휘 지지 집합 크기, top-1/top-2 마진, 기대 보정 오차(ECE), 도메인별 음의 로그 가능도입니다.

🔗 5. 업데이트 지표: LoRA 단계 겹침

$Q_{\ell}^{t}$ 를 $\Delta W_{\ell}^{t}$ 의 top-$k$ 좌특이벡터의 정규직교 기저라 할 때, 단계 겹침 점수는

\[\Omega_{\ell}(t,s)=\frac{1}{k}\left\|{Q_{\ell}^{t} }^{\top}Q_{\ell}^{s}\right\|_{F}^{2}\]

입니다. 겹침이 높다는 것은 후속 단계가 같은 방향을 반복해서 쓴다는 뜻입니다. 저자들은 이 관점이 Fly-CL(Zou et al. 2025), 유도 랜덤 투영(Li et al. 2026) 같은 비상관/투영 기반 연속 표현 학습과, MoE-LoRA·NeuroLoRA·직교 그래디언트 투영 같은 다중 과제 LoRA 연구와 연결된다고 봅니다.

📊 6. 종합 붕괴 지수

시각화를 위해 랭크 손실, 참여비 손실, 이방성 증가, top 분산 증가, LoRA 겹침을 모델 패밀리 안에서 $z$-점수화한 뒤 평균한 표준화 붕괴 지수 를 정의합니다. 산점도에는 유용하지만, 모든 주 주장은 개별 지표로 확인한다는 원칙을 둡니다. Section 5.2 는 지표 간 불일치 자체가 과학적으로 정보라고 강조합니다. 어떤 단계는 은닉 랭크를 줄이면서 도메인 분리도를 높일 수 있고, 어떤 단계는 랭크는 그대로 두면서 로짓 확신만 급격히 올릴 수 있습니다. 이는 서로 다른 목적함수가 모델 계산의 서로 다른 부분 을 압축한다는 신호입니다.

💡 Key Takeaway 지표 모음은 유효 랭크·참여비(스펙트럼), 중심화/비중심화 이방성·CKA(기하), 구간별 랭크(토큰), 엔트로피·마진·ECE(기능), LoRA 주각 겹침(업데이트)으로 구성되고, 모두 사후학습 도중 돌릴 수 있을 만큼 싸게 설계됐습니다. 종합 지수는 그림용이고, 지표 간 불일치가 오히려 “어느 부분이 압축되는가”를 알려 줍니다.

선형화 이론: 부분공간 재사용이 왜 붕괴와 가소성 손실을 낳는가

Section 3.2 와 Appendix A 는 각 사후학습 단계를 “과제 손실과 은닉 상태 공분산을 함께 바꾸는 섭동”으로 추상화합니다.

🧮 1. 표현 증분과 공분산 갱신

층 표현 $h_{\theta}(x)\in\mathbb{R}^{d}$ 와 단계 $t$ 의 업데이트 $\Delta\theta_{t}$ 에 대해, 체크포인트 $\theta_{t-1}$ 주변에서

\[h_{\theta_{t} }(x)=h_{\theta_{t-1} }(x)+J_{t-1}(x)\Delta\theta_{t}+O(\|\Delta\theta_{t}\|^{2})\]

이고 $J_{t-1}(x)=\nabla_{\theta}h_{\theta_{t-1} }(x)$ 입니다. 업데이트가 LoRA 처럼 사실상 저차원이면 $\Delta\theta_{t}=P_{t}a_{t}$ 로 쓸 수 있고($P_{t}$ 의 열이 학습 가능한 업데이트 부분공간을 생성), 표현 증분은 $g_{t}(x)=J_{t-1}(x)P_{t}a_{t}$ 입니다. 프로브 코퍼스 위의 중심화 증분 행렬을 $G_{t}$ 라 하면 단계 후 공분산은 근사적으로

\[\Sigma_{t}\approx\Sigma_{t-1}+\frac{1}{n-1}\bar{H}_{t-1}^{\top}G_{t}+\frac{1}{n-1}G_{t}^{\top}\bar{H}_{t-1}+\frac{1}{n-1}G_{t}^{\top}G_{t}\]

입니다. 여러 단계가 열공간이 정렬된 증분을 만들면 마지막 항이 비슷한 방향에 분산을 반복해서 더합니다. 지배 방향 $u_{1},\ldots,u_{k}$ 의 고유값 $\lambda_{1},\ldots,\lambda_{k}$ 가 나머지보다 빨리 자라고, $\sum_{i}\lambda_{i}^{2}$ 의 증가가 $(\sum_{i}\lambda_{i})^{2}$ 의 증가보다 비례적으로 크면 참여비가 떨어집니다. 이것이 본문에서 쓰는 스펙트럼 붕괴의 형태입니다. 과제 성능이 올라가더라도 참여비는 낮아질 수 있다는 예측이 여기서 나옵니다.

🔮 2. 가소성과의 연결: 선형 읽기 모델

미래 과제가 표현 공간의 방향 $v$ 를 필요로 한다고 합시다. 선형 헤드 $w$ 에 대해 유용한 신호는 $\mathbb{E}[y\langle v,h_{\theta_{t} }(x)\rangle]$ 로 결정되지만, 경사하강의 조건수(conditioning)는 $h_{\theta_{t} }(x)$ 의 공분산 스펙트럼이 지배합니다. $v$ 가 저분산 꼬리 방향에 놓여 $\mathrm{Var}(\langle v,h_{\theta_{t} }(x)\rangle)$ 가 작으면, 작은 적응 예산은 (a) $v$ 를 복구하지 못하거나 (b) $v$ 를 만들 만큼 이전 층을 고쳐야 합니다. (a) 는 표본 효율을 낮추고 (b) 는 이전 행동과의 간섭을 키웁니다.

📏 3. 표본 복잡도 대리량

표현에 가우시안 근사를 두면, 단위 벡터 $v$ 와 $\sigma_{v}^{2}=v^{\top}\Sigma_{t}v$ 에 대해 잡음이 유계이고 고정 마진 선형 헤드를 제한된 데이터로 학습할 때 $v$ 방향 신호를 추정하는 데 필요한 예제 수는 마진·잡음 상수를 제외하고 $O(1/\sigma_{v}^{2})$ 로 커집니다. 붕괴는 많은 꼬리 방향의 $\sigma_{v}^{2}$ 를 줄이므로, 판별 방향이 사후학습의 지배 다양체와 정렬되지 않은 미래 과제일수록 표본을 더 많이 요구합니다. 이는 검증 가능한 예측 입니다. 붕괴는 프로브 도메인 분리도가 이전 단계 후 저분산이 된 방향에 의존하는 미래 과제에서 가장 크게 해를 끼쳐야 합니다.

🛠️ 4. 같은 모델이 완화를 설명하는 방식

리플레이 예제가 현재 단계 부분공간 밖의 방향을 생성하면 그래디언트 경험 공분산의 지지가 넓어져 증분 $G_{t}$ 가 덜 집중됩니다. 어댑터 비상관화가 $|{Q_{\ell}^{t} }^{\top}Q_{\ell}^{<t}|{F}^{2}$ 를 벌하면 새 업데이트 기저가 $\Sigma{t-1}$ 의 같은 고유공간을 반복 증폭하지 않게 됩니다. 둘 다 꼬리 분산을 보존할 수 있지만 공짜는 아닙니다. 리플레이는 학습 분포를 바꾸고, 비상관화는 목표 과제에 당장 덜 유용한 방향으로 업데이트를 밀어낼 수 있습니다. 그래서 본문이 완화를 “랭크 최대화”가 아니라 Pareto 교환 으로 평가합니다.

💡 Key Takeaway 선형화하면 “정렬된 저차원 업데이트의 반복 → 같은 고유방향에 분산 누적 → 참여비 하락”이 바로 나오고, 미래 과제의 판별 방향 $v$ 의 분산 $\sigma_{v}^{2}$ 가 줄면 필요한 표본 수가 $O(1/\sigma_{v}^{2})$ 로 커집니다. 이 논증은 “모든 저랭크 구조가 해롭다”를 증명하지 않으며, 유효 랭크·이방성·LoRA 겹침을 고정 예산 미래 학습의 예측 변수로 쓰는 동기만 제공합니다.

실험 설계: 모델, 단계 행렬, 프로브 코퍼스, 평가 구조

🖥️ 1. 모델과 적응 설정

단계 순서와 시드 효과가 일화가 아니라 측정 가능 하도록 소형·중형 공개 모델을 씁니다.

역할	모델
주 모델 패밀리	Qwen2.5-1.5B, TinyLlama-1.1B
강건성 검사 (다른 사전학습 레시피)	Llama-3.2-1B, OLMo-1B
규모 확인 (단일 시퀀스)	Qwen2.5-7B 또는 Mistral-7B
어댑터 고유 효과 검사	1B 모델 full fine-tuning 1회

기본 업데이트는 LoRA rank $16$, alpha $32$, dropout $0.05$, 어댑터는 attention 과 MLP 투영 행렬에 붙입니다. Gemma, Phi-3, DeepSeek-V3, Yi, ChatGLM 등 더 넓은 생태계는 “데이터 레시피·규모·사후학습 파이프라인이 다른 패밀리 전반에서 붕괴를 평가해야 한다”는 동기로만 언급됩니다.

🔁 2. 단계 행렬 (Table 2)

시퀀스	단계
A: 특화 사슬	General SFT → math SFT → code SFT → safety/refusal SFT
B: 추론과 선호	General SFT → long-CoT SFT → DPO 류 선호 최적화
C: 안전 우선	Safety/refusal SFT → general SFT → 도메인 특화
D: 경로 의존성	General SFT → code SFT → math SFT (A 의 math-code 순서와 비교)

학습 풀은 일반 지시 수행, 수학 추론, Python 중심 코드 생성, 안전/거부 정렬, 긴 chain-of-thought 추론, chosen/rejected 선호 쌍입니다.

📚 3. 고정 프로브 코퍼스

연구의 앵커입니다. 일반 지시·수학·코드·안전/거부·긴 CoT 추론·개방형 사실 텍스트에 걸쳐 균형 잡힌 12,000개 프롬프트-응답 텍스트로 구성되고, 각 예제는 프롬프트, 고정 참조 연속, 도메인 라벨, 토큰 구간 주석, 출처/라이선스 필드를 저장합니다. 주 표현 지표는 고정 프롬프트와 참조 연속에 대해 teacher-forced 모드로 계산하고, 보조 분석에서 모델 생성을 표집해 출력 다양성을 봅니다.

📋 4. 평가 구조 (Table 3)

평가	예	역할
목표 도메인 점수	수학 정확도, 코드 통과율, 거부 품질, 선호 승률	각 단계가 의도한 행동 효과를 실제로 달성했는지 확인
보존과 OOD	넓은 지시, 사실 QA, 보정, 보류 코드/수학	기하적 좁아짐이 도메인 밖 열화와 일치하는지 검사
미래 학습	보지 못한 도메인 과제에 고정 예산 적응	붕괴가 이후 가소성과 표본 효율을 예측하는지 검사
표현 프로브	$\mathcal{X}_{\mathrm{probe} }$ 에서의 은닉 상태, 로짓, LoRA 업데이트	모든 체크포인트에서 분포 통제된 측정 제공

각 단계 후 방금 학습한 도메인의 즉시 목표 성능, 도메인 밖 과제의 보존, 보류 참조 연속의 보정을 잽니다. 더 중요한 것은 각 체크포인트를 시퀀스에서 쓰지 않은 미래 과제 에 작은 고정 예산으로 적응시키는 것입니다. 그 결과의 표본 효율, 최종 검증 점수, 이전 과제의 망각, 보정이 가소성 분석의 종속변수가 됩니다. 저자들은 Table 3 설명에서 미래 학습 프로브를 “핵심 검사”라고 부릅니다.

💡 Key Takeaway 설계의 핵심은 세 가지 고정입니다. 고정 프로브 코퍼스(12,000개, 6개 도메인 균형)로 기하를, 토큰 예산을 맞춘 네 가지 단계 순서로 목적함수를, 고정 예산 미래 과제 적응으로 가소성을 통제합니다. 붕괴 측정은 미래 과제 학습 전에 이루어져 예측 변수와 결과가 섞이지 않습니다.

결과 1: 궤적, 목적함수 서명, 단계별 표

경험적 연구는 고립된 끝점 비교가 아니라 궤적 수준 진단 으로 조직됩니다. 저자들은 층별 기하, 목적함수별 붕괴 서명, 모델 간 추세, 미래 학습 결과를 같은 시각 문법으로 보고해 특화·취약성·완화 효과를 나란히 읽을 수 있게 합니다.

📈 1. 첫 번째 주장: 사후학습은 궤적이다 (Figure 2)

전후 비교는 핵심을 놓칩니다. 수학 튜닝은 한 층 대역의 랭크를 줄이고, 코드 튜닝은 특징을 부분적으로 재배치하며, 안전 튜닝은 후기 응답 표현을 집중시킵니다. Figure 2 는 각 단계 후 층별 정규화 유효 랭크와 이방성을 추적하며, 붕괴가 중간과 후기 트랜스포머 블록 에 가장 강하게 집중됨을 보입니다. 방향 붕괴와 평균 이동 인공물을 분리하기 위해 중심화·비중심화 이방성을 함께 씁니다.

🧬 2. 두 번째 주장: 붕괴는 목적함수 의존적이다 (Figure 3)

목적함수	붕괴 서명
안전/거부 튜닝	강한 응답 템플릿 방향, 더 날카로운 로짓
긴 CoT 튜닝	추론 형식 방향, 주로 후기 생성 토큰에 영향
선호 최적화	상대적 선호 마진을 직접 키우므로 이방성 증폭
수학·코드	일부 층을 특화하면서 다른 곳의 도메인 분리도는 보존 또는 개선

Figure 3 의 히트맵은 어떤 데이터·목적 유형이 랭크, 이방성, CKA 드리프트, 로짓 날카로움, LoRA 겹침에 가장 강하게 작용하는지 비교합니다.

📋 3. 세 번째 주장: 붕괴는 미래 학습을 예측한다 (Table 4, Table 8)

Qwen2.5-1.5B 특화 사슬(시퀀스 A)의 단계별 값입니다. Table 4 의 네 열에 Appendix D Table 8 의 CKA·로짓 엔트로피·LoRA 겹침·리프레시 행을 합쳤습니다.

체크포인트	목표 점수	유효 랭크 ↑	이방성 ↓	CKA (vs Base)	로짓 엔트로피	LoRA 겹침	미래 점수 ↑
Base	54.2	.74	.08	1.00	4.34	–	71.0
General SFT	62.8	.71	.10	.93	4.12	.24	69.4
Math SFT	67.5	.66	.13	.86	3.88	.32	66.8
Code SFT	66.9	.63	.15	.80	3.74	.39	64.9
Safety SFT	70.1	.58	.19	.72	3.21	.51	60.7
Refresh (Table 8 만)	–	.64	.14	.78	3.67	.38	65.2

읽는 법은 다음과 같습니다.

목표 점수는 코드 단계의 소폭 하락(67.5 → 66.9)을 빼면 단조 상승해 Base 대비 15.9점 올랐습니다. 같은 구간에서 미래 점수는 10.3점 떨어졌습니다. 저자들은 이를 “즉각적 행동 이득과 이후 가소성 사이의 틈”이라고 부릅니다.
모든 붕괴 지표가 같은 방향으로 움직입니다. 유효 랭크 −.16, 이방성 +.11, CKA −.28, 로짓 엔트로피 −1.13, LoRA 겹침 .24 → .51. 특히 안전 SFT 한 단계 가 유효 랭크 −.05, 로짓 엔트로피 −.53, LoRA 겹침 +.12, 미래 점수 −4.2 로 네 단계 중 가장 큰 변화를 냈습니다.
안전 SFT 뒤 짧은 일반 리프레시 는 유효 랭크를 .58 → .64, 이방성을 .19 → .14, 로짓 엔트로피를 3.21 → 3.67, LoRA 겹침을 .51 → .38 로 되돌렸고 미래 점수는 60.7 → 65.2 로 회복됐습니다. 코드 SFT 직후 수준(64.9)과 비슷합니다. Table 8 에는 리프레시 후 목표 점수가 없으므로 안전 행동이 얼마나 유지됐는지는 이 표로는 알 수 없습니다.

Figure 5 왼쪽은 미래 과제 전에 측정한 붕괴가 고정 예산 적응 성능을 예측함을, 오른쪽은 완화 방법들이 목표 점수와 표현 건강 사이에 Pareto 교환을 이룸을 보여 줍니다.

💡 Key Takeaway 특화 사슬 한 줄이 논문의 주장을 압축합니다. 목표 점수 54.2 → 70.1 로 오르는 동안 유효 랭크 .74 → .58, 로짓 엔트로피 4.34 → 3.21, LoRA 겹침 .24 → .51, 미래 점수 71.0 → 60.7. 안전 SFT 가 가장 큰 한 걸음이고, 짧은 리프레시가 미래 점수를 65.2 로 일부 되돌립니다.

결과 2: 모델 × 데이터 교차표와 미래 학습 (Table 5, Table 9)

📊 1. 붕괴 지수 / 미래 점수 (Table 5)

각 셀은 붕괴 지수 / 미래 과제 점수입니다. 같은 모델이 한 데이터 패밀리에는 강건하고 다른 패밀리에는 취약할 수 있음을 보이는 표입니다.

모델	Math	Code	Safety/refusal	Long-CoT
TinyLlama-1.1B	.46 / 62.2	.41 / 63.0	.58 / 58.9	.52 / 60.4
Llama-3.2-1B	.42 / 63.8	.38 / 64.7	.54 / 60.2	.49 / 62.0
Qwen2.5-1.5B	.39 / 66.4	.34 / 67.1	.50 / 63.1	.45 / 64.7
Qwen2.5-7B	.31 / 72.0	.28 / 72.4	.41 / 67.0	.36 / 69.1

📊 2. 데이터셋별 미래 학습 점수, 3시드 평균 (Table 9)

모델	General	Math	Code	Safety	Long-CoT
TinyLlama-1.1B	67.8	62.2	63.0	58.9	60.4
Llama-3.2-1B	69.5	63.8	64.7	60.2	62.0
Qwen2.5-1.5B	71.2	66.4	67.1	63.1	64.7
Qwen2.5-7B	75.0	72.0	72.4	67.0	69.1
Mistral-7B	74.2	71.3	71.8	66.4	68.5

🔍 3. 읽기

목적함수 순서는 모델과 무관하게 같습니다. 네 모델 모두 붕괴 지수는 Safety > Long-CoT > Math > Code, 미래 점수는 Code > Math > Long-CoT > Safety 입니다. 붕괴 지수와 미래 점수의 순위가 정확히 역전됩니다.
규모가 완충합니다. 같은 데이터 패밀리에서 Qwen2.5-7B 의 붕괴 지수는 TinyLlama-1.1B 보다 .13~.17 낮고 미래 점수는 8.1~10.2점 높습니다. 그러나 7B 에서도 안전 튜닝 후 미래 점수는 General(75.0) 보다 8.0점 낮습니다. 규모가 붕괴를 없애지는 않습니다.
General SFT 는 미래 학습을 가장 덜 해칩니다. Table 9 에서 General 열이 모든 모델에서 가장 높고(67.8~75.0), 다른 어떤 목적함수도 이를 넘지 못합니다. 이는 Section 5.2 의 “같은 토큰 예산의 General SFT 대조군” 설계가 왜 필요한지 보여 줍니다. 붕괴 신호가 “더 많은 학습” 때문이 아니라 “어떤 목적함수” 때문임을 분리하려면 같은 양의 General SFT 와 비교해야 합니다.
Mistral-7B 는 Qwen2.5-7B 보다 모든 열에서 0.6~0.8점 낮지만 패턴은 같습니다.
Table 5 의 Qwen2.5-1.5B 값(.39/66.4 등)은 Table 9 의 같은 모델 행과 일치합니다. 다만 Table 4·8 의 시퀀스 A 안전 단계 미래 점수(60.7)는 Table 5·9 의 Qwen2.5-1.5B Safety 셀(63.1)과 다릅니다. 전자는 네 단계를 거친 누적 체크포인트이고 후자는 데이터셋 단위 보고이므로 같은 수치일 필요는 없지만, 논문은 이 둘의 관계를 명시하지 않습니다.

💡 Key Takeaway 모델 네 패밀리에서 목적함수의 붕괴 순위(Safety > Long-CoT > Math > Code)와 미래 점수 순위가 정확히 역전되고, 규모는 붕괴를 완충하되 없애지 못합니다(7B 안전 튜닝 후에도 General 대비 −8.0). General SFT 가 미래 학습을 가장 덜 해친다는 점이 매치드 토큰 대조군 설계의 근거입니다.

완화 방법 네 가지와 Pareto 평가

완화 전략은 의도적으로 단순합니다. 측정 연구가 설득력 있다면 다음 질문은 “완전히 새로운 사후학습 알고리즘을 발명하지 않고도 붕괴를 줄일 수 있는가”이기 때문입니다.

🔁 1. 혼합 도메인 리플레이 (mixed-domain replay)

첫 번째 기준선입니다. 각 단계에 일반 도메인 또는 이전 단계 데이터를 소량 섞되, 총 토큰 수는 고정 합니다. 리플레이 비율은 5, 10, 20 퍼센트를 씁니다. Appendix A 의 해석으로는, 리플레이 예제가 현재 단계 부분공간 밖의 방향을 생성하면 그래디언트 공분산의 지지가 넓어져 증분이 덜 집중됩니다. 실패 모드는 목표 학습의 희석입니다.

🔄 2. 주기적 특징 리프레시 (periodic feature refresh)

리플레이의 순차적 대응물입니다. 붕괴가 큰 단계 뒤에 원래 토큰 예산의 작은 일부를 쓰는 짧은 일반 지시 리프레시 단계를 넣습니다. Table 8 의 Refresh 행이 이 방법의 유일한 수치 결과입니다. 안전 SFT 후 유효 랭크 .58 → .64, 이방성 .19 → .14, CKA .72 → .78, 로짓 엔트로피 3.21 → 3.67, LoRA 겹침 .51 → .38, 미래 점수 60.7 → 65.2.

🧲 3. 표현 다양성 정규화 (representation diversity regularization)

배치 수준 은닉 상태 정렬을 직접 벌합니다. 선택한 층과 표집한 응답 토큰에 대해, 평균 중심화 은닉 상태 $\tilde{h}_{i}$ 로

\[\mathcal{L}_{\mathrm{cos} }=\frac{1}{m(m-1)}\sum_{i\neq j}\left(\frac{\langle\tilde{h}_{i},\tilde{h}_{j}\rangle}{\|\tilde{h}_{i}\|_{2}\|\tilde{h}_{j}\|_{2} }\right)^{2}\]

를 정의하고 총 목적을 $\mathcal{L}=\mathcal{L}{\mathrm{task} }+\beta\mathcal{L}{\mathrm{cos} }$ 로 둡니다. 코사인 벌점이 노름 인공물을 만들면 분산 하한(variance floor)을 추가할 수 있습니다. 실패 모드는 표현의 과도한 제약입니다.

🧭 4. LoRA 업데이트 비상관화 (LoRA update decorrelation)

현재 업데이트 기저와 이전 업데이트 기저들의 겹침을 벌합니다.

\[\mathcal{L}_{\mathrm{decorr} }=\eta\sum_{\ell}\left\|{Q_{\ell}^{t} }^{\top}Q_{\ell}^{<t}\right\|_{F}^{2}\]

이 방법은 업데이트 붕괴를 직접 겨냥하며, LoRA 랭크 증가와 비교 됩니다. “비상관화가 그냥 어댑터에 쓸 수 있는 용량을 더 주는 것 아닌가”라는 합리적 대안 설명을 배제하기 위해서입니다. 저자들은 FlyLoRA(Zou et al. 2025) 의 랭크별 파라미터 분리와 최근 다중 과제 LoRA 변형들을 보완적 관점으로 듭니다. 업데이트 방향이 라우팅·변조·투영으로 같은 과제 부분공간에서 벗어나면 파라미터 효율 적응이 더 모듈화될 수 있다는 것입니다.

⚖️ 5. 성공 기준: Pareto 전선

Section 5.2 는 완화의 성공 기준을 명시합니다. 방법은 붕괴를 줄이면서 목표 도메인 이득의 대부분을 보존 할 때만 성공입니다. 수학 성능을 파괴하는 강한 다양성 정규화기는 유효 랭크를 올려도 쓸모없고, 목표 행동은 보존하지만 미래 적응을 바꾸지 못하는 리플레이는 기하적 개입일 뿐 실용적 개입이 아닙니다. Appendix E(Figure 14)는 리플레이 비율, 다양성 정규화 강도, LoRA 랭크/비상관화를 쓸어 붕괴·목표 성능·미래 성능의 변화를 보이는데, 세 개입의 실패 모드가 각각 다르기 때문입니다. 리플레이는 목표 학습을 희석할 수 있고, 다양성 정규화는 표현을 과잉 제약할 수 있으며, 비상관화는 단순 용량 증가와 혼동될 수 있습니다.

방법	겨냥하는 붕괴	메커니즘(Appendix A)	비용 / 실패 모드	수치 결과
혼합 도메인 리플레이 (5/10/20%)	스펙트럼·각도	그래디언트 공분산 지지 확대	학습 분포 변경, 목표 희석	Figure 5·14 만
특징 리프레시	스펙트럼·각도·기능·업데이트	고붕괴 단계 후 일반 방향 재여기	추가 단계 비용	Table 8 Refresh 행
다양성 정규화 $\beta\mathcal{L}_{\mathrm{cos} }$	각도	배치 내 코사인 정렬 직접 벌점	과잉 제약, 노름 인공물	Figure 5·14 만
LoRA 비상관화 $\eta\mathcal{L}_{\mathrm{decorr} }$	업데이트	이전 기저와의 겹침 벌점	목표에 덜 유용한 방향으로 밀림	Figure 5·14 만

💡 Key Takeaway 네 완화 방법은 각각 다른 붕괴 축을 겨냥하고 다른 실패 모드를 가지므로, 저자들은 “랭크 최대화”가 아니라 목표 점수 대 붕괴 지수·미래 점수의 Pareto 전선으로 평가합니다. 본문에서 수치로 확인 가능한 것은 리프레시 한 행(미래 점수 60.7 → 65.2)뿐이고 나머지는 그림으로만 보고됩니다.

Ablation, 반증 검사, 통계 분석

🧪 1. 측정 인공물을 배제하는 강건성 격자 (Table 6)

우려	검사	기대되는 해석
프로브 의존성	고정 프로브 대 목표 도메인 프로브	붕괴가 일반적인지 도메인 국소적인지 확인
토큰 위치 인공물	프롬프트, 초기 응답, 후기 응답, CoT, 거부 구간	특화가 어디에 집중되는지 식별
어댑터 인공물	LoRA 랭크 스윕 + 소규모 full fine-tuning	저랭크 용량이 측정된 붕괴의 원인인지 검사
순서 의존성	math-code 와 code-math 순열	누적 효과와 경로 특정 효과 구분
통계적 신뢰성	핵심 1B 실행 3시드	주 주장의 신뢰 구간

여기에 매치드 데이터 크기·매치드 스텝 대조군 이 더해져 붕괴가 단순히 “더 많은 학습”의 함수가 아님을 보장합니다. 저자들은 재현성이 낮은 망라적 스윕보다 “소수의 고가치 검사”를 택했다고 밝힙니다.

📐 2. 세 가지 통계 분석 (Table 7)

질문	분석	필요한 증거
붕괴가 누적되는가?	층별 랭크·이방성·CKA 드리프트·로짓 엔트로피의 단계별 변화	시드 신뢰 구간과 매치드 토큰 대조군
어떤 목적함수가 중요한가?	같은 토큰 예산의 General SFT 대비 목적함수별 델타	도메인 층화 추정과 순서 순열 검사
붕괴가 가소성을 예측하는가?	적응 전 붕괴 지표 → 미래 과제 표본 효율 회귀	보류 미래 과제, 현재 목표 점수 통제
완화가 돕는가?	목표 점수 대 붕괴 지수·미래 점수의 Pareto 분석	목표 이득을 지우지 않고 미래 학습 개선

첫 번째 분석 은 붕괴 지표를 미래 적응 결과의 예측 변수로 다룹니다. 체크포인트마다 미래 과제를 학습하기 전에 표현 지표를 계산한 뒤 보류 과제에 고정 예산 적응을 돌립니다. 이 순서가 중요한 이유는 미래 과제 점수가 그것을 예측하는 데 쓰이는 지표에 영향을 주지 못하게 하기 때문입니다. 주 모델은 미래 과제 점수를 유효 랭크·이방성·CKA 드리프트·로짓 엔트로피·LoRA 겹침으로 예측하고 모델 패밀리와 단계 시퀀스에 랜덤 절편을 둔 혼합효과 회귀 입니다. 저자들은 이것이 기계론적 인과 경로의 증명이 아니라, 표현 건강이 현재 목표 점수·현재 검증 손실·총 사후학습 토큰 수를 넘어 예측력을 갖는지 보는 선별 검사 라고 못박습니다.

두 번째 분석 은 단계별 효과를 추정합니다. 각 목적함수 유형에 대해 그 단계가 낳은 지표 변화를 같은 토큰 수의 General SFT 대조군과 비교합니다. 같은 비교를 단계 순서 순열, 특히 math-before-code 대 code-before-math 로 반복해 경로 의존성을 식별합니다. 안전 튜닝의 효과가 긴 CoT 튜닝 뒤냐 일반 지시 튜닝 뒤냐에 따라 다르다면, 붕괴는 목적함수의 속성이 아니라 학습 궤적의 속성 입니다.

세 번째 분석 은 완화의 Pareto 전선 개선 여부입니다.

🚫 3. 반증 검사

저자들은 다음을 반증 검사로 포함합니다. 라벨을 섞은 프로브, 무작위 도메인 리플레이, 매치드 토큰 no-op 어댑터, 목표 도메인 전용 프로브. 붕괴 지표가 한 프로브 구성에서만 미래 학습을 예측하거나, 무작위 no-op 어댑터가 같은 신호를 내면 주장이 약해집니다.

🧪 4. 민감도 분석 (Appendix C)

민감도 분석은 보조 검사가 아니라 1급 결과 로 취급됩니다. 표현 붕괴는 프로브 코퍼스, 랜덤 시드, 토큰 구간, 생성 프로토콜 선택에 따라 과장되거나 숨겨질 수 있습니다. Figure 12 는 같은 단계 시퀀스에 대한 시드별 궤적을 보이며, 모든 시드가 같은 값을 내지는 않지만 정성적 추세가 기하 효과와 일반적 미세조정 분산을 구분할 만큼 안정적이라는 것이 요점입니다. Figure 13 은 프로브 설계의 교환을 드러냅니다.

프로브 종류	장점	단점
고정 프로브	깨끗한 체크포인트 비교	현재 목표 도메인의 유용한 특화를 과소평가할 수 있음
목표 도메인 프로브	국소 특화에 민감	단계 간 비교 가능성 낮음
생성 출력 프로브	모델의 실제 행동 포착	체크포인트마다 토큰 정체성이 바뀜

Appendix B 는 모델 × 도메인 격자(Figure 6), 토큰 구간 분석(Figure 7), 단계 순서 분석(Figure 8), 보정·보존 분석(Figure 9), LoRA 부분공간 분석(Figure 10), 토큰 예산 스케일링(Figure 11)을 둡니다. Figure 11 의 설명은 “붕괴는 단계 토큰이 많아질수록 커지며, 목표 과제 이득은 미래 학습 열화보다 먼저 포화 한다”입니다.

💡 Key Takeaway 통계 설계의 뼈대는 (1) 미래 과제 학습 전에 지표를 재고 (2) 같은 토큰 예산의 General SFT 를 대조군으로 두며 (3) 순서 순열로 궤적 속성을 분리하고 (4) 섞은 라벨·무작위 리플레이·no-op 어댑터로 반증을 시도하는 것입니다. 혼합효과 회귀는 인과 증명이 아닌 선별 검사로 명시됩니다.

한계와 열린 방향

⚠️ 1. 저자가 인정한 한계

규모 : 1B~7B 공개 모델 실험은 프런티어 규모의 행동을 완전히 예측하지 못할 수 있고, DPO 류 선호 최적화는 실제 RLHF/RLAIF 시스템의 대리일 뿐이다.
측정 의존성 : 랭크, 이방성, CKA 는 프로브 코퍼스, 토큰 구간, 중심화 관례, teacher-forcing 대 생성 여부에 민감하다. 설계는 가장 유리한 프로브를 고르는 대신 고정·목표 도메인·일반 도메인·생성 프로브를 모두 보고해 이에 대응한다.
인과 해석 : 붕괴와 미래 학습 사이의 상관은 충분하지 않다. 가장 강한 증거는 목표 성능·총 토큰·어댑터 용량을 통제한 채 붕괴를 줄이는 개입에서 나온다. 이 경고들은 논문의 주장을 “사후학습은 항상 LLM 을 붕괴시킨다”에서 “특정 순차 사후학습 궤적은 측정 가능한 집중을 낳고, 그 집중은 통제된 적응 예산 아래 이후 가소성을 예측할 수 있다”는 검증 가능한 진단 진술 로 좁힌다.
윤리와 이중 용도 : 긍정적 영향은 진단이다. 취약한 사후학습을 조기 탐지하고 반복적 재학습을 피하며 정렬 부작용을 투명하게 보고할 수 있다. 위험은 적응 진단이 유해 도메인 최적화에도 쓰일 수 있다는 점이다. 그래서 라이선스 감사된 공개 데이터셋을 쓰고, 민감한 예시 대신 집계 지표와 스크립트를 공개하며, 정성 표시에서 유해 안전 프롬프트를 걸러내고, 모델·데이터셋 라이선스를 부록에 기록한다.

🔒 2. 외부 관점의 한계

수치 결과가 매우 적다. 본문과 부록을 통틀어 수치가 있는 표는 Table 4, 5, 8, 9 네 개뿐이고, 그중 Table 4 는 Table 8 의 부분집합, Table 5 의 미래 점수는 Table 9 와 중복이다. 네 완화 방법 중 수치가 있는 것은 리프레시 한 행이며, 리플레이·다양성 정규화·비상관화의 효과, 혼합효과 회귀의 계수와 유의성, 순서 순열(math-code 대 code-math)의 결과, full fine-tuning 대조, 반증 검사 결과는 모두 그림 설명이나 “기대되는 해석”으로만 서술된다. Table 6·7 의 열 이름이 “Expected interpretation”, “Evidence needed” 인 것이 상징적이다. 이 논문은 결과 보고서라기보다 측정 프로토콜과 실험 설계의 제안 에 가깝게 읽어야 한다.
붕괴 지수와 미래 점수의 순환 가능성 : Table 5 의 붕괴 지수는 랭크 손실·참여비 손실·이방성 증가·top 분산 증가·LoRA 겹침을 $z$-점수화한 평균인데, $z$-점수화의 기준 집합(모델 패밀리 내 어떤 체크포인트들인지)이 명시되지 않았다. 기준 집합에 따라 지수 값과 순위가 달라질 수 있다.
Table 4/8 과 Table 5/9 의 관계 : 같은 Qwen2.5-1.5B 안전 조건에서 미래 점수가 60.7(시퀀스 A 누적)과 63.1(데이터셋 단위)로 다르다. 후자가 “General SFT 뒤 해당 데이터셋 한 단계”인지, 다른 순서인지 설명이 없다. 누적 효과(네 단계)와 단일 단계 효과를 분리하는 것이 이 논문의 핵심 주장인데, 두 표의 관계가 바로 그 분리를 보여 줄 수 있었던 자리다.
미래 과제의 정체 : “시퀀스에서 쓰지 않은 미래 과제”가 무엇인지(도메인, 크기, 지표)가 본문에 없다. 미래 과제의 판별 방향이 사후학습 다양체와 얼마나 정렬되어 있는지가 Appendix A 의 핵심 예측 변수인데, 이를 조작하거나 측정한 실험은 없다.
리프레시의 목표 행동 보존 : Table 8 Refresh 행에 목표 점수가 없다. 리프레시가 안전 행동(거부 품질)을 얼마나 되돌렸는지 모르면, Pareto 기준으로 리프레시가 “성공”인지 판단할 수 없다.
하이퍼파라미터 부재 : LoRA 설정(rank 16, alpha 32, dropout 0.05)과 리플레이 비율(5/10/20%) 외에 토큰 예산, 학습률, 미래 과제 적응 예산, $\beta$, $\eta$, top-$k$ 의 $k$ 값, 프로브 토큰 수 $n$ 은 “재현성 패키지에 기록”이라고만 되어 있다.

❓ 3. 열린 질문

안전/거부 튜닝이 네 모델에서 일관되게 가장 큰 붕괴를 낳는 것은 거부 템플릿의 낮은 출력 다양성 때문인가, 데이터 자체의 분포 폭 때문인가? 같은 거부 의미를 다양한 표현으로 쓴 데이터로 안전 튜닝하면 붕괴가 줄어드는가?
붕괴가 “궤적의 속성”이라면, 같은 단계 집합의 최적 순서가 존재하는가? 시퀀스 C(안전 우선)가 시퀀스 A(안전 마지막)보다 미래 점수가 높은가? 본문은 설계만 제시한다.
혼합효과 회귀에서 다섯 지표 중 어느 것이 목표 점수·검증 손실·토큰 수를 통제한 뒤에도 유의한가? 특히 LoRA 겹침(업데이트 붕괴)이 은닉 상태 지표와 독립적인 정보를 갖는가?
리프레시가 되돌리는 것은 “분산”인가 “방향”인가? CKA(vs Base)가 .72 → .78 로만 회복된 것은 Base 의 기하로 돌아간 것이 아니라 새로운 다양성을 만든 것일 수 있다.
Appendix A 의 $O(1/\sigma_{v}^{2})$ 예측은 미래 과제의 판별 방향 $v$ 를 알아야 검증된다. 미래 과제 데이터로 $v$ 를 추정한 뒤 $v^{\top}\Sigma_{t}v$ 를 단계별로 추적하면 예측을 직접 시험할 수 있다.
full fine-tuning 에서도 같은 효과가 나는가? 나지 않는다면 “업데이트 붕괴”는 LoRA 의 저랭크 구조가 만드는 인공물이다.

🧷 4. 내 판단과 연구 연결

두 종류의 “붕괴”는 같은 현상이 아니다. 합성 데이터 재귀 학습의 모델 붕괴(Shumailov et al. 류)는 데이터 분포 가 세대마다 꼬리를 잃는 현상이고, 이 논문의 표현 붕괴는 파라미터·은닉 상태 기하 가 단계마다 집중되는 현상이다. 전자의 원인은 유한 표집·근사 오차의 누적이고, 후자의 원인은 정렬된 저차원 업데이트의 반복이다. 그러나 둘은 한 메커니즘에서 만난다. 재귀 학습의 $t$ 세대 학습 데이터는 $t-1$ 세대 모델의 출력이므로, $t-1$ 세대의 로짓 엔트로피 감소와 지지 집합 축소(기능 붕괴)가 바로 $t$ 세대 학습 데이터의 분산 손실(분포 붕괴)이 된다. 즉 이 논문의 기능 지표는 재귀 학습에서 다음 세대 데이터 붕괴의 선행 지표 로 쓸 수 있다.
지표 공유 가능성 : 유효 랭크, 참여비, 중심화 이방성, CKA(vs 0세대)는 재귀 학습 실험에 그대로 옮길 수 있다. 특히 (1) 고정 프로브 코퍼스에서 세대별 은닉 상태 유효 랭크를 재면 perplexity 가 변하기 전에 붕괴를 잡을 수 있는지, (2) 세대 간 LoRA 겹침 $\Omega_{\ell}(t,s)$ 가 세대가 지날수록 단조 증가하는지가 바로 검증 가능한 가설이다. 재귀 학습에서는 “단계”가 “세대”로, “목적함수 종류”가 “디코딩 전략·합성 비율”로 치환된다.
붕괴 정의 : 이 논문의 “고정 프로브 분포 아래 측정 가능한 집중의 증가”라는 조작적 정의는 재귀 학습 연구의 “사람 데이터만 학습한 모델 대비 성능 하락”(Drayson et al.)보다 모델 내부에서 닫혀 있다는 장점이 있다. Oracle 모델을 따로 학습할 필요 없이 세대별 체크포인트만으로 계산된다. 다만 “모든 저랭크 방향이 해로운 것은 아니다”라는 경고는 재귀 학습에도 그대로 적용된다. 유효 랭크가 떨어져도 과제 성능이 유지되는 구간(Table 4 의 Math SFT 단계처럼)을 “붕괴”로 부를지 “특화”로 부를지는 미래 과제 점수 같은 외부 기준이 있어야 정해진다.
완화 방법의 이식 : 혼합 도메인 리플레이는 Gerstgrasser et al. 의 “실데이터 누적”과 구조가 같다(총 토큰 고정, 이전 분포 일부 유지). 이 논문은 리플레이 비율 5/10/20% 를 변수로 두므로, 재귀 학습에서 “사람 데이터 비율이 얼마나 되어야 붕괴가 멈추는가”를 같은 틀로 물을 수 있다. 표현 다양성 정규화 $\mathcal{L}_{\mathrm{cos} }$ 는 재귀 학습 쪽에 없는 완화 축이다. 합성 데이터를 걸러내거나 섞는 데이터 측 완화와 달리 파라미터 측 완화이므로, 합성 데이터 비율을 바꾸지 않고도 붕괴를 늦출 수 있는지가 새로운 질문이 된다.
실험 설계에서 가져올 것 : (1) 고정 프로브 코퍼스를 0세대에 만들어 모든 세대에 같은 teacher-forced 시퀀스를 통과시키는 것. 세대마다 생성 텍스트가 달라지는 재귀 학습에서 “측정 분포의 변화”와 “모델의 변화”를 분리하는 유일한 방법이다. (2) 미래 과제 고정 예산 적응을 종속변수로 두는 것. 재귀 학습 연구는 대부분 “세대별 perplexity” 만 보지만, 붕괴된 모델이 새 데이터로 얼마나 회복 가능한가 는 별개의 질문이고 실용적으로 더 중요하다. (3) 매치드 토큰 대조군. 재귀 학습에서 세대 $t$ 의 열화가 “합성 데이터 때문”인지 “미세조정을 $t$ 번 반복했기 때문”인지는 같은 횟수로 사람 데이터를 재학습한 대조군 없이는 분리되지 않는다.
이 논문의 신뢰도 : 수치가 네 표에 그치고 핵심 주장 대부분이 그림 설명 수준이므로, 인용할 때는 “측정 프로토콜의 제안”으로 인용하고 Table 4/8 의 단일 시퀀스 결과를 정량 근거로 쓰는 것이 안전하다. 혼합효과 회귀 결과나 완화의 Pareto 수치는 후속 버전이나 공개 코드를 확인하기 전에는 인용하지 않는다.
실행 항목 : (1) 기존 재귀 학습 실험(GPT-2 124M, WikiText-2, 10세대)의 체크포인트에 고정 프로브 코퍼스(1,000개면 충분)를 통과시켜 세대별 정규화 유효 랭크·참여비·중심화 이방성을 계산하고, perplexity 열화 곡선과 어느 쪽이 먼저 꺾이는지 비교. (2) 세대별 LoRA 재학습으로 바꾼 뒤 $\Omega_{\ell}(t,t-1)$ 과 $\Omega_{\ell}(t,0)$ 을 층별로 추적. (3) 세대 $t$ 모델의 로짓 엔트로피·지지 집합 크기를 세대 $t+1$ 학습 데이터의 Diversity·Self-BLEU 와 회귀해 “기능 붕괴 → 데이터 붕괴” 연결을 수치로 확인. (4) $\beta\mathcal{L}_{\mathrm{cos} }$ 를 재귀 미세조정에 붙여 합성 비율 고정 조건에서 붕괴 속도가 느려지는지 측정.