0. Summary

기본 정보 : ArXiv,2025.02.21, Machine-generated text detection prevents language model collapse

연구 배경

LLM 의 출력이 웹에 쌓이면서 다음 세대 모델의 사전학습 데이터에는 출처를 알 수 없는 비율의 합성 텍스트가 섞이게 된다. 이전 세대의 출력으로 모델을 재귀적으로 학습시키면 오류가 누적되고 출력 분포가 저분산으로 수렴하는 모델 붕괴(model collapse) 가 일어난다는 것은 Shumailov et al.(2023, 2024), Dohmatob et al.(2024) 등이 보였다. 그러나 두 가지가 비어 있었다. 첫째, 재귀 학습에서 합성 데이터를 만들 때 쓰는 디코딩 전략이 붕괴에 미치는 영향은 LLM 에서 실증적으로 평가된 적이 없다. 기존 연구는 디코딩을 하나로 고정했고(예: Shumailov et al. 은 beam search), Dohmatob et al. 은 생성 알고리즘이 붕괴의 또 다른 원인일 수 있다고 이론적으로만 지적했다. 둘째, 기존 완화 연구(Bertrand et al. 2024, Alemohammad et al. 2024a, Gerstgrasser et al. 2024)는 각 샘플이 사람 글인지 합성인지 안다고 가정하거나 완전 합성 설정만 다뤘다. 웹 크롤링 데이터처럼 출처가 섞여 있고 알 수 없는 현실 설정에서 붕괴를 막는 방법은 없었다.

제안 방법

GPT-2 124M 과 SmolLM2 360M 을 WikiText-2 에서 10세대 재귀 미세조정하며, 붕괴를 과제 성능(perplexity, accuracy)·생성 품질(Diversity, Self-BLEU, Readability)·사람 글과의 유사도(MAUVE) 세 관점으로 측정한다. 먼저 greedy, 5-way beam search, pure sampling, temperature($\tau=0.9$), top-$k$($k=50$), nucleus($\eta=0.95$) 여섯 디코딩 전략을 완전 합성 설정에서 비교한다. 이어 사람 데이터와 세대 간 합성 데이터가 혼합 계수 $(\alpha,\beta,\gamma)$ 로 섞이지만 샘플 출처는 모른다는 부분 합성 설정을 정의하고, MAGE 벤치마크로 학습한 ModernBERT 기반 기계 생성 텍스트 탐지기가 내는 보정된 확률 $q(\mathbf{x}i)$ 를 중요도 가중치로 바꿔 Sampling Importance Resampling(SIR) 으로 학습 데이터를 재표집한다. 탐지기의 편향을 보정하는 지수 $b$ 와 중복 상한 $r{\max}$ 를 두고, 가중치에 따라 $1.5n$ 개를 복원 추출해 매 세대의 학습 집합을 만든다.

발견 사실

결정적 디코딩(greedy, beam)은 가장 심한 붕괴를 일으켰다. 9세대 perplexity 가 GPT-2 에서 29.29→82.74(greedy), SmolLM2 에서 13.96→85.69 로 치솟았고 0세대부터 MAUVE 5% 미만, Diversity 20% 미만의 반복 텍스트를 냈다. 확률적 디코딩은 선형적으로 열화했지만 모델에 따라 최악의 전략이 달랐다. GPT-2 는 pure sampling 에서 perplexity 58.64, MAUVE 7.18 로 가장 나빴고, SmolLM2 는 pure sampling 이 오히려 가장 안정적(perplexity 15.39, MAUVE 82.80)이었으며 temperature 가 가장 큰 의미적 이탈(MAUVE 17.60)을 보였다. temperature 는 두 모델 모두 Diversity 를 약 70% 떨어뜨렸고, top-$k$ 는 두 모델에서 일관되게 사람 글에 가장 가까웠다. 부분 합성 설정에서 제안한 재표집은 모든 모델·디코딩·혼합 비율에서 붕괴를 막았고, 기준선 대비 perplexity 를 GPT-2 pure sampling $(1,1,0)$ 에서 25.65%, top-$k$ $(0.5,1,0)$ 에서 7.28% 낮췄다. 사람 데이터와 합성 데이터가 같은 비율일 때는 완벽한 탐지기로 합성 샘플을 모두 거른 Oracle 보다도 성능이 좋았다. 세대 간 합성 데이터를 누적하는 것(Gerstgrasser et al.)은 표본 크기를 고정하면 붕괴 정도에 거의 영향이 없었다. 모델 크기별(135M, 360M, 1.7B)로는 작은 모델이 더 큰 상대 이득을 얻었다.

핵심 기여

디코딩 전략이 붕괴의 형태를 바꾼다는 실증 : 절단(truncation)이 있는 디코딩은 perplexity 분포가 뾰족해지며 반복적인 모델로, pure sampling 은 긴 꼬리의 고 perplexity 비일관 텍스트로 붕괴하며, 같은 전략이 모델에 따라 반대 결과를 낼 수 있음을 여섯 전략 × 두 모델 × 여섯 지표로 보였다.
출처 미상 혼합 데이터에서의 붕괴 완화 : 샘플 라벨이나 혼합 비율을 전혀 가정하지 않고, 경량(150M) 탐지기의 보정 확률을 SIR 가중치로 쓰는 재표집 방법을 제안해 GPT-2·SmolLM2(135M~1.7B) 전부에서 붕괴를 막았다.
합성 데이터의 선택적 가치 : 사람 데이터가 충분할 때 탐지기 기반 재표집은 사람 데이터만 쓰는 Oracle 보다 나은 성능을 내, 문제는 합성 데이터 자체가 아니라 어떤 합성 샘플을 고르느냐임을 보였다.

Abstract 쉬운 설명(Gemini)

이 논문은 쉽게 말해 “AI에게 이 학원 저 학원 쉼 없이 뺑뺑이를 돌렸더니, 당장 눈앞의 시험 점수는 잘 나오지만 정작 머리가 굳어버려 새로운 걸 더 이상 못 배우는 바보가 되는 현상”을 밝혀낸 연구입니다.

복잡한 수식과 인공지능 전문 용어를 걷어내고, 일상적인 비유를 통해 이 연구가 무엇을 발견했고 왜 중요한지 단계별로 살펴보겠습니다.

1. 배경: 요즘 AI는 어떻게 공부하는가?

우리가 쓰는 챗GPT나 클로드 같은 대규모 언어 모델(LLM)은 한 번에 뚝딱 완성되지 않습니다. 마치 아이가 성장하면서 여러 교육 과정을 거치는 것과 똑같습니다.

기초 학습 (사전 학습, Pre-training):
- 세상의 온갖 책과 인터넷 글을 닥치는 대로 읽으며 상식과 어휘력을 넓히는 단계입니다. (초·중·고 기본 소양 쌓기)
사후 학습 체인 (순차적 사후 학습, Sequential Post-training):
- 기본 소양을 갖춘 AI를 실전에 투입하기 위해 여러 전문 학원을 차례대로 보냅니다.
- 1단계 (대화 학원): 사용자의 지시를 알아듣고 공손하게 대답하는 법을 배웁니다.
- 2단계 (예절·인성 캠프): 욕설, 범죄 등 위험한 질문은 단호하게 거절하는 법(안전성 튜닝)을 배웁니다.
- 3단계 (올림피아드 수학/코딩 학원): 복잡한 수식과 프로그래밍 코드를 푸는 집중 훈련을 받습니다.
- 4단계 (심층 논술 학원): 단계별로 차근차근 생각하는 ‘생각의 사슬(Chain-of-Thought)’ 방식을 익힙니다.

최근의 모든 AI 기업들은 이처럼 여러 단계의 훈련을 사슬처럼 줄줄이 이어붙여(Sequential) 모델을 똑똑하게 만듭니다.

2. 문제 발견: 머릿속 ‘생각의 방’이 납작해진다

문제는 이 학원들을 차례차례 거치는 동안 AI의 머릿속(신경망 내부)에서 벌어지는 일입니다.

건강한 AI의 머릿속:
광활한 3차원 우주 공간에 수많은 지식과 개념들이 알록달록한 별처럼 골고루 퍼져 있습니다. 사과, 논리, 감정, 법률, 프로그래밍 등의 개념이 각자의 고유한 위치와 거리를 유지합니다.
학원을 연달아 다닌 AI의 머릿속 (표현 붕괴, Representation Collapse):
학원을 하나씩 거칠 때마다, AI는 특정 점수를 잘 받기 위해 생각하는 방식을 단순화합니다.
결국 그 넓던 3차원 우주 공간이 ‘바늘구멍처럼 좁은 한 줄’로 납작하게 찌그러져 버립니다. 전문 용어로 이를 저랭크(Low-rank), 비등방성(Anisotropic)이라고 부르는데, 쉽게 말해 “어떤 질문을 받아도 머릿속의 똑같은 좁은 회로 하나만 거쳐서 생각하게 되는 뇌 굳음 현상”입니다.

3. 왜 이게 무서운 일인가? (조용한 실패)

가장 무서운 점은 겉으로 보기에는 AI가 점점 더 똑똑해지는 것처럼 착각하기 쉽다는 사실입니다.

수학 학원을 막 졸업한 AI에게 수학 시험을 보게 하면 100점을 맞습니다. 안전 캠프를 막 마친 AI에게 위험한 질문을 던지면 칼같이 거절합니다. 시험 성적표(벤치마크 점수)만 보면 완벽해 보입니다.

하지만 이 연구진은 성적표 이면에 숨겨진 세 가지 치명적인 부작용을 고발합니다.

뇌의 유연성 상실 (학습 가소성 저하):
뇌가 한쪽 방식으로 완전히 굳어버렸기 때문에, 다음에 새로운 과목(예: 법률 상담, 의학 지식)을 가르치려 해도 새로운 개념이 머리에 들어가지 않습니다. 이전 학원에서 배운 틀에 갇혀 버렸기 때문입니다.
응용력 부족 (일반화 실패):
자기가 달달 외운 문제집 유형에서 단 1도만 벗어난 낯선 상황을 만나면 맥을 못 추고 엉뚱한 대답을 내놓습니다.
근거 없는 오만함 (과신 및 캘리브레이션 붕괴):
자기가 모르는 질문을 받아도 “잘 모르겠습니다”라고 겸손하게 확률을 낮추는 게 아니라, 엉터리 답을 내놓으면서도 100% 확신을 가지고 우기기 시작합니다.

4. 연구진이 한 일: AI의 뇌 MRI 검사

지금까지 개발자들은 “최종 시험 점수가 몇 점인가?”만 확인했습니다. 하지만 이 논문의 연구진은 학원 코스가 하나씩 끝날 때마다 AI의 뇌를 정밀 검사하는 ‘AI 전용 종합 건강검진 도구(Measurement Suite)’를 만들었습니다.

뇌파 스캔 (은닉 상태 분석): AI 내부의 신경망들이 다양한 방향으로 반응하고 있는지, 아니면 몇몇 소수 통로만 과열되어 있는지 측정했습니다.
말투 추적 (토큰 궤적 분석): 답변을 만들어낼 때 특정 거절 문구(“죄송하지만 도와드릴 수 없습니다”)나 특정 수학 풀이 공식에만 지나치게 얽매여 획일화되지 않는지 감시했습니다.
학습 방식 검사 (LoRA 업데이트 중복 확인): AI의 성능을 조금씩 수정할 때, 매번 똑같은 뇌 부위만 계속 덧칠해서 망가뜨리고 있는 것은 아닌지 확인했습니다.

그 결과, 여러 튜닝 단계를 거칠수록 AI의 내부 표현 공간이 심각하게 찌그러지고 동질화(Homogeneous)된다는 가설을 실험적으로 명백하게 증명해 냈습니다.

5. 해결책: 똑똑하면서도 유연한 뇌를 유지하는 법

연구진은 문제를 지적하는 데서 멈추지 않고, 연산 비용을 크게 들이지 않고도 이 현상을 막을 수 있는 간단한 치료법(경량 개입 기법)들을 제시했습니다.

주기적인 옛날 복습 (혼합 도메인 리플레이):
수학 학원에 다닐 때도 틈틈이 일반 대화나 기본 지식 문제를 섞어서 복습시킵니다. 이렇게 하면 머릿속의 다른 방들이 녹슬어 닫히는 것을 막을 수 있습니다.
뇌 근육 골고루 쓰기 (업데이트 비상관화):
새로운 것을 배울 때, 이전에 집중적으로 썼던 신경망 부위 대신 아직 쓰지 않은 다른 신경망 영역을 활용하도록 유도합니다. 한쪽 길만 닳고 닳아 패이는 것을 방지하는 스트레칭 작업입니다.
다양성 유지 숙제 부여 (표현 다양성 정규화):
AI가 문제를 풀 때 너무 한 가지 틀에 박힌 방식으로만 생각하지 않고, 내부 특징들을 넓고 고르게 펼쳐놓도록 수학적인 제동 장치를 걸어둡니다.

결국 이 논문은 AI를 개발할 때 “당장 눈앞의 시험 점수를 1~2점 더 올리겠다고 모델을 쥐어짜며 연속으로 가르치다 보면, 정작 모델의 미래 잠재력을 파괴하게 된다”는 사실을 경고합니다. 진짜 훌륭한 AI를 만들려면, 현재의 정답률뿐만 아니라 ‘앞으로 새로운 지식을 얼마나 유연하게 받아들일 수 있는 건강한 뇌 상태인가’를 반드시 함께 체크해야 한다는 점을 짚어낸 실용적인 연구입니다.

연구 제안 방법

연구진이 제안한 해결책의 핵심은 “모델이 현재 배우는 작업의 성능(Behavioral Gains)을 떨어뜨리지 않으면서도, 내부 신경망의 표현 공간이 납작하게 굳는 것을 막아 미래의 학습 가소성(Plasticity)을 보존하는 경량 개입(Lightweight Interventions)”입니다.

사후 학습(Post-training) 단계마다 모델의 내부 특징 공간이 소수의 차원으로 쏠리는 ‘표현 붕괴(Representation Collapse)’를 방지하기 위해, 연구진은 데이터 레벨, 목적 함수(Loss) 레벨, 가중치 업데이트 레벨에서 적용할 수 있는 4가지 구체적인 기법을 제안하고 검증했습니다.

1. 혼합 도메인 리플레이 (Mixed-Domain Replay)

개념 및 작동 방식: 특정 전문 분야(수학, 코딩, 안전성 등)를 학습시킬 때, 해당 분야의 데이터만 100% 밀어 넣는 대신 이전 단계의 일반 지시어 데이터나 다양한 도메인의 텍스트를 일정 비율(예: 5~15%) 섞어서 함께 학습(Rehearsal)시키는 방식입니다.
기하학적 복원 메커니즘: 단일 도메인의 데이터만 연속으로 학습하면 모델의 은닉 상태(Hidden States)는 해당 작업의 손실 함수를 줄이는 데 유리한 소수의 특정 축(Direction)으로 급격히 정렬됩니다. 일반 도메인 데이터를 지속적으로 함께 노출하면, 신경망 전체 차원이 골고루 자극을 받아 공분산 행렬의 유효 차원(Effective Rank)이 급감하는 것을 물리적으로 억제합니다.
실무적 장단점:
장점: 아키텍처 변경이나 복잡한 수학적 제약 없이 데이터 구성 비율만 조정하면 되므로 가장 직관적이고 강력합니다.
단점: 단계가 누적될수록 보관하고 섞어야 하는 이전 데이터 세트의 관리가 필요하며, 도메인 간 혼합 비율(Mixing Ratio)을 정교하게 튜닝해야 합니다.

2. 특징 새로고침 (Feature Refresh)

개념 및 작동 방식: 순차적인 미세 조정을 거치면서 기준점으로부터 너무 멀리 표류(Drift)한 은닉 특징들을 사전 학습(Base) 모델이나 직전 단계 체크포인트의 특징 표현과 주기적으로 비교·정렬(Re-anchoring)하거나 일부 복원해 주는 기법입니다.
기하학적 복원 메커니즘: 다단계 튜닝을 거치면 중심화(Centering)를 거치더라도 토큰 간의 평균 코사인 유사도가 비정상적으로 높아지는 ‘평균 이동(Mean-shift)’과 표현 공간의 뒤틀림(CKA Drift)이 누적됩니다. 특징 새로고침은 마치 찌그러진 원형 궤도를 원래의 구형(Isotropic) 궤도 근처로 살짝 당겨주는 앵커(Anchor) 역할을 수행하여, 특정 태스크 템플릿에 표현 공간이 고착화되는 현상을 해소합니다.
실무적 장단점:
장점: 특정 튜닝 단계(예: 지나치게 획일적인 거부 응답을 학습시키는 안전성 튜닝) 직후 발생하는 급격한 표현 왜곡을 즉시 정화할 수 있습니다.
단점: 기준이 되는 이전 체크포인트의 은닉 상태를 메모리에 올려두고 대조해야 하므로 연산 메모리 오버헤드가 일부 발생할 수 있습니다.

3. 표현 다양성 정규화 (Representation Diversity Regularization)

개념 및 작동 방식: 모델을 학습시킬 때 사용하는 기존의 태스크 손실 함수($\mathcal{L}_{\text{task}}$)에, 은닉 상태 벡터들의 분산과 기하학적 다양성을 강제하는 정규화 손실($\mathcal{L}_{\text{diversity}}$)을 추가 패널티로 부여하는 방법입니다.

\[\mathcal{L}_{\text{total}} = \mathcal{L}_{\text{task}} + \lambda \mathcal{L}_{\text{diversity}}\]

기하학적 복원 메커니즘: 은닉 상태 공분산 행렬의 상위 $k$개 고유값(Eigenvalues)에 분산이 집중되는 것을 방지합니다. 즉, 특정 소수 방향(Top-k variance)으로만 정보가 쏠리지 않도록 고유값 분포의 엔트로피를 높이거나, 참여율(Participation Ratio)을 유지하도록 제약을 줍니다. 이를 통해 모델이 당장의 손실 값을 줄이기 위해 가장 쉬운 1~2개의 지름길 차원만 과도하게 활용하는 편법(Shortcut Learning)을 수학적으로 차단합니다.
실무적 장단점:
장점: 추가적인 외부 데이터셋(Replay 버퍼)이 필요하지 않으며, 학습 루프 내부에서 순수한 수학적 페널티만으로 표현의 붕괴를 직접 방어합니다.
단점: 정규화 강도($\lambda$)가 너무 강할 경우 당장 달성해야 하는 목표 작업의 수렴 속도가 느려지거나 성능 향상 폭이 제한될 수 있어 최적의 계수 탐색이 요구됩니다.

4. LoRA 업데이트 비상관화 (LoRA Update Decorrelation)

개념 및 작동 방식: 대규모 모델 파인튜닝 시 널리 쓰이는 저랭크 어댑터(LoRA, $\Delta W = \frac{\alpha}{r} BA$)를 순차적으로 적용할 때, 현재 단계의 어댑터 업데이트 방향이 이전 단계들에서 사용했던 부분 공간(Subspace)과 겹치지 않도록 직교(Orthogonal) 조건을 걸거나 상관관계를 낮추는(Decorrelation) 기법입니다.
기하학적 복원 메커니즘: 논문에서는 이전 단계 $s$와 현재 단계 $t$ 사이의 LoRA 좌특이벡터(Left singular vectors) 중첩도를 $\Omega_\ell(t, s)$라는 지표로 측정합니다. 붕괴가 일어나는 모델들은 새로운 태스크를 배울 때도 매번 똑같은 부분 공간만 반복해서 덧칠합니다. 비상관화 기법은 현재 단계의 그래디언트를 이전 단계들이 점유했던 주성분 공간의 여공간(Orthogonal Complement)으로 투영(Projection)시켜, 신경망의 아직 손상되지 않은 새로운 차원을 활용해 새로운 지식을 학습하도록 강제합니다.
실무적 장단점:
장점: 파라미터 업데이트 차원에서 직접 충돌을 방지하므로, 과거에 배운 능력의 파괴적 망각(Catastrophic Forgetting)을 막는 동시에 다음 단계 적응을 위한 자유도(Degrees of Freedom)를 깨끗하게 보존합니다.
단점: 이전 단계들의 LoRA 기저 벡터들을 저장하고 매 스텝마다 직교 투영 연산을 수행해야 하므로 어댑터 파이프라인 관리가 다소 복잡해집니다.

4가지 제안 기법 비교

해결책	개입 레벨	핵심 메커니즘	방어하는 붕괴 유형	계산/운영 비용
혼합 도메인 리플레이	데이터 (Data)	이전/일반 도메인 데이터 상시 혼합	유효 랭크 감소, 도메인 분리능 저하	낮음 (데이터 관리 비용 존재)
특징 새로고침	특징 공간 (Feature)	베이스/이전 상태 앵커링을 통한 표류 억제	CKA 표류, 평균 이동(Mean-shift)	중간 (이전 레이어 출력 추적 필요)
표현 다양성 정규화	손실 함수 (Objective)	고유값 편중 억제 및 분산 유지 손실 추가	스펙트럼 붕괴(스펙트럼 꼬리 소멸)	낮음 (행렬 분해/분산 계산 연산 추가)
LoRA 업데이트 비상관화	가중치/최적화 (Optimization)	어댑터 업데이트 방향 간 직교 투영	LoRA 서브스페이스 중복, 가소성 상실	중간 (기저 직교화 연산 필요)

연구진이 제안한 해결책들의 본질적인 의의는 사후 학습 파이프라인을 구축할 때 ‘작업별 성능 최적화’와 ‘신경망의 구조적 건강성 유지’ 사이의 파레토 최적(Pareto Optimum)을 달성할 수 있음을 증명한 것에 있습니다. 현업에서는 복잡한 정규화 기법을 전부 도입하지 않더라도, 최소한 소량의 범용 데이터 리플레이(5~10%)와 어댑터 업데이트 방향의 다변화를 결합하는 것만으로도 모델이 후속 파인튜닝 단계에서 뇌가 굳어버리는 치명적인 가소성 상실을 효과적으로 방어할 수 있습니다.

관련 개념

모델 붕괴의 정의와 두 가지 원인

모델 붕괴는 이전 세대 모델이 만든 데이터로 다음 세대를 학습시키는 과정을 반복할 때, 사람 분포로 학습한 모델에 비해 성능이 떨어지는 퇴행 과정입니다. 이 논문은 Shumailov et al.(2023) 의 정의를 따르면서 세 가지 관점에서 붕괴를 바라봅니다.

🧭 1. 붕괴의 진행 단계

단계	현상	지표에서의 모습
초기	분포의 꼬리(tail) 정보가 사라짐	희귀 토큰·표현이 줄고 Diversity 가 감소
후기	출력 분포가 분산이 거의 없는 점 추정으로 수렴	Self-BLEU 상승, MAUVE 급락, perplexity 상승
종착	사람 데이터로 학습한 원래 세대로 복원 불가	추가 합성 샘플로 학습해도 성능이 정체(스케일링 법칙의 변화, Dohmatob et al. 2024)

🔬 2. 두 가지 원인과 세 번째 후보

Shumailov et al. 은 붕괴의 원인을 두 가지로 봅니다.

원인	내용
유한 표본 오차(finite sampling error)	유한한 표본으로 분포를 추정하므로 꼬리의 정보가 소실됨
함수 근사 오차(functional approximation error)	모델이 원래 분포의 지지 집합(support) 밖에 0 이 아닌 확률을 부여함

Dohmatob et al.(2024) 은 여기에 생성 알고리즘의 선택이 세 번째 원인일 수 있다고 이론적으로 제시했지만, LLM 에서 디코딩 전략이 실제로 어떤 영향을 주는지는 평가되지 않았습니다. 이 논문의 첫 번째 질문이 바로 이것입니다.

📏 3. 세 관점의 평가

기존 연구는 perplexity(Shumailov et al. 2024)나 test loss(Gerstgrasser et al. 2024) 같은 과제 성능 지표로 붕괴를 재는 경우가 대부분이었고, Guo et al.(2024) 이 생성 텍스트의 다양성을 함께 봤습니다. 이 논문은 다음 세 관점을 동시에 봅니다.

관점	지표	무엇을 보는가
과제 성능	Perplexity, Accuracy	미지의 사람 텍스트를 얼마나 잘 예측하는가
생성 품질	Diversity, Self-BLEU, Readability	생성 텍스트가 반복적·단조로운가, 읽기 난이도는 어떤가
사람 글과의 유사도	MAUVE	생성 분포가 사람 분포와 임베딩 공간에서 얼마나 가까운가

💡 Key Takeaway 붕괴는 “꼬리 소실 → 저분산 수렴 → 복원 불가”로 진행되며, 이 논문은 유한 표본·함수 근사라는 두 원인에 더해 디코딩 전략이 붕괴를 바꾸는지 묻고, 그것을 과제 성능·생성 품질·사람 유사도 세 관점에서 동시에 잽니다.

재귀 학습 프로토콜 (Algorithm 1)

📐 1. 열린 텍스트 생성 설정

토큰 열 $\mathbf{x}={x_1,\dots,x_m}$ 을 문맥으로 주고 모델 분포 $p_\theta$ 에서 연속 $\hat{\mathbf{x} }={\hat{x}_1,\dots,\hat{x}_c}$ 를 생성하는 과제입니다.

\[p_{\theta}\left(\hat{\mathbf{x} }\right)=\prod_{i=1}^{c} p_{\theta}\left(\hat{x}_{i}\mid \{\mathbf{x},\hat{\mathbf{x} }_{<i}\}\right)\]

WikiText-2 의 위키피디아 문서를 겹치지 않는 512 토큰 청크로 자르고, 앞 256 토큰을 문맥 $\mathbf{x}$, 뒤 256 토큰을 연속 $\hat{\mathbf{x} }$ 로 씁니다.

🔁 2. 세대 루프

단계	내용
입력	사람 샘플 $\mathcal{D}{\mathrm{H} }={\mathbf{x}_s}{s=1}^{n}$, 사전학습 모델 $p_\theta$
0세대	$p_\theta$ 를 $\mathcal{D}_{\mathrm{H} }$ 로 미세조정해 $p^{0}$ 획득
$i=1,\dots,G$	$\mathcal{D}{\mathrm{S} }^{i}={\mathbf{x}_s,\hat{\mathbf{x} }_s}{s=1}^{n}$, $\hat{\mathbf{x} }s\sim p^{i-1}$ 로 합성 집합 생성. 원래 사전학습 모델 $p_\theta$* 를 $\mathcal{D}*{\mathrm{S} }^{i}$ 로 미세조정해 $p^{i}$ 획득
출력	$p^{i}\,(i\ge 0)$, $\mathcal{D}_{\mathrm{S} }^{i}\,(i\ge 1)$

주의할 설계 선택이 둘 있습니다. 첫째, 매 세대 이전 세대 모델이 아니라 원래 사전학습 모델 $p_\theta$ 에서 다시 미세조정합니다(Shumailov et al. 2024, Dohmatob et al. 2024 와 같은 설정). 둘째, 문맥은 항상 사람이 쓴 원본 $\mathcal{X}$ 를 쓰고 연속만 모델이 만듭니다. 생성과 학습 사이의 정보 누출을 막기 위해 교차 엔트로피 손실은 생성된 연속 부분에만 정의합니다(Dohmatob et al. 2024).

⚙️ 3. 학습 하이퍼파라미터 (Appendix A)

항목	값
데이터	WikiText-2 raw, 학습 36,718 문서, 테스트 4,358 문서 (영어, ‘Good’/’Featured’ 기사)
모델	GPT-2 base 124M, SmolLM2 360M (크기 실험에 135M, 1.7B 추가)
미세조정	전체(full) 미세조정, 1 epoch, 학습률 $5\times10^{-5}$, 배치 8, dropout 0.1
옵티마이저	AdamW, $\beta_1=0.9$, $\beta_2=0.999$, $\epsilon=10^{-8}$
세대 수	10회 재귀 학습(0~9세대)

💡 Key Takeaway 프로토콜은 “사람 문맥 + 모델 연속”으로 합성 집합을 만들고, 매 세대 원래 사전학습 모델에서 다시 미세조정하는 표준 설정입니다. 손실을 연속 부분에만 걸어 문맥 누출을 막습니다.

여섯 가지 디코딩 전략과 네 가지 품질 지표

🎲 1. 디코딩 전략

분류	전략	설정	동작
결정적	greedy	$\tau=0$	매 스텝 최대 확률 토큰 선택
결정적	beam search	5-way	후보 열 여러 개를 추적해 결합 확률 최대 열 선택
확률적	pure sampling	$\tau=1$	$p_\theta$ 에서 그대로 표집
확률적	temperature	$\tau=0.9$	확률 질량을 고확률 쪽으로 기울임
확률적	top-$k$	$k=50$	상위 $k$ 토큰에서만 표집(꼬리 절단)
확률적	nucleus	$\eta=0.95$	누적 확률 $\eta$ 까지의 토큰으로 어휘를 동적 절단

설정값은 Holtzman et al.(2020), Shumailov et al.(2024), Arias et al.(2025) 의 권장을 따랐습니다. 결정적 전략은 열린 생성에서 거의 쓰이지 않지만 Shumailov et al. 이 beam search 를 썼기 때문에 완결성을 위해 포함했습니다.

📊 2. 품질 지표

Diversity (D) 는 문서 내 $n$-gram 반복을 봅니다. 높을수록 어휘적으로 다양합니다.

\[\mathtt{D}\left(\hat{\mathbf{x} }\right)=\prod_{n=2}^{4}\left(1-\frac{\lvert \text{unique } n\text{-grams}(\hat{\mathbf{x} })\rvert}{\lvert \text{total } n\text{-grams}(\hat{\mathbf{x} })\rvert}\right)\]

지표	계산	방향	표본
Self-BLEU (Zhu et al. 2018)	각 문서를 같은 세대의 다른 모든 문서와 비교한 BLEU, $n\le 4$	낮을수록 다양	1,000 문서
MAUVE (Pillutla et al. 2021)	LLM 임베딩 공간에서 사람 텍스트 분포와 생성 분포 사이의 KL 발산 기반 유사도	높을수록 사람 같음	1,000 문서
Readability	Flesch-Kincaid Reading-Ease (textstat)	낮을수록 복잡(긴 문장, 높은 어휘 밀도)	전체

논문은 Table 1 의 Readability 를 “↑ 높을수록 좋음”으로 표기합니다. 사람 참조값(50.34)에 가까운 쪽이 좋다는 뜻으로 읽어야 하며, 뒤에 나올 greedy 의 8.25(GPT-2) 는 극도로 읽기 어려운 텍스트를 뜻합니다.

💡 Key Takeaway 결정적 2종과 확률적 4종의 디코딩을 같은 하이퍼파라미터로 비교하고, Diversity 식(2)·Self-BLEU·MAUVE·Readability 로 “반복성·집단 다양성·사람 유사도·난이도”를 분리해 봅니다.

결과 1: 디코딩 전략에 따른 붕괴 (완전 합성 설정, Table 1)

0세대와 9세대의 모든 지표입니다. 굵은 값은 9세대에서 사람 참조에 가장 가까운 값입니다.

📋 1. GPT-2 124M

디코딩	PPL Gen0	PPL Gen9	Acc Gen0	Acc Gen9	Div Gen0	Div Gen9	Self-BLEU Gen0	Self-BLEU Gen9	MAUVE Gen0	MAUVE Gen9	Read Gen0	Read Gen9
greedy	29.29	82.74	38.72	34.93	0.96	0.70	61.02	67.13	0.99	1.00	60.47	8.25
beam search	29.25	78.06	38.75	35.21	16.78	10.86	61.54	67.60	0.91	1.29	60.97	17.57
pure sampling	29.29	58.64	38.74	32.49	94.88	99.82	24.12	6.76	90.16	7.18	40.62	−10.14
temperature	29.23	44.55	38.77	34.47	87.76	25.10	33.45	54.56	94.15	22.69	46.80	36.79
top-$k$	29.31	48.36	38.73	33.12	84.57	70.20	38.81	42.14	95.21	70.01	51.19	34.32
nucleus	29.28	48.96	38.74	32.73	92.26	86.73	28.24	26.86	90.96	57.41	43.96	21.31

📋 2. SmolLM2 360M

디코딩	PPL Gen0	PPL Gen9	Acc Gen0	Acc Gen9	Div Gen0	Div Gen9	Self-BLEU Gen0	Self-BLEU Gen9	MAUVE Gen0	MAUVE Gen9	Read Gen0	Read Gen9
greedy	13.96	85.69	47.58	43.76	6.68	2.22	57.54	50.12	3.23	0.99	62.98	47.04
beam search	13.96	84.75	47.59	43.77	6.64	2.16	57.30	50.38	3.06	0.89	62.69	45.87
pure sampling	13.96	15.39	47.58	46.59	90.74	90.72	47.23	45.66	86.00	82.80	47.55	47.59
temperature	13.96	24.88	47.55	46.05	82.92	24.81	51.15	57.55	89.94	17.60	52.83	64.09
top-$k$	13.96	19.86	47.59	46.02	82.72	56.77	52.62	57.91	85.97	59.84	55.52	63.18
nucleus	13.96	22.81	47.58	46.23	87.33	44.27	49.62	58.39	92.39	53.00	51.20	64.17
Human	—	—	—	—	88.79		42.89		100		50.34

🔍 3. 읽기

관찰	근거
결정적 디코딩이 가장 심한 붕괴	greedy/beam 은 0세대부터 MAUVE 5% 미만, Diversity 20% 미만의 반복 텍스트. 이 격차가 세대를 거치며 복리로 쌓여 9세대 perplexity 가 78~86 에 이름. 확률적 방법은 선형 열화, 결정적 방법은 초반 가속 후 후반 정체
pure sampling 은 모델에 따라 정반대	GPT-2: 0세대엔 다양·유창하지만 재귀 학습 후 확률적 방법 중 최악(PPL 58.64, MAUVE 7.18, Readability −10.14). SmolLM2: 과제 성능 하락이 가장 작고 모든 지표에서 사람 참조에 가장 가까움
temperature 는 가장 반복적	두 모델 모두 Diversity 약 70% 감소(87.76→25.10, 82.92→24.81). SmolLM2 에서는 의미적 이탈도 최대(MAUVE 17.60)
top-$k$ 는 일관적	두 모델에서 Diversity·Self-BLEU 하락이 가장 작고, nucleus 보다 과제 성능 하락도 작음

GPT-2 pure sampling 의 Readability −10.14 는 사람 참조(50.34)에서 가장 멀리 떨어진 값이고, Diversity 99.82 는 “다양하다”기보다 일관성 없는 긴 꼬리 텍스트를 뜻합니다. Diversity 가 높다고 좋은 것이 아니라는 점은 뒤의 perplexity 분포 분석에서 다시 확인됩니다.

🎯 4. 후속 실험을 위한 선택

붕괴 방지 실험은 “가장 극단적인 시나리오”에서 검증하기 위해 각 모델에서 최악의 확률적 디코딩(GPT-2: pure sampling, SmolLM2: temperature)을 쓰고, 모델 간 직접 비교를 위해 일관된 top-$k$ 를 함께 씁니다. 결정적 전략은 비현실적인 붕괴 때문에 제외합니다.

💡 Key Takeaway 디코딩 전략은 붕괴의 속도와 형태를 모두 바꿉니다. 절단이 있는 전략은 반복으로, 절단이 없는 pure sampling 은 비일관 텍스트로 붕괴하며, 같은 전략이 GPT-2 와 SmolLM2 에서 반대 결과를 냅니다. 따라서 붕괴 연구에서 디코딩은 통제 변수여야 합니다.

부분 합성 설정과 혼합 계수 (Eq. 3)

🧪 1. 세 가지 데이터 출처

완전 합성 설정은 이전 세대 출력만으로 학습하는 극단입니다. 현실에 가까운 부분 합성(partially synthetic) 설정에서는 세대 $i$ 의 학습 집합 $\mathcal{D}^{i}$ 를 세 출처에서 표집합니다.

\[\begin{aligned} \mathcal{D}^{i}\sim\;&\mathrm{sample}_{i\ge 1}\;\mathcal{D}_{\mathrm{H} },\;\alpha\\ &\mathrm{sample}_{i\ge 1}\;\mathcal{D}_{\mathrm{S} }^{i},\;\beta\\ &\mathrm{sample}_{i\ge 2}\;\left\{\mathcal{D}_{\mathrm{S} }^{i-1},\dots,\mathcal{D}_{\mathrm{S} }^{1}\right\},\;\frac{\gamma}{(i-1)} \end{aligned}\]

계수	출처	의미
$\alpha$	사람 데이터 $\mathcal{D}_{\mathrm{H} }$	매 세대 섞이는 사람 샘플 비율
$\beta$	직전 세대 합성 데이터 $\mathcal{D}_{\mathrm{S} }^{i}$	최신 합성 샘플 비율
$\gamma$	그 이전 세대들의 합성 데이터	세대 간(cross-generational) 누적 비율. $i-1$ 로 나눠 세대당 비율을 고정

🧮 2. 세 설정

설정	$(\alpha,\beta,\gamma)$	설명
완전 합성	$(0,1,0)$	직전 세대 합성 샘플만
부분 합성	$(\alpha>0,1,0)$	매 세대 같은 비율의 사람 데이터 추가
부분 합성 + 누적	$(0.5,0.5,0.5)$	Gerstgrasser et al.(2024) 의 누적 설정

실험은 $(1,1,0)$, $(0.5,1,0)$, $(0.5,0.5,0.5)$ 세 조합으로 진행됩니다. $(1,1,0)$ 은 사람과 합성이 같은 수, $(0.5,1,0)$ 은 합성이 사람의 두 배입니다. 중요한 점은 제안 방법이 $\alpha,\beta,\gamma$ 값을 전혀 모른다고 가정한다는 것입니다. 혼합 비율도, 각 샘플의 출처도 주어지지 않습니다.

⚖️ 3. 붕괴의 조작적 정의

이 논문은 “합성 샘플을 포함했을 때 사람 샘플만으로 학습한 경우보다 성능이 떨어지면 붕괴했다”고 정의합니다. 그래서 비교 대상이 둘입니다.

비교 대상	내용
Baseline	풀 $\mathcal{D}^{i}$ 의 모든 샘플로 학습
Oracle	완벽한 탐지기가 합성 샘플을 모두 걸러 사람 샘플만으로 학습

제안 방법이 Oracle 을 넘는다면, 합성 데이터 중 일부는 버리는 것보다 쓰는 것이 낫다는 뜻이 됩니다.

💡 Key Takeaway 식(3)은 사람·최신 합성·누적 합성 세 출처를 $(\alpha,\beta,\gamma)$ 로 섞되 표본 크기를 고정하는 설정입니다. 붕괴는 “Oracle(사람만) 대비 성능 하락”으로 정의되고, 제안 방법은 혼합 비율을 모른 채 작동해야 합니다.

기계 생성 텍스트 탐지기

🧠 1. 탐지기 선택

탐지 방법은 대리 LLM 의 통계 특징을 쓰는 metric 기반(DetectGPT, Binoculars 등)과 작은 사전학습 LM 에 분류 헤드를 붙여 미세조정하는 neural 기반으로 나뉩니다. 이 논문은 벤치마크(SemEval-2024 Task 8, MAGE)에서의 SOTA 성능을 근거로 neural 분류기를 씁니다. LLM 학습 데이터는 양이 막대하므로 200M 파라미터 미만의 encoder-only 모델 세 종류의 base 변형을 비교합니다.

모델	파라미터	특징
RoBERTa (Liu et al. 2019)	125M	BERT 사전학습 개선(더 긴 학습, 더 많은 데이터, 동적 마스킹, NSP 제거)
DeBERTav3 (He et al. 2023)	86M 백본 + 98M 임베딩	분리 어텐션, ELECTRA 식 Replaced Token Detection 사전학습
ModernBERT (Warner et al. 2024)	150M	8,192 토큰 문맥, RoPE, unpadding, GeGLU, 교차 local-global 어텐션, 2T 토큰 학습

CLS 토큰 표현을 로짓 $\mathbf{z}_i$ 로 보내고 시그모이드 $\sigma$ 로 의사 확률을 얻습니다.

🌡️ 2. 보정(calibration)

신경망의 확신 추정은 보정이 나쁘다는 점(Guo et al. 2017)을 고려해 두 가지를 적용합니다.

기법	역할	설정
Label smoothing	과신 억제	$\alpha=0.1$
Temperature scaling	로짓 $\mathbf{z}_i$ 를 $\sigma(\mathbf{z}_i/T)$ 로 재보정, $T$ 는 학습 가능	검증 집합에서 L-BFGS 50회, 학습률 0.01

재표집 가중치가 확률값 자체에 의존하므로 보정은 부수적인 단계가 아니라 방법의 핵심 전제입니다.

📚 3. 학습 데이터 MAGE (Appendix B.3)

항목	내용
도메인	10개: 의견(CMV, Yelp), 뉴스(XSum, TLDR), QA(ELI5), 이야기(WritingPrompts, ROC), 상식(HellaSwag), 지식(SQuAD), 과학(SciGen)
생성기	7개 모델 계열의 27개 LLM (OpenAI, LLaMA, GLM, FLAN-T5, OPT, BigScience, EleutherAI)
생성 방식	사람 글 첫 30 토큰을 문맥으로 연속 생성. OpenAI 모델은 ‘topical’, ‘specified’ 프롬프트 추가
규모	사람 154,078 / 기계 294,381. 학습 집합은 71% 가 기계 생성
분할	80:10:10. 테스트 집합은 사람 28,741 / 기계 28,078(49%) 로 균형 조정
OOD 테스트	미학습 도메인 4개(CNN/DailyMail, DialogSum, PubMedQA, IMDB) + 미학습 모델 GPT-4. 사람 762 / 기계 800

학습 하이퍼파라미터: 5 epoch, AdamW($\beta_1=0.9$, $\beta_2=0.98$, $\epsilon=10^{-6}$, weight decay $10^{-2}$), 배치 16, seed 42, 학습률 sweep $[1,1.5,2,3,4]\times10^{-5}$ 에서 ModernBERT 최적 $10^{-5}$, 검증 AUC 최고 체크포인트 선택.

📊 4. 탐지 성능 (Table 2)

모델	ID AUC	ID Acc	ID F1	OOD AUC	OOD Acc	OOD F1
RoBERTa	.982	.940	.940	.846	.806	.804
DeBERTav3	.971	.954	.954	.817	.812	.810
ModernBERT	.986	.948	.948	.943	.861	.860

ModernBERT 가 두 테스트 집합 모두에서 최고 AUC(.986, .943)를 냈고, 이는 MAGE 원 논문의 최고 모델 Longformer(.99, .94)에 견줄 만합니다. Accuracy·F1 은 macro 평균입니다.

⚠️ 5. SmolLM2 에서의 탐지기 재학습

MAGE 로 학습한 ModernBERT 를 SmolLM2 출력에 적용하자 성능이 크게 떨어졌습니다. SmolLM2 360M 에서 분류 정확도가 top-$k$ .601, temperature .399 였습니다(후자는 동전 던지기보다 나쁩니다). 이를 고치기 위해 SmolLM2 실험용으로는 MAGE 와 RAID(Dugan et al. 2024) 부분집합을 합친 더 큰 코퍼스로 ModernBERT 를 다시 미세조정했습니다.

RAID 특성	내용
규모	최대 규모의 기계 생성 텍스트 탐지 데이터셋
생성기·디코딩	11개 LLM × 4개 디코딩 전략, 8개 도메인
적대적 변형	11종(동형 문자 치환, 숫자 삽입, 관사 삭제, 패러프레이즈 등). whitespace·paragraph 공격 포함
분할	80:10:10, 같은 원문에서 나온 세그먼트가 분할 간에 섞이지 않도록 처리. 모델·디코딩·도메인·공격별로 층화해 사람/기계 균형
크기	학습 128,352 / 검증 16,044 / 테스트 16,056

이 사실은 방법의 한계와 직결됩니다. 탐지기는 생성 모델 계열·디코딩에 따라 성능이 크게 흔들리며, 논문의 “붕괴 방지” 결과는 대상 모델에 맞춰 탐지기를 준비한 조건에서 얻은 것입니다.

💡 Key Takeaway 150M ModernBERT 탐지기가 MAGE 에서 AUC .986/.943 을 내지만, SmolLM2 출력에서는 정확도가 .399 까지 떨어져 RAID 를 섞어 재학습해야 했습니다. 탐지기의 보정과 일반화가 방법 전체의 전제입니다.

중요도 재표집(SIR)으로 학습 데이터 고르기

🎯 1. 문제 설정

세대 $i$ 의 데이터 $\mathcal{D}_i\sim g(x)$ 는 사람과 합성 샘플의 미지 혼합입니다. 목표는 사람 분포 $h(x)$ 에서 학습 집합을 뽑는 것입니다. Sampling Importance Resampling(SIR, Rubin 1988)은 제안 분포 $g$ 에서 뽑은 샘플에 정규화된 우도비 $h(x)/g(x)$ 를 가중치로 주어 목표 분포 $h$ 를 근사 표집하는 방법입니다. 이 우도비는 계산할 수 없으므로, 탐지기가 각 샘플 $\mathbf{x}_i$ 에 주는 기계 생성 확률 $q(\mathbf{x}_i)$ 를 우도비의 근사로 씁니다.

🧮 2. 가중치 (Eq. 4)

탐지기는 사람 샘플이 29% 뿐인 불균형 데이터로 학습되어 기계 쪽으로 치우쳐 있습니다. 최적 분류 임계값이 0.8674(0: 사람, 1: 기계)인 데서 드러납니다. 이를 완화하기 위해 편향 지수 $b\ge 1$ 을 곱한 뒤 정규화합니다.

\[w_{i}=\frac{\left(1-q\left(\mathbf{x}_{i}\right)\right)^{b} }{\sum_{j=1}^{n}\left(1-q\left(\mathbf{x}_{j}\right)\right)^{b} }\]

$1-q$ 는 “사람일 확률”이고, $b>1$ 은 사람일 가능성이 높은 샘플의 선택 확률을 더 키웁니다. 가중치 $w_i\in[0,1]$ 로 $n$ 개 샘플에서 $k\times n$ 개를 복원 추출합니다. $k=1.5$ 로 두어 학습 데이터를 50% 업샘플링합니다.

🔒 3. 중복 상한 $r_{\max}$ (Appendix C)

복원 추출은 고가중치 샘플의 과도한 중복을 낳을 수 있습니다. 개별 샘플이 뽑힐 수 있는 최대 횟수 $r_{\max}$ 를 두어 소수의 샘플이 학습 분포를 지배하지 못하게 합니다. $r_{\max}$ 와 $b$ 는 재귀 학습 1세대 후 WikiText-2 검증 집합에서 고릅니다.

모델	$r_{\max}$	$b$
GPT-2	10	10
SmolLM2 135M	10	10
SmolLM2 360M	5	10
SmolLM2 1.7B	3	1

(Table S1, top-$k$ 디코딩 기준.) 1.7B 에서는 $b=1$, $r_{\max}=3$ 으로 보정이 거의 필요 없었습니다. 큰 모델의 출력이 탐지기에 덜 치우치게 보이거나, 큰 모델이 중복에 더 민감하다는 해석이 가능하지만 논문은 이유를 분석하지 않습니다.

🔄 4. 전체 파이프라인

단계	동작
1	세대 $i$ 의 풀 $\mathcal{D}^{i}$ (출처 미상)를 받음
2	탐지기로 각 샘플의 $q(\mathbf{x}_i)$ 계산
3	식(4)로 $w_i$ 계산 ($b$ 적용)
4	$w_i$ 에 따라 $1.5n$ 개 복원 추출, 샘플당 $r_{\max}$ 회 상한
5	재표집된 집합으로 $p_\theta$ 미세조정 → $p^{i}$

💡 Key Takeaway 탐지기의 “사람일 확률” $1-q$ 를 지수 $b$ 로 보정해 SIR 가중치로 쓰고, 50% 업샘플링과 중복 상한 $r_{\max}$ 로 재표집합니다. 라벨도 혼합 비율도 필요 없습니다.

결과 2: 붕괴 방지 (Table 3, Table S2)

📊 1. 기준선 대비 변화율 (Table 3)

9세대 최종 모델에서 제안 방법이 기준선 대비 얼마나 바뀌었는지입니다. 파란색(긍정)·빨간색(부정)은 표에서 각각 ✅·❌ 로 표시합니다.

모델	디코딩	$(\alpha,\beta,\gamma)$	PPL ↓	Acc ↑	Div ↑	Self-BLEU ↓	MAUVE ↑	Read ↑
GPT-2	top-$k$	(.5, 1, 0)	−7.28% ✅	+2.37% ✅	+4.54% ✅	−1.77% ✅	+0.46% ✅	+9.03% ✅
		(.5, .5, .5)	−5.94% ✅	+1.72% ✅	+2.43% ✅	−4.28% ✅	+3.99% ✅	+10.16% ✅
		(1, 1, 0)	−4.45% ✅	+1.49% ✅	+3.59% ✅	−3.58% ✅	+1.36% ✅	+6.76% ✅
	pure sampling	(.5, 1, 0)	−7.41% ✅	+1.50% ✅	−1.30% ❌	+36.71% ❌	+74.06% ✅	+50.23% ✅
		(.5, .5, .5)	−6.54% ✅	+1.50% ✅	−1.07% ❌	+21.39% ❌	+16.38% ✅	+25.45% ✅
		(1, 1, 0)	−25.65% ✅	+0.96% ✅	−0.71% ❌	+20.70% ❌	+16.42% ✅	+20.99% ✅
SmolLM2 360M	top-$k$	(.5, 1, 0)	−4.60%	+0.68%	+7.06%	−1.17%	+15.28%	−0.73%
		(.5, .5, .5)	−4.37%	+0.62%	+4.25%	−0.42%	+2.05%	−0.74%
		(1, 1, 0)	−3.05%	+0.54%	+6.20%	−1.74%	+10.62%	−0.61%
	temperature	(.5, 1, 0)	−3.91%	+0.55%	+14.62%	−1.46%	+20.92%	−1.86%
		(.5, .5, .5)	−3.24%	+0.48%	+7.44%	−1.98%	−0.33%	−1.35%
		(1, 1, 0)	−2.23%	+0.39%	+8.55%	−1.80%	+13.98%	−0.34%
SmolLM2 135M	top-$k$	(1, 1, 0)	−4.19%	+0.75%	+9.96%	−2.15%	+13.08%	−0.76%
SmolLM2 1.7B	top-$k$	(1, 1, 0)	−0.85%	+0.06%	+3.44%	−1.11%	+8.46%	−0.65%

SmolLM2 행은 HTML 원문에 색 표시가 없어 ✅/❌ 를 달지 않았습니다. SmolLM2 Readability 의 소폭 하락(−0.3~−1.9%)은 Table S2 를 보면 기준선의 Readability 가 사람 참조(50.34)보다 높아진 상태(예: 58.10)에서 제안 방법이 그보다 낮은 값(57.67)을 낸 것이므로, 사람 참조에 더 가까워진 쪽입니다.

🔍 2. 읽기

관찰	내용
모든 설정에서 붕괴 방지	두 모델, 세 혼합 비율, 세 디코딩, 세 크기 전부에서 perplexity·accuracy 가 기준선보다 개선
GPT-2 pure sampling 의 예외	Diversity 와 Self-BLEU 는 기준선이 “더 좋아” 보이지만, 기준선의 MAUVE·Readability·과제 성능이 함께 무너졌으므로 그 다양성은 품질 저하의 신호
가장 큰 이득	GPT-2 pure sampling $(1,1,0)$ perplexity −25.65%, $(0.5,1,0)$ MAUVE +74.06%, Readability +50.23%
Oracle 초과	사람과 합성이 같은 비율인 $(1,1,0)$ 에서 제안 방법은 Oracle(사람만)보다 성능이 좋음(Figure 2). 합성 데이터 중 잘 고른 것은 도움이 됨
기준선의 탐지 가능성 상승	세대가 갈수록 기준선의 생성물은 탐지기에 더 잘 잡힘. 사람 글에서 멀어진다는 또 하나의 신호
세대 간 누적의 효과 미미	$(0.5,0.5,0.5)$ 와 $(0.5,1,0)$ 의 붕괴 정도가 비슷. Gerstgrasser et al. 과 다른 결론인데, 그들은 표본 크기를 제한하지 않았고 이 논문은 고정 크기 데이터셋을 표집함
작은 모델이 더 큰 상대 이득	135M: PPL −4.19%, 1.7B: −0.85%. Oracle 과 기준선 모두에 대해 작은 모델의 상대 개선이 큼

📋 3. 절대값 (Table S2, 9세대 발췌)

모델	방법	디코딩	$(\alpha,\beta,\gamma)$	PPL Gen9	Acc Gen9	Div Gen9	Self-BLEU Gen9	MAUVE Gen9	Read Gen9
GPT-2	baseline	top-$k$	(1, 1, 0)	29.92	38.34	82.68	40.20	92.69	48.09
GPT-2	ours	top-$k$	(1, 1, 0)	28.59	38.91	85.65	38.76	93.95	51.34
GPT-2	baseline	pure sampling	(1, 1, 0)	38.79	38.63	96.86	18.12	75.64	31.49
GPT-2	ours	pure sampling	(1, 1, 0)	28.84	39.00	96.17	21.87	88.06	38.10
GPT-2	baseline	pure sampling	(.5, 1, 0)	32.27	38.01	97.77	14.52	46.87	23.69
GPT-2	ours	pure sampling	(.5, 1, 0)	29.88	38.58	96.50	19.85	81.58	35.59
SmolLM2 360M	baseline	top-$k$	(1, 1, 0)	14.10	47.57	76.90	54.17	81.11	57.24
SmolLM2 360M	ours	top-$k$	(1, 1, 0)	13.67	47.83	81.67	53.23	89.72	56.90
SmolLM2 360M	baseline	temperature	(.5, 1, 0)	14.69	47.37	66.16	54.46	70.15	57.81
SmolLM2 360M	ours	temperature	(.5, 1, 0)	14.11	47.63	75.84	53.67	84.82	56.74
SmolLM2 135M	baseline	top-$k$	(1, 1, 0)	19.35	44.04	70.99	54.87	72.73	59.49
SmolLM2 135M	ours	top-$k$	(1, 1, 0)	18.54	44.37	78.06	53.69	82.24	59.04
SmolLM2 1.7B	baseline	top-$k$	(1, 1, 0)	9.39	52.70	81.02	54.28	85.95	55.02
SmolLM2 1.7B	ours	top-$k$	(1, 1, 0)	9.31	52.73	83.81	53.68	93.23	54.66

0세대 값은 모든 행에서 같습니다(GPT-2 PPL 29.25 안팎, SmolLM2 360M 13.96, 135M 19.02, 1.7B 9.31). 주목할 행은 GPT-2 ours top-$k$ $(1,1,0)$ 와 SmolLM2 ours 의 $(1,1,0)$ 들로, 9세대 perplexity 가 0세대보다 낮습니다(28.59 < 29.25, 13.67 < 13.96, 9.31 = 9.31). 재귀 학습 10세대 뒤에도 사람 데이터만으로 학습한 0세대보다 나아진 것으로, Oracle 초과의 구체적 근거입니다. Table S2 는 SmolLM2 360M 을 “350M” 으로 표기하는 오기가 있습니다.

💡 Key Takeaway 탐지기 기반 재표집은 두 모델·세 혼합·세 디코딩·세 크기 전부에서 붕괴를 막았고, 사람:합성 = 1:1 에서는 사람 데이터만 쓴 Oracle 보다 나았습니다. GPT-2 pure sampling 의 Diversity “악화”는 기준선의 비일관 텍스트가 만든 허상입니다.

Perplexity 분포로 본 붕괴의 두 얼굴 (Figure 3)

Shumailov et al.(2024) 을 따라, 사람 데이터로 학습한 $p^{0}$ 으로 각 세대 합성 데이터의 perplexity 분포를 봅니다. 설정은 $(0.5,1,0)$, GPT-2, 0·1·9세대입니다.

📉 1. top-$k$: 뾰족해지는 분포

기준선에서는 perplexity 가 낮은 쪽으로 이동하고 분포가 뾰족해집니다. Shumailov et al. 이 관찰한 초기 붕괴의 신호와 같습니다. 절단 디코딩이 꼬리를 잘라내므로 모델이 점점 “쉬운” 텍스트만 만들고, 그것을 학습한 다음 세대는 더 좁아집니다.

📈 2. pure sampling: 넓어지는 분포

기준선에서 perplexity 가 높은 쪽으로 이동하고 분산이 커집니다. 절단을 제거하면 붕괴의 “좁아지는” 효과가 약해지는 대신, 원래 사람 샘플과 완전히 다른 긴 꼬리의 비일관 텍스트로 붕괴가 나타납니다. Table 1 의 GPT-2 pure sampling(Diversity 99.82, MAUVE 7.18, Readability −10.14)이 바로 이것입니다.

🛡️ 3. 제안 방법 적용 시

두 디코딩 모두에서 perplexity 분포가 거의 변하지 않습니다. 분포가 좁아지지도, 넓어지지도 않습니다.

디코딩	기준선의 붕괴 양상	함의
top-$k$ (절단)	저 perplexity 로 집중, 저분산	“반복·단조” 형 붕괴
pure sampling (무절단)	고 perplexity 로 확산, 고분산	“비일관·잡음” 형 붕괴
제안 방법	분포 유지	두 형태 모두 억제

💡 Key Takeaway 붕괴는 하나의 방향이 아닙니다. 절단 디코딩은 분포를 좁히고, 무절단 디코딩은 분포를 넓힙니다. “저분산 수렴”만을 붕괴의 정의로 쓰면 pure sampling 형 붕괴를 놓칩니다.

기존 완화 연구와의 위치

🗺️ 1. 관련 완화 방법

연구	접근	가정
Alemohammad et al. 2024b	합성 샘플을 부정 가이던스로 사용 (이미지)	합성 샘플 식별 가능
Feng et al. 2024	고 perplexity 샘플 가지치기	라벨 불필요, 그러나 perplexity 가 품질 대리라는 가정
Zhu et al. 2024	토큰 수준 편집	생성 과정 개입
Zhang et al. 2024	저품질 샘플 필터링	품질 기준 필요
Bertrand et al. 2024, Alemohammad et al. 2024a	매 반복 충분한 사람 데이터 추가 (확산 모델)	사람 데이터 식별 가능
Gerstgrasser et al. 2024	세대 간 데이터 누적 + 원본 사람 데이터	표본 크기 제한 없음
이 논문	탐지기 확률로 SIR 재표집	라벨·혼합 비율 모두 불필요

🔁 2. Gerstgrasser et al. 과의 충돌

Gerstgrasser et al. 은 세대 간 데이터를 모두 누적하면 붕괴가 완화된다고 했습니다. 이 논문의 $(0.5,0.5,0.5)$ 설정은 그 아이디어를 고정 표본 크기에서 재현한 것인데, $(0.5,1,0)$ 과 붕괴 정도가 거의 같았습니다. 저자들은 차이의 원인을 표본 크기로 봅니다. 누적하면 데이터가 세대마다 커지고, 그 자체가 완화 효과를 냈을 수 있습니다. 데이터 총량을 고정하면 누적의 효과는 사라집니다.

🧩 3. 완화의 두 축

축	질문	이 논문의 답
사람 데이터 비율	얼마나 있어야 하는가	1:1 이면 재표집으로 Oracle 초과. 1:2(합성이 두 배)에서도 붕괴 방지
합성 데이터 선택	어떤 합성 샘플을 쓸 것인가	탐지기가 “사람 같다”고 보는 샘플을 가중. 버리는 것보다 낫다

💡 Key Takeaway 기존 완화법은 대부분 출처 라벨이나 무제한 데이터를 가정합니다. 이 논문은 고정 표본 크기에서 누적의 효과가 사라짐을 보이고, 라벨 없는 탐지기 재표집이 Oracle 을 넘을 수 있음을 보여 “합성 데이터는 선택의 문제”로 재정의합니다.

한계와 열린 방향

⚠️ 1. 저자가 인정한 한계

미세조정 설정만 평가 : 사전학습을 처음부터 하는 실험은 비용 때문에 하지 못했다. 다만 기존 붕괴 연구도 대부분 미세조정 설정이므로 결론은 현재 문헌과 정합한다고 본다.
열린 텍스트 생성 과제에 한정 : 구조화 예측이나 코드 생성처럼 붕괴가 다른 양상으로 나타날 수 있는 도메인에서는 재표집이 유효한지 검증되지 않았다.
탐지기 의존성 : 중요도 가중치는 탐지기 예측에 직접 의존한다. 탐지기의 오류나 편향이 재표집 품질을 바로 떨어뜨리고, 탐지기 성능은 도메인·LLM 구조·디코딩에 따라 달라진다. 이 논문의 초점은 탐지기 최적화가 아니라 탐지기 기반 재표집이 작동함을 보이는 데 있으며, 적응형·앙상블 탐지기는 향후 과제로 남긴다.
윤리 : 경쟁 이해관계 없음. WikiText-2 는 CC BY-SA 4.0, GPT-2 는 MIT, SmolLM2 는 Apache 2.0. AI 보조 도구는 연구에 쓰지 않았다.

🔒 2. 외부 관점의 한계

탐지기와 대상 모델의 결합 : Appendix B.3 이 보여주듯 MAGE 탐지기는 SmolLM2 temperature 출력에서 정확도 .399 였고, RAID 를 섞어 재학습해야 했다. 즉 “붕괴 방지”는 대상 모델의 출력 분포를 어느 정도 아는 탐지기를 준비할 수 있을 때의 결과다. 미래 모델의 출력이 섞인 웹 데이터에서 탐지기가 같은 수준으로 작동한다는 보장은 없고, 탐지기 정확도와 붕괴 방지 효과 사이의 관계(예: AUC 가 .8 일 때 어떻게 되는가)는 측정되지 않았다.
탐지기가 “사람 같음”을 가중한다는 것의 부작용 : $1-q$ 가 큰 합성 샘플을 우대하는 것은 곧 탐지기를 속이는 텍스트를 우대하는 것이다. 적대적 변형(RAID 의 11종)에 강건한 탐지기를 썼다 해도, 탐지기가 놓치는 합성 텍스트가 학습 집합에 누적될 때의 장기 효과는 10세대 실험으로는 알 수 없다.
Oracle 초과의 해석 : Oracle 은 사람 샘플만 쓰므로 학습 데이터 양이 제안 방법($1.5n$ 업샘플링)보다 적다. Oracle 초과가 “좋은 합성 샘플의 가치”인지 “데이터 양·중복의 효과”인지 분리하려면 Oracle 에도 같은 업샘플링을 적용한 통제가 필요하다.
단일 시드·단일 데이터셋 : 모든 실험이 WikiText-2 한 데이터셋, 고정 seed 로 진행되어 분산이나 신뢰 구간이 없다. Table 3 의 소수점 둘째 자리 차이(예: SmolLM2 Acc +0.06%)가 유의한지는 알 수 없다.
매 세대 원래 모델에서 재미세조정 : 이 프로토콜은 파라미터의 누적 드리프트를 제거하고 데이터 분포의 드리프트만 남긴다. 이전 세대 모델에서 계속 학습하는 설정(continual)이라면 붕괴 속도와 디코딩의 효과가 다를 수 있다.
혼합 계수 $\gamma$ 의 정의 : 누적 비율을 $\gamma/(i-1)$ 로 나눠 세대당 비율을 고정하므로, 오래된 세대 데이터의 총 비율은 $\gamma$ 로 상한된다. Gerstgrasser et al. 의 “모두 누적”과는 비율 구조가 다르므로 두 결과의 충돌은 표본 크기 외에 이 정의 차이에서도 올 수 있다.

❓ 3. 열린 질문

탐지기 AUC 를 의도적으로 낮췄을 때(예: .95 → .85 → .75) 붕괴 방지 효과가 어떻게 줄어드는가? 효과가 사라지는 임계 AUC 가 있는가?
디코딩 전략이 붕괴의 형태(좁아짐 vs 넓어짐)를 바꾼다면, 붕괴 지표도 형태별로 달라야 하지 않는가? perplexity 분포의 분산 변화를 하나의 지표로 정식화할 수 있는가?
pure sampling 이 GPT-2 와 SmolLM2 에서 반대 결과를 낸 이유는 무엇인가? 사전학습 데이터 규모(SmolLM2 는 데이터 중심 학습)나 모델 크기가 “무절단 표집의 꼬리 품질”을 결정하는가?
탐지기를 각 세대의 출력으로 온라인 재학습하면(적응형 탐지기) 장기 안정성이 높아지는가, 아니면 탐지기와 생성기가 함께 드리프트하는가?
코드·수학처럼 정답이 있는 도메인에서는 “사람 같음” 대신 “정확함”이 재표집 기준이 되어야 하는가? 그때 탐지기는 무엇으로 대체되는가?
세대 간 누적의 효과가 표본 크기 고정 시 사라진다면, Gerstgrasser et al. 의 완화는 사실상 “데이터 양 증가”의 효과인가? 데이터 양을 맞춘 직접 비교가 필요하다.

🧷 4. 내 판단과 연구 연결

붕괴 정의 : 이 논문의 조작적 정의(“합성 포함 시 사람만 학습한 것보다 성능 하락”)는 간단하지만 Oracle 을 기준으로 삼기 때문에 실험 설계에 바로 쓸 수 있다. 다만 Figure 3 이 보여주는 “넓어지는 붕괴”는 저분산 수렴이라는 고전적 정의에 잡히지 않으므로, 붕괴 정의에 분산의 양방향 이탈(좁아짐과 넓어짐 모두)을 포함시키는 쪽이 안전하다. 내 실험에서 붕괴 지표를 하나 고른다면 perplexity 평균이 아니라 $p^{0}$ 기준 perplexity 분포의 형태 변화(분산, 왜도)를 함께 기록해야 한다.
측정 지표 : 여섯 지표를 동시에 보는 설계는 따라 할 가치가 있다. 특히 Diversity 와 MAUVE 를 같이 봐야 “다양성 증가 = 품질 저하”(GPT-2 pure sampling) 같은 허상을 걸러낼 수 있다. 세대별 탐지기 점수 분포(Figure S2, 기준선 생성물의 탐지 가능성 상승)는 추가 비용이 거의 없는 붕괴 조기 신호로 쓸 만하다.
디코딩을 통제 변수로 : 붕괴 실험을 설계할 때 디코딩 전략은 반드시 보고·고정해야 할 변수다. 기존 연구(Shumailov: beam search)의 결과가 디코딩에 얼마나 의존했는지 재검토할 필요가 있고, 내 실험에서는 최소 top-$k$ 와 무절단 표집 두 조건을 병행해 붕괴 형태를 둘 다 관찰하는 설계가 좋다.
완화 방법으로서의 재표집 : 라벨이 필요 없다는 점에서 현실적인 완화법이지만, 탐지기와 대상 모델의 결합(Appendix B.3)이 실질적 약점이다. 후속 실험에서는 (1) 탐지기 AUC 를 변수로 두는 민감도 분석, (2) Oracle 에도 같은 업샘플링을 적용한 통제, (3) 탐지기를 세대마다 재학습하는 적응형 변형을 추가하면 이 논문의 주장이 얼마나 견고한지 바로 확인할 수 있다.
실험 설계 관점 : 고정 표본 크기 설정은 Gerstgrasser et al. 과의 충돌을 낳았고, 이는 “누적”의 효과가 데이터 양 때문인지 다양성 때문인지 분리하는 깔끔한 실험 아이디어를 준다. 같은 총량에서 (a) 최신 세대만, (b) 세대 간 균등 누적, (c) 사람 데이터 비율만 변화 세 조건을 비교하면 된다.
실행 항목 : (1) WikiText-2 + GPT-2 124M 으로 top-$k$ vs pure sampling 두 조건의 10세대 재귀 학습을 재현하고 $p^{0}$ perplexity 분포의 분산을 세대별로 기록. (2) 공개된 ModernBERT 탐지기(huggingface.co/GeorgeDrayson/modernbert-ai-detection)와 공개 코드(github.com/GeorgeDrayson/model_collapse)로 재표집을 재현. (3) 탐지기 출력에 잡음을 섞어 AUC 를 낮춘 뒤 붕괴 방지 효과의 감쇠 곡선 측정.