0. Summary

기본 정보 : ArXiv,2024.04.01, Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data

연구 배경

GPT-4, DALL-E, Stable Diffusion 같은 대규모 생성 모델이 웹 규모 데이터로 학습되고 널리 쓰이면서, 생성물이 다시 웹에 쌓이고 다음 세대 모델의 학습 데이터로 흡수되는 모델-데이터 피드백 루프가 현실이 되었다. Shumailov et al. (2023), Alemohammad et al. (2023), Dohmatob et al. (2024a, b) 등 선행 연구는 이 루프가 세대를 거듭할수록 성능을 떨어뜨려 결국 모델을 쓸모없게 만든다는 모델 붕괴(model collapse) 를 보고했고, “생성 모델의 민주화가 미래 모델을 학습시킬 데이터 자체를 오염시킨다”는 경고로 받아들여졌다. 그러나 이들 연구의 대부분은 각 세대의 합성 데이터가 이전 데이터를 대체(replace) 한다고 가정했다. 세대마다 총 학습 데이터 수가 고정되어 비교가 깔끔해지기 때문이다. 실제 LLM 학습은 Llama 1 의 1.4조 토큰, Llama 2 의 2조 토큰, Llama 3 의 15조 토큰처럼 시간이 갈수록 데이터가 누적(accumulate) 되며, 인터넷에서 수집되는 학습 집합에는 사람이 만든 데이터와 기계가 만든 데이터가 함께 쌓인다. 일부 선행 연구가 “깨끗한 데이터를 섞으면 붕괴가 늦춰지거나 상쇄된다”고 언급하기는 했지만, 누적 설정 자체를 체계적으로 다룬 연구는 없었다. 이 논문은 “데이터가 대체되지 않고 누적될 때 모델 붕괴는 어떻게 되는가”를 묻는다.

제안 방법

새 알고리즘을 제안하는 논문이 아니라, 데이터 사용 방식을 바꾼 비교 실험과 그 이론적 설명을 제시하는 논문이다. 실험 설정은 두 가지다. Replace 는 매 세대 이전 모델에서 원본과 같은 크기의 합성 데이터를 뽑아 이전 데이터를 전부 버리고 그것만으로 새 모델을 처음부터 학습시킨다. Accumulate 는 같은 합성 데이터를 뽑되 이전 데이터(원본 실제 데이터와 이전 세대들의 합성 데이터)에 이어 붙여 학습시킨다. 누적 설정은 “합성 데이터가 통제 없이 인터넷에 쏟아지고 다음 모델이 그것을 모조리 빨아들이는” 최대로 비관적인 가상 미래를 모사한다. 이 두 설정을 세 종류의 심층 생성 모델에 적용한다. TinyStories 로 사전학습하는 GPT-2(9M)와 Llama2(12M, 42M, 125M) 인과 언어 모델, GEOM-Drugs 분자 구조로 학습하는 기하 확산 모델 GeoDiff, CelebA 얼굴 이미지로 학습하는 VAE 다. 이론 쪽에서는 Mobahi et al. (2020)과 Dohmatob et al. (2024a)의 선형 회귀 재귀 학습 프레임워크를 받아들여, 데이터가 대체될 때 테스트 오차가 세대 수 $n$ 에 비례해 선형으로 증가한다는 기존 결과를 누적 설정으로 확장하여 테스트 오차의 정확한 식(Theorem 2)을 유도한다.

발견 사실

세 모델군 모두에서 Replace 는 붕괴를, Accumulate 는 붕괴 회피를 보였다. 언어 모델에서는 모든 아키텍처, 파라미터 수, 샘플링 온도에 걸쳐 Replace 의 테스트 교차 엔트로피가 세대마다 올라갔고, Accumulate 는 같거나 더 낮은 값을 유지했다. GPT-2(9M)는 1세대 1.82 에서 4세대 Replace 2.39(+0.58), 10세대 Replace 2.91(+1.09)로 악화된 반면 4세대 Accumulate 는 1.74(-0.07)였다. 온도 0.3 에서는 Replace 가 10세대에 9.85(+8.04)까지 치솟았지만 Accumulate 는 1.75(-0.06)였다. 누적 설정의 학습 데이터 크기 증가를 통제한 Replace-Multiple 에서도 손실은 여전히 증가했다(4세대 2.18, +0.36). 분자 확산 모델은 8세대에 걸쳐 Replace 에서 테스트 손실이 올랐고 Accumulate 에서는 거의 일정했으며, 흥미롭게도 Replace 의 악화는 첫 합성 세대에서 크게 일어난 뒤 이후에는 크게 더 나빠지지 않았다. VAE 에서는 Replace 가 세대마다 빠르게 품질과 다양성을 잃고 결국 단일 모드로 완전히 붕괴했으며, Accumulate 는 테스트 오차가 훨씬 느리게 증가하고 성별 같은 주요 변이 축은 유지했지만 안경·장신구 같은 세부 축은 덜 생성했다. 이론적으로는 누적 설정의 테스트 오차가 $\frac{\sigma^{2}d}{T-d-1}\sum_{i=1}^{n}\frac{1}{i^{2} }$ 로 주어져 $\frac{\pi^{2} }{6}$ 배의 유한 상한을 가지며, 대체 설정의 $\frac{\sigma^{2}d}{T-d-1}\times n$ 과 극명하게 대비된다.

핵심 기여

누적 설정에서의 붕괴 회피를 실증 : 인과 트랜스포머(텍스트), 기하 확산 모델(분자 구조), VAE(이미지)라는 세 모달리티·세 아키텍처에서, 데이터를 대체하면 붕괴가 일어나고 데이터를 누적하면 붕괴가 회피됨을 다양한 모델 크기·하이퍼파라미터에 걸쳐 일관되게 보였다.
선형 회귀에서 유한 상한 증명 : Dohmatob et al. (2024a)의 프레임워크를 누적 설정으로 확장해, $n$ 번째 모델의 파라미터가 $w^{*}+(X^{\top}X)^{-1}X^{\top}\sum_{i=1}^{n}E_{i}/i$ 로 표현되고(Theorem 1), 테스트 오차가 $\sum 1/i^{2}$ 의 제곱 합산 가능성 덕분에 세대 수와 무관한 상수로 상한됨(Theorem 2)을 증명했다.
“재귀의 저주”의 재해석과 용어 정리 : 붕괴는 데이터 사용 방식의 산물이며, 실제 데이터와 함께 합성 데이터가 누적되는 한 저주가 묘사된 만큼 치명적이지 않을 수 있음을 주장했다. 또한 문헌에서 “모델 붕괴”가 (0) 테스트 오차의 무한 발산, (1) 소수 모드로의 붕괴, (2) 균일 분포로의 붕괴, (3) 인공물 증폭이라는 최소 네 가지 다른 현상을 가리킨다는 점을 짚었다.

Abstract 쉬운 설명(Gemini)

복사기로 문서를 복사하고, 그 복사본을 다시 복사하고, 그 결과물을 또다시 복사하는 과정을 백 번 반복하면 글씨가 뭉개져 결국 새까만 얼룩만 남게 됩니다. 최근 인공지능(AI) 업계가 가장 두려워했던 시나리오가 바로 이것이었습니다. 인공지능이 쏟아낸 글과 그림으로 다음 세대의 인공지능을 계속 학습시키면, 결국 AI가 바보가 되어버리지 않을까?

이 논문은 그 공포에 대해 “우리가 과거 데이터를 내다 버리지만 않는다면, 그런 파멸적인 일은 일어나지 않는다”는 명쾌한 해답과 수학적 안전장치를 제시한 연구입니다. 비전공자의 눈높이에서 이 논문이 왜 화제가 되었는지 핵심을 단계별로 풀어냅니다.

1. AI 업계가 공포에 떨었던 ‘모델 붕괴’란?

인공지능(LLM)이 똑똑해진 이유는 인터넷에 인간이 지난 수십 년간 정성껏 써놓은 방대한 블로그, 뉴스, 백과사전, 전문 서적을 학습했기 때문입니다.

그런데 챗GPT 같은 생성형 AI가 등장하면서 상황이 급변했습니다. 이제 인터넷에 올라오는 글과 이미지의 상당수는 인간이 아니라 AI가 자동으로 찍어낸 데이터(합성 데이터)입니다.

그렇다면 미래의 AI는 필연적으로 ‘선배 AI가 쓴 글’을 보고 공부해야 합니다. 이전 연구자들은 이 현상을 실험해 보고 충격적인 결론을 내렸습니다.

1세대 AI: 인간의 글을 보고 똑똑하게 학습함.
2세대 AI: 1세대 AI가 쓴 글만 모아서 학습함. (약간의 오류 발생)
3세대 AI: 2세대 AI가 쓴 글만 모아서 학습함. (오류가 더 증폭됨)
10세대 AI: 말이 통하지 않는 헛소리만 중얼거림.

이처럼 AI가 자신이 만든 데이터의 꼬리를 물고 재학습하다가 성능이 완전히 망가지는 현상을 ‘모델 붕괴(Model Collapse)’ 또는 ‘재귀의 저주(Curse of Recursion)’라고 부릅니다. 이 이론대로라면 미래의 인공지능은 더 이상 발전하지 못하고 스스로 자멸할 운명이었습니다.

2. 기존 연구의 결정적 착각: “옛날 책을 다 불태운다고?”

이 논문의 저자들은 기존의 비관적인 연구들을 유심히 살펴보다가 아주 중요한 현실과의 괴리(맹점)를 발견했습니다.

기존 연구들은 실험할 때 아주 극단적인 방식을 썼습니다. 2세대 AI를 만들 때, 인간이 썼던 1세대 원본 데이터를 완전히 지워버리고(대체, Replacement) 오직 1세대 AI가 뱉어낸 생성 글만 가지고 학습을 시킨 것입니다.

하지만 우리가 사는 현실 인터넷은 그렇지 않습니다.

새로운 AI 글이 인터넷에 올라온다고 해서, 과거의 위키백과 문서나 도서관의 책, 뉴스 기사가 인터넷에서 영구 삭제되는 것이 아닙니다.
인간이 써둔 오리지널 데이터베이스는 그대로 보존된 채, 그 위에 새로운 데이터들이 계속 층층이 쌓여갑니다.

연구진은 질문을 바꿨습니다.

“인간이 쓴 오리지널 데이터를 버리지 않고, 그 위에 AI가 만든 새 데이터를 함께 차곡차곡 쌓아서(축적, Accumulation) 공부시키면 어떻게 될까?”

3. 실험 결과: ‘축적’이 가져온 대반전

연구진은 언어 모델(텍스트), 분자 구조 예측 AI(화학), 이미지 생성 AI 등 다양한 분야에서 세대를 거듭하며 대규모 실험을 진행했습니다.

① 옛날 데이터를 버리고 새 AI 데이터로만 바꿨을 때 (대체 방식)

선행 연구들의 경고대로 모델 붕괴가 즉각 발생했습니다. 몇 세대만 지나도 문장의 문법이 파괴되고, 이미지는 노이즈 덩어리로 변했습니다.

② 옛날 원본을 보존하고 새 데이터를 계속 덧붙였을 때 (축적 방식)

모델 붕괴가 전혀 일어나지 않았습니다. 인간이 만든 최초의 고품질 원본 데이터가 든든하게 중심을 잡아주고 있는 한, AI가 만든 합성 데이터가 아무리 많이 추가되더라도 AI의 성능은 일정 수준 이하로 추락하지 않고 안정적으로 유지되었습니다.

이 결과는 작은 AI 모델, 거대한 AI 모델, 심지어 텍스트가 아닌 이미지나 화학 분자 데이터를 다루는 AI에서도 예외 없이 똑같이 나타났습니다.

4. 비전공자를 위한 3가지 현실 비유

이 원리를 일상적인 경험에 대입해 보면 직관적으로 이해할 수 있습니다.

① 100년 전통의 ‘원조 사골 육수’ 비유

붕괴하는 방식 (대체): 어제 끓여둔 사골 육수를 전부 버리고, 맹물에 조미료만 살짝 탄 뒤 끓입니다. 다음 날은 그 국물을 또 버리고 더 묽은 물을 넣습니다. 며칠만 지나면 맹탕이 되어 먹을 수 없게 됩니다.
안전한 방식 (축적): 진하게 우려낸 100년 전통의 ‘씨육수(원본 데이터)’를 가마솥 바닥에 계속 남겨둡니다. 손님이 와서 국물이 줄어들면 물과 추가 재료(합성 데이터)를 붓고 계속 함께 끓입니다. 맛이 처음과 완전히 같지는 않더라도, 깊은 육수의 기본 뼈대가 살아있어 절대 맹탕으로 변하지 않습니다.

② 도서관 장서 관리 비유

붕괴하는 방식: 도서관에 새로 들어온 책(AI 요약본)을 꽂기 위해, 세종대왕 실록이나 셰익스피어 전집 같은 고전 명작을 전량 폐기처분하는 것입니다. 결국 도서관에는 출처 불명의 요약본의 요약본만 남아 지식의 수준이 곤두박질칩니다.
안전한 방식: 고전 명작(인간 원본)은 서가 깊숙한 곳에 영구 보존하고, 새로 들어온 AI 책들을 서가 옆에 계속 추가해 나갑니다. 학생(차세대 AI)은 여전히 진짜 명작과 신간을 동시에 읽으며 균형 있게 교양을 쌓을 수 있습니다.

③ 닻(Anchor)을 내린 배

바다 위에 떠 있는 배(AI의 이해도)는 바람과 파도(AI 생성물의 오차)가 치면 엉뚱한 곳으로 떠내려가기 쉽습니다.

과거 연구는 닻줄을 끊어버린 채 파도에만 몸을 맡기게 했으니 배가 난파선이 된 것입니다.
하지만 인간이 만든 원본 데이터라는 ‘무거운 닻’을 해저 바닥에 단단히 내려두면, 아무리 거센 파도가 쳐도 배는 닻이 허용하는 반경 안에서만 흔들릴 뿐 저 먼 바다로 영원히 떠내려가지 않습니다.

5. 수학적으로 밝혀낸 사실: ‘오차의 천장(Upper Bound)’

이 논문이 단순한 실험 보고서를 넘어 학술적으로 높이 평가받는 이유는, 이 현상을 수학 공식으로 완벽하게 증명해 냈기 때문입니다.

이전 연구자들은 수학적으로 다음과 같이 증명했습니다.

“과거 데이터를 지우고 학습을 반복하면, 회차가 거듭될수록 오차(Error)의 크기가 무한대($\infty$)로 치솟는다.”

하지만 이 논문의 저자들은 ‘데이터를 누적하는 수학적 공식’을 새로 세워 계산했습니다. 그 결과 놀라운 결론이 도출되었습니다.

“데이터를 차곡차곡 누적시키며 학습하면, 세대를 100번, 1,000번, 10,000번 반복하더라도 오차가 일정 수준 이상으로는 절대 올라가지 못하도록 막아주는 ‘유한한 천장(상한선, Finite Upper Bound)’이 존재한다.”

즉, 세대를 거듭한다고 해서 실수가 눈덩이처럼 영원히 불어나는 것이 아니라, 일정 수준의 오차 범위 안에서 딱 멈춰 서서 안정 상태(수렴)를 이룬다는 것을 수학적으로 입증한 것입니다.

6. 이 논문이 IT 세상에 주는 교훈과 안도감

이 연구가 발표되자 오픈AI, 구글, 메타 같은 빅테크 기업들과 수많은 AI 연구원들은 큰 안도의 한숨을 내쉬었습니다.

“AI의 미래가 곧 끝장난다”는 공포 종식 인터넷이 온통 AI가 쓴 글로 뒤덮이더라도, 인류가 과거에 축적해 둔 지식 아카이브가 존재하는 한 인공지능 기술의 진보는 멈추지 않는다는 기술적 확신을 얻게 되었습니다.
“인간이 만든 최초의 데이터를 절대 버리지 마라” 데이터 엔지니어들에게 아주 명확한 행동 수칙을 줍니다. 저장 공간(서버 비용)을 아끼겠다고 오래된 인간 작성 데이터를 지우고 최신 데이터로 덮어쓰기하는 것은 자살행위이며, 최초의 원본 데이터베이스는 금고에 모시듯 영구히 보존하고 누적해야 한다는 교훈을 남겼습니다.

연구 제안 방법

본 논문(arXiv:2404.01413)이 제시하는 핵심 제안 방법은 ‘데이터 축적(Data Accumulation)’ 패러다임입니다.

기존 선행 연구들이 모델 붕괴를 유발했던 근본 원인을 ‘데이터 대체(Data Replacement)’라는 비현실적 전제 때문으로 규정하고, 이를 해결하기 위한 ① 데이터 파이프라인 구성 방식, ② 실증적 실험 검증 프로토콜, ③ 수학적 선형 회귀 분석 프레임워크를 체계적으로 제안합니다.

1. 핵심 제안: 데이터 축적(Accumulation) 파이프라인

기존 연구와 본 논문이 제안한 데이터 학습 구조의 결정적 차이는 세대($t$)가 거듭될 때 학습 데이터셋 $D_t$를 어떻게 정의하느냐에 있습니다.

[ 기존 대체(Replacement) 방식 ]
D₀ (인간 원본) ──> Model₀ ──> S₁ (생성) ──> Model₁ ──> S₂ (생성) ──> Model₂ ...
                                ↑ (D₀ 폐기)              ↑ (S₁ 폐기)
* 매 세대마다 이전 세대의 합성 데이터(S_t)만으로 덮어씀 (원본 유실)

[ 제안 축적(Accumulation) 방식 ]
D₀ (인간 원본) ──> Model₀ ──> S₁ (생성)
  │                              │
  ├─── D₀ + S₁ ──────────────> Model₁ ──> S₂ (생성)
  │                                         │
  └─── D₀ + S₁ + S₂ ─────────────────────> Model₂ ...
* 원본 데이터(D₀)를 영구 보존하며, 생성된 합성 데이터(S_t)를 누적하여 학습

수학적 데이터셋 정의 비교

기존 대체 방식 (Data Replacement):

\[D_t = S_t \quad (단, \; S_t \sim \mathcal{M}_{t-1})\]

$t$번째 세대의 모델 $\mathcal{M}t$는 오직 바로 직전 모델 $\mathcal{M}{t-1}$이 생성한 합성 데이터 $S_t$만으로 학습됩니다. 초기의 실제 원본 데이터 $D_0$는 첫 세대 이후 완전히 버려집니다.

제안 축적 방식 (Data Accumulation):

\[D_t = D_0 \cup \left( \bigcup_{i=1}^{t} S_i \right)\]

$t$번째 세대의 모델 $\mathcal{M}_t$는 인간이 작성한 고품질 초기 원본 데이터 $D_0$를 기본 앵커(Anchor)로 유지한 채, 지금까지 생성된 모든 합성 데이터($S_1, S_2, \dots, S_t$)를 합집합 형태로 누적하여 학습합니다.

2. 실증적 실험 방법론 (Empirical Methodology)

연구진은 축적 방법론의 유효성을 검증하기 위해 단일 모달에 국한하지 않고, 텍스트·분자·이미지 등 3가지 생성 도메인에서 다세대 재귀 학습(Recursive Training) 파이프라인을 구축했습니다.

① 대규모 언어 모델 (LLM) 사전 학습 실험

아키텍처 및 스케일 다양화: 트랜스포머 기반의 자기회귀(Autoregressive) 언어 모델을 사용하여 파라미터 크기, 레이어 수, 어텐션 헤드, 학습률(Learning rate) 등 다양한 하이퍼파라미터 조합에서 교차 검증을 수행했습니다.
재귀 루프 프로토콜:
1. 인간이 작성한 원본 말뭉치 $D_0$로 0세대 모델 $\mathcal{M}_0$를 사전 학습.
2. $\mathcal{M}_0$에 프롬프트를 입력하여 합성 텍스트 $S_1$을 대량 생성.
3. 대체 그룹: $S_1$만으로 $\mathcal{M}_1$ 학습.
4. 축적 그룹: $D_0$와 $S_1$을 결합한 데이터셋으로 $\mathcal{M}_1$ 학습.
5. 이 과정을 세대($t=1, 2, 3, \dots$)를 거듭하며 반복 수행.
평가 지표: 테스트 데이터셋에 대한 펄플렉서티(Perplexity), 검증 손실(Validation Loss), 생성된 텍스트의 어휘 다양성(Vocabulary Diversity 및 Entropy)을 추적했습니다.

② 분자 구조 생성 (Diffusion Models)

대상 모델: 3차원 분자 구조를 예측하는 동변 디퓨전 모델(Equivariant Diffusion Models on QM9 dataset).
실험 방법: 분자의 기하학적 결합 에너지 및 원자 좌표 데이터를 생성하고 재학습하는 과정을 순환시킵니다. 대체 방식에서는 유효하지 않은 화학 구조(원자 간 비정상적 충돌 등)가 폭증하는 반면, 축적 방식에서는 실제 물리 법칙을 만족하는 유효 분자 생성 비율이 안정적으로 유지됨을 확인했습니다.

③ 비전 생성 모델 (Variational Autoencoders, VAE)

대상 모델: 이미지 생성에 사용되는 VAE(CelebA, CIFAR-10 기반).
실험 방법: 잠재 공간(Latent Space)의 확률 분포를 추정하는 과정에서, 대체 방식은 잠재 표현이 단일 점으로 쪼그라드는 ‘모드 붕괴(Mode Collapse)’를 겪지만, 축적 방식은 이미지의 고주파 세부 표현과 분산(Variance)을 온전히 보존함을 입증했습니다.

3. 이론적·수학적 증명 방법론 (Theoretical Framework)

본 논문은 실증 실험에 그치지 않고, “왜 축적이 모델 붕괴를 원천 차단하는가?”를 규명하기 위해 추적 가능한 선형 회귀(Tractable Linear Regression) 프레임워크를 확장하여 수학적 정리를 완성했습니다.

기본 설정 (Linear Setting)

참된 데이터 생성 함수를 $y = x^T \beta^* + \epsilon$ (단, $\epsilon \sim \mathcal{N}(0, \sigma^2)$)라 가정합니다.

$X_0$: $N$개의 원본 데이터 입력 행렬
$Y_0$: $N$개의 원본 정답 라벨
$\hat{\beta}_t$: $t$번째 세대 모델의 가중치 추정량

대체(Replacement) 시 오차 발산 메커니즘

대체 방식에서는 매 세대마다 이전 모델의 예측치에 노이즈가 낀 채로 새로운 라벨이 됩니다:

\[\hat{\beta}_t = (X_t^T X_t)^{-1} X_t^T Y_t\]

이전 연구는 이 구조에서 세대 $t$가 증가함에 따라 추정량의 분산이 누적되어, 참값과의 일반화 오차(Risk/Test Error)가 $t$에 비례하여 무한대로 발산함을 증명했습니다:

\[\mathbb{E}[\Vert{}\hat{\beta}_t - \beta^*\Vert{}^2] \propto t \cdot \sigma^2 \xrightarrow{t \to \infty} \infty \quad \text{(모델 붕괴)}\]

제안 축적(Accumulation) 시 유한 상한선(Finite Upper Bound) 증명

본 논문은 축적 방식에서 $t$번째 추정량이 이전 모든 데이터셋의 정규 방정식(Normal Equations)을 누적하여 계산된다는 점을 공식화했습니다:

\[\hat{\beta}_t = \left( \sum_{i=0}^{t} X_i^T X_i \right)^{-1} \left( X_0^T Y_0 + \sum_{i=1}^{t} X_i^T \hat{Y}_i \right)\]

연구진은 이 축적 추정량의 기대 오차를 전개하여 다음과 같은 핵심 정리를 유도했습니다:

\[\lim_{t \to \infty} \mathbb{E}[\Vert{}\hat{\beta}_t - \beta^*\Vert{}^2] \le \mathcal{B} < \infty\]

증명의 핵심 논리:
1. 공분산 행렬의 랭크 보존: 초기의 원본 데이터 $X_0$가 행렬의 고유값(Eigenvalues)을 0보다 큰 하한선으로 지탱해 주는 역할을 합니다.
2. 노이즈의 상쇄 효과: 세대가 거듭되면서 추가되는 합성 데이터의 표본 수($t \times N$)가 무한히 커질수록, 중심극한정리에 의해 평균적인 합성 데이터의 잔차(Residual) 노이즈가 서로 상쇄됩니다.
3. 오차의 수렴: 반복 횟수 $t$가 $100$이든 $10,000$이든 상관없이 오차의 크기는 수학적 한계선($\mathcal{B}$)을 넘을 수 없으므로, 통계적으로 모델 붕괴가 성립하지 않습니다.

4. 기존 대체 방식 vs 제안 축적 방식 비교 요약

비교 항목	기존 방식 (Data Replacement)	본 논문 제안 방식 (Data Accumulation)
데이터 구성	$D_t = S_t$ (과거 데이터 전량 삭제)	$D_t = D_0 \cup S_1 \cup \dots \cup S_t$ (원본 영구 보존 및 누적)
현실 부합도	낮음 (웹상의 기존 글을 모두 지우는 비현실적 가정)	높음 (인터넷 아카이브에 글이 계속 누적되는 현실 반영)
세대 반복 시 오차	세대 수($t$)에 비례하여 무한히 증가 ($\infty$)	일정 임계값 이하로 수렴 (유한한 상한선 존재)
모델 성능 변화	수 세대 내에 급격한 성능 붕괴 및 쓸모없어짐	초기 성능 수준을 지속적으로 안정 유지
적용 검증 영역	일부 텍스트 또는 통계 모델에 국한	언어 모델(LLM), 디퓨전(화학), VAE(이미지) 전반
데이터 관리 전략	오래된 데이터를 주기적으로 비우는 구조	원본($D_0$)을 불변의 닻(Anchor)으로 영구 관리하는 구조

5. 실무 구현 관점의 가이드라인

본 논문이 제안하는 방법론을 실제 AI 훈련 파이프라인에 적용할 때 핵심 엔지니어링 지침은 다음과 같습니다.

원본 데이터($D_0$)의 불변 보존 (Immutability): 스토리지 비용 절감을 이유로 초기의 검증된 인간 원본 데이터를 데이터 레이크에서 제거하거나 가공으로 훼손해서는 안 됩니다.
합성 데이터의 보조적 스캐폴딩: AI가 생성한 합성 데이터($S_t$)는 독립된 학습 세트가 아니라 원본 데이터의 분포 주변을 보강하는 증강(Augmentation) 데이터로 취급하여 지속적으로 덧붙여야 합니다.
가중 샘플링(Weighted Sampling) 적용: 축적되는 합성 데이터의 양이 기하급수적으로 늘어나 원본 데이터의 비율이 극단적으로 희석되는 것을 방지하기 위해, 학습 배치(Batch) 구성 시 원본 데이터 $D_0$에 일정 비율 이상의 샘플링 가중치를 부여하는 것이 안정성을 극대화합니다.

관련 개념

모델 붕괴의 정의와 두 가지 데이터 설정

이 논문의 출발점은 “붕괴가 일어나는가”가 아니라 “어떤 데이터 역학 아래에서 붕괴가 일어나는가” 입니다. 같은 모델, 같은 샘플러를 쓰더라도 세대 간에 데이터를 어떻게 넘기느냐에 따라 결과가 갈린다는 것이 핵심 주장입니다.

🧭 1. 두 설정의 정의 (Figure 1)

설정	세대 $n\geq 2$ 의 학습 데이터	학습 데이터 크기	모사하는 현실
Replace (대체)	세대 $n-1$ 모델에서 뽑은 합성 데이터 만	매 세대 고정 ($T$)	선행 연구 대부분의 가정. 세대 간 비교가 자연스러움
Accumulate (누적)	원본 실제 데이터 + 세대 $1,\dots,n-1$ 의 합성 데이터 전부	세대마다 $T$ 씩 증가 ($nT$)	합성 데이터가 인터넷에 쌓이고 다음 모델이 전부 흡수하는 미래

두 설정 모두 매 세대 새로 초기화한 모델을 처음부터 학습시키고, 새 합성 데이터는 직전 세대 모델에서 확률적으로 샘플링합니다(언어 모델은 온도 0.3 또는 1.0). 누적 설정에서 각 세대가 더하는 합성 데이터의 양은 대체 설정과 같은 $T$ 이므로, 두 설정의 차이는 오직 “이전 데이터를 버리느냐 남기느냐”에 있습니다.

📏 2. 이 논문의 “모델 붕괴” 정의

저자들은 용어를 명시적으로 고정합니다. 실험 절에서 모델 붕괴란 “모델-데이터 루프의 세대가 늘수록 오차가 눈에 띄게 나빠지는 것”, 붕괴 회피란 “그 세대에 걸쳐 오차가 유계(bounded)로 남는 것” 입니다. 이론 절에서는 더 엄격하게 “테스트 오차가 (어떤 속도로든) 무한대로 발산하는 상황”을 붕괴로 봅니다. 이 정의는 Alemohammad et al. (2023)의 MAD(원본 분포와 후속 모델 분포의 거리가 점점 벌어지되 반드시 발산하지는 않는 상황)와는 다릅니다.

🗂️ 3. 문헌에서 “모델 붕괴”가 가리키는 네 현상 (Section 4)

번호	현상	설명
(0)	테스트 오차의 무한 발산	이 논문이 다루는 정의. 세대 수에 따라 오차가 유계로 남는지 여부
(1)	모드 붕괴(modal collapse)	분포가 하나 또는 소수의 모드로 쪼그라듦. VAE 실험의 Replace 가 이 양상
(2)	균일 분포로의 붕괴	구조를 잃고 평평해짐
(3)	인공물 증폭	이전 합성 데이터에 맞춰진 모델이 도입한 인공물이 세대를 거치며 커짐

저자들은 “어떤 요인이 어떤 현상을 일으키며 각각에 어떤 예방책이 듣는지”를 향후 과제로 남깁니다. 논문 간 주장을 비교할 때 이 구분이 필요하다는 경고이기도 합니다.

💡 Key Takeaway 이 논문은 붕괴 자체를 부정하지 않습니다. 대체 설정에서는 붕괴가 재현되지만, 같은 합성 데이터가 실제 데이터 위에 누적되면 오차가 유계로 남는다는 것이 주장입니다. “붕괴”라는 말이 네 가지 다른 현상을 가리킨다는 지적은 후속 논문을 읽을 때 반드시 적용해야 할 체크리스트입니다.

실험 1: 인과 언어 모델 (TinyStories)

가장 비용이 큰 실험입니다. 여러 세대의 언어 모델을 사전학습해야 하므로, “충분히 잘 동작하면서 다양한 출력을 내는” 설정과 계산 가능성 사이의 균형을 찾은 것이 아키텍처·데이터셋 선택의 이유입니다.

🧪 1. 설정

항목	내용
모델	GPT-2 9M, Llama2 12M / 42M / 125M (Table 2 에서는 126M 으로 표기)
데이터	TinyStories: GPT-3.5/4 가 생성한 유치원 수준 짧은 이야기, 470M 토큰
학습	매 세대 새로 초기화, 단일 에폭
합성 데이터	세대 $n\geq 2$ 마다 직전 모델에서 TinyStories 와 같은 크기의 새 데이터셋을 샘플링
온도	0.3 또는 1.0 (대부분의 실험은 1.0)
구현	학습은 Huggingface Transformers, 생성은 vLLM

10M 미만의 작은 모델도 TinyStories 로 학습하면 단순하지만 일관된 영어 문장을 생성한다는 선행 결과(Eldan & Li, 2023)가 이 선택의 근거입니다.

📊 2. 주요 결과 (Table 2, 평가 교차 엔트로피)

모델	$t=1$	$t=4$ (Accum)	$t=4$ (Repl)	$t=10$ (Repl)	$t=4$ (Repl-Multiple)
GPT-2 (9M)	1.82	1.74 (-0.07)	2.39 (+0.58)	2.91 (+1.09)	2.18 (+0.36)
GPT-2 (9M), temp=0.3	1.82	1.75 (-0.06)	5.82 (+4.00)	9.85 (+8.04)	n/a
GPT-2 (9M), 소규모 데이터 (1/5)	2.56	2.28 (-0.28)	3.21 (+0.65)	3.72 (+1.16)	2.91 (+0.35)
위와 동일 + 3 에폭	1.99	1.87 (-0.12)	2.62 (+0.63)	n/a	n/a
Llama-2 (12M)	2.06	1.94 (-0.12)	2.72 (+0.66)	n/a	n/a
Llama-2 (42M)	1.90	1.76 (-0.14)	2.52 (+0.62)	n/a	n/a
Llama-2 (126M)	1.71	1.59 (-0.12)	2.23 (+0.53)	n/a	n/a

읽는 법은 세 가지입니다.

Replace 열은 모든 행에서 증가합니다. 4세대에 +0.53 ~ +0.66, 10세대에 +1.09 ~ +1.16 입니다. 온도 0.3 에서는 증가 폭이 훨씬 커서(+4.00, +8.04) 낮은 온도가 붕괴를 가속한다는 점을 보여줍니다. 방향은 두 온도에서 동일합니다.
Accumulate 열은 모든 행에서 감소합니다(-0.06 ~ -0.28). 저자들은 이를 “같거나 더 낮은 테스트 교차 엔트로피”로 서술합니다. 누적 설정은 세대마다 학습 데이터가 늘어나므로 에폭당 그래디언트 스텝 수도 늘어난다는 점(Figure 3 주석)이 이 감소의 한 요인일 수 있습니다.
Replace-Multiple 열(*) 은 누적 설정과 같은 크기의 순수 합성 데이터로 학습한 통제 실험입니다. 데이터 크기를 맞춰도 손실은 여전히 증가하며(+0.36, +0.35), 다만 속도는 느립니다. 즉 누적 설정의 효과는 단순히 “데이터가 많아서”가 아닙니다.

📝 3. 생성 샘플 (Table 1)

Llama2(125M)는 3세대 Accumulate 에서 “게가 매끈한 조개껍데기를 찾아 나무 아래 안전한 곳에 두었다 … 그리고 행복하게 살았다. 끝.” 같은 일관된 이야기를 내지만, 3세대 Replace 에서는 “골프가 왜 특별하게 들리는지 … 목재의 줄에 특별한 무언가가” 같은 의미 연결이 끊긴 문장이, 8세대 Replace 에서는 “Mamaing Grandma’s possibilitant, twice would measure how much she lovedk” 처럼 존재하지 않는 단어와 깨진 문법이 나타납니다. GPT-2(9M)도 5세대 Accumulate 는 일관되고, 10세대 Replace 는 “It was other.” 같은 비문을 냅니다.

🔬 4. 교란 요인 통제 (Appendix C)

우려	통제 방법	결과
누적 설정은 학습 데이터가 더 많다	Replace-Multiple: 순수 합성 데이터 크기를 누적 설정에 맞춤	손실 여전히 증가 (Table 2 우측 열)
1세대 모델이 나빠서 첫 합성 데이터가 나쁜 것 아닌가	1세대의 학습량(에폭)만 바꿔 비교 (Figure 14)	이후 세대 거동에 질적 차이 없음
온도 선택이 결정적인가	온도 0.3 추가 실험 (Figure 13)	같은 방향, Replace 의 악화가 더 큼
데이터셋 크기·에폭 수	TinyStories 의 1/5 로 1 에폭 및 3 에폭	질적 영향 없음

💡 Key Takeaway 언어 모델 실험의 설득력은 결과의 크기보다 방향의 일관성에 있습니다. 7개 행 전부에서 Replace 는 오르고 Accumulate 는 내려갑니다. Replace-Multiple 통제는 “데이터 양”이 아니라 “실제 데이터가 남아 있는가” 가 변수임을 분리해 줍니다.

실험 2·3: 분자 확산 모델과 VAE

언어 모델 결과가 텍스트 특유의 현상이 아님을 보이기 위해 두 개의 다른 모달리티를 추가합니다. 두 실험은 결과의 방향은 같지만 세부 양상이 서로 다르다는 점이 흥미롭습니다.

🧬 1. GeoDiff on GEOM-Drugs (Section 2.2, Figure 4)

항목	내용
모델	GeoDiff (Xu et al., 2022): 분자 형태(conformation) 생성용 기하 확산 모델
데이터	GEOM-Drugs 학습 분할을 40,000 개 분자 형태로 다운샘플링
생성	예측당 50 확산 스텝
손실	GeoDiff 표준 손실: 조건부 우도의 가중 변분 하한
세대 수	8

Replace 에서는 테스트 손실이 증가하고 Accumulate 에서는 거의 일정합니다. 언어 모델과 다른 점은 악화의 시간 구조입니다. Replace 의 손실은 합성 데이터로 학습한 첫 세대에서 크게 나빠진 뒤, 이후 세대에서는 실질적으로 더 나빠지지 않습니다. 즉 “세대마다 누적되는 악화”가 아니라 “한 번의 큰 하락 후 정체”입니다.

🖼️ 2. VAE on CelebA (Section 2.3, Appendix D)

항목	내용
데이터	CelebA: 약 200k 얼굴 이미지, 64×64 로 crop·다운샘플
인코더	합성곱 5층 (채널 32, 64, 128, 256, 512), 디코더는 대칭 구조
잠재 공간	128차원 등방 가우시안, MLP 2층
손실	재구성 오차 + 인코더 출력 가우시안과 등방 가우시안 사전분포 사이의 KL
세대당 학습	100 에폭 후, 사전분포에서 잠재 벡터를 뽑아 163K 개 새 학습 이미지 생성

결과는 네 가지로 정리됩니다.

Replace: 테스트 오차가 세대마다 급격히 오르고, 생성 얼굴의 품질과 다양성이 떨어지다가 결국 모든 생성이 단일 모드를 표현합니다(Figure 6 왼쪽). 테스트 이미지 재구성도 그 하나의 모드 외에는 표현하지 못합니다(Figure 15).
Accumulate: 테스트 오차가 훨씬 느리게 증가합니다. 생성 다양성은 기준선보다 줄지만 성별 같은 데이터의 주요 변이 축은 유지하고, 안경·장신구처럼 데이터 다양체의 부차적 축에 해당하는 세부는 덜 생성합니다.
재구성 분석의 반전: 누적 설정 모델은 테스트 이미지를 재구성할 때 안경·모자 같은 세부까지 정확히 복원합니다. 저자들은 모델의 능력은 유지되지만, 그 세부가 잠재 공간에서 더 작은 부분 다양체가 되고 새로 생성된 데이터에 맞춰 재정렬되어 사전분포 샘플링으로는 덜 나타난다고 가설을 세웁니다.
언어 모델과의 차이: 언어 모델과 달리 누적 설정에서도 테스트 오차가 세대에 따라 (훨씬 느리지만) 증가합니다. 저자들은 Martínez et al. (2023a)가 다른 아키텍처·훨씬 작은 데이터셋에서 누적 설정에서도 빠른 악화를 봤다는 상반된 증거를 언급하며, 어떤 조건에서 왜 이런 차이가 생기는지를 향후 과제로 남깁니다.

🔍 3. 세 실험의 비교

실험	Replace	Accumulate	특기 사항
언어 모델	세대마다 꾸준히 악화	같거나 더 좋음	온도가 낮을수록 Replace 악화 가속
분자 확산	첫 합성 세대에 크게 악화 후 정체	거의 일정	악화가 누적적이지 않음
VAE	빠르게 악화, 단일 모드로 완전 붕괴	느리게 증가, 세부 다양성 감소	재구성 능력은 유지

💡 Key Takeaway “누적이 붕괴를 피한다”는 결론은 세 모달리티에서 같지만, 누적 설정이 완전히 안전한 것은 아닙니다. VAE 에서는 오차가 느리게나마 증가하고 부차적 변이 축이 사라집니다. 이 논문의 정의(유계 vs 발산)로는 회피이지만, 다양성 지표로 재면 “느린 붕괴”로 읽힐 수 있는 지점입니다.

선형 회귀 프레임워크: 표기와 합성 데이터 생성 과정

경험적 결과를 설명하기 위해 Mobahi et al. (2020)과 Dohmatob et al. (2024a)의 해석적 프레임워크를 가져옵니다. 저자들은 이 절의 내용이 Dohmatob et al. (2024a)의 프레임워크와 선구적 기여에 크게 의존하며, 자신들의 기여는 같은 분석을 “누적”이라는 다른 데이터 사용 패턴에 적용한 것이라고 명시합니다.

📐 1. 원본 데이터 분포

분포 $P_{\Sigma,w,\sigma^{2} }$ 는 $\mathbb{R}^{d}\times\mathbb{R}$ 위에서 다음과 같이 정의됩니다.

\[x\sim\mathcal{N}(0,\Sigma),\qquad \epsilon\sim\mathcal{N}(0,\sigma^{2})\ (x\text{ 와 독립}),\qquad y=x\cdot w^{*}+\epsilon\]

기호	의미
$d$	입력 차원
$\Sigma\in\mathbb{R}^{d\times d}$	입력 $x$ 의 실제 공분산
$w^{*}$	원본 데이터를 만든 실제 선형 관계
$\sigma$	라벨 잡음 수준
$T$	세대 1 의 초기 독립 표본 수 (= 매 세대 더해지는 표본 수)
$X\in\mathbb{R}^{T\times d}$	$x_{1}^{\top},\dots,x_{T}^{\top}$ 을 행으로 갖는 설계 행렬
$Y, E$	$i$ 번째 좌표가 $y_{i}$, $\epsilon_{i}$ 인 벡터

전체에서 $X$ 는 열 전체 랭크(full column rank), 즉 $T\geq d$ 이고 $X^{\top}X$ 가 가역이며 모델은 과소 파라미터화(underparameterized) 되어 있다고 가정합니다.

🔁 2. 누적 설정의 합성 데이터 생성 과정

분포열 $P_{\Sigma,w^{*},\sigma^{2} }\to P_{\Sigma,\hat{w}{1},\sigma^{2} }\to\cdots\to P{\Sigma,\hat{w}_{n},\sigma^{2} }$ 를 따라 생성합니다. 핵심은 공변량 $X$ 는 매 세대 같은 행렬을 다시 쓰고, 타깃만 직전 모델로 새로 만든다는 점입니다.

세대 $n=1$

누적 공변량: $\tilde{X}_{1}:=X$
누적 타깃: $\tilde{Y}{1}:=\hat{Y}{1}:=Xw^{*}+E_{1}$, 여기서 $E_{1}:=E\sim\mathcal{N}(0,\sigma^{2}I_{T})$
선형 모델 적합: $\hat{w}{1}=\tilde{X}{1}^{\dagger}\tilde{Y}_{1}$
다음 세대용 합성 타깃: $\hat{Y}{2}:=X\hat{w}{1}+E_{2}$, $E_{2}\sim\mathcal{N}(0,\sigma^{2}I_{T})$

세대 $n\geq 2$

누적 공변량: $\tilde{X}{n}^{\top}=[\tilde{X}{n-1}^{\top};X^{\top}]\in\mathbb{R}^{d\times nT}$
누적 타깃: $\tilde{Y}{n}^{\top}=[\tilde{Y}{n-1}^{\top};\hat{Y}_{n}^{\top}]\in\mathbb{R}^{1\times nT}$
선형 모델 적합: $\hat{w}{n}:=\tilde{X}{n}^{\dagger}\tilde{Y}_{n}$
다음 세대용 합성 타깃: $\hat{Y}{n+1}:=X\hat{w}{n}+E_{n+1}$, $E_{n+1}\sim\mathcal{N}(0,\sigma^{2}I_{T})$

여기서 $A^{\dagger}=(A^{\top}A)^{-1}A^{\top}$ 는 열 전체 랭크 행렬의 Moore-Penrose 유사역행렬입니다. 잡음 $E_{1},E_{2},\dots,E_{n}$ 은 서로 독립이고 공변량과도 독립입니다. $X$ 가 열 전체 랭크이므로 모든 $\tilde{X}_{n}$ 도 그렇습니다.

주목할 점은 합성 타깃에도 매 세대 새 잡음 $E_{n+1}$ 이 더해진다는 것입니다. 이는 “직전 모델에서 확률적으로 샘플링한다”는 실험 설정의 수학적 대응물입니다.

📏 3. 테스트 오차 (Eq. 1)

모델은 누적 합성 데이터로 학습되지만 평가는 실제 분포 $P_{\Sigma,w^{*},\sigma^{2} }$ 에서 합니다.

\[E_{\rm test}(w):=\mathbb{E}\left[(x_{\rm test}^{\top}w-y_{\rm test})^{2}\right]-\sigma^{2}=\mathbb{E}\left[\|w-w^{*}\|_{\Sigma}^{2}\right]\]

기대값은 학습 데이터와, 학습 데이터와 독립인 $(x_{\rm test},y_{\rm test})\sim P_{\Sigma,w^{*},\sigma^{2} }$ 에 대해 취합니다. 환원 불가능한 잡음 $\sigma^{2}$ 를 빼므로 오차는 파라미터 추정 오차의 $\Sigma$-노름 제곱이 됩니다.

🧩 4. 확장 가능성

Dohmatob et al. (2024a)의 언급을 반복하며, 결과는 $\mathbb{R}^{d}$ 의 보통 선형 회귀로 제시되지만 릿지 회귀와 커널 설정(Caponnetto & De Vito, 2007; Simon et al., 2021; Cui et al., 2021; Wei et al., 2022)으로 쉽게 확장된다고 밝힙니다. 이 논문은 붕괴 연구에 유용한 단순 모델에 집중합니다.

💡 Key Takeaway 프레임워크의 요체는 “같은 $X$ 에 대해 타깃만 세대마다 재생성되고, 누적 설정에서는 $n$ 세대의 학습 집합이 $X$ 를 $n$ 번 반복한 설계 행렬과 $n$ 개의 서로 다른 타깃 벡터로 이루어진다” 는 것입니다. 이 구조가 다음 절의 깔끔한 닫힌 형식을 가능하게 합니다.

Theorem 1·2: 누적 설정에서의 테스트 오차 닫힌 형식

이 절이 논문의 이론적 핵심입니다. 두 정리와 증명의 골격을 그대로 옮깁니다.

🧮 1. Theorem 1: 적합 파라미터의 표현 (Eq. 2)

누적 설정에서 모든 $n\geq 1$ 에 대해

\[\hat{w}_{n}=w^{*}+(X^{\top}X)^{-1}X^{\top}\left(\sum_{i=1}^{n}\frac{E_{i} }{i}\right)\]

입니다. 즉 $n$ 세대 모델의 추정 오차는 각 세대의 잡음 $E_{i}$ 를 $1/i$ 로 줄여 더한 것을 $X^{\dagger}$ 로 사영한 것입니다. 세대 $i$ 의 잡음이 전체 학습 집합에서 차지하는 비율이 $1/i$ 라는 직관과 정확히 맞습니다.

증명 (귀납법, Appendix B)

기저: $\hat{w}{1}=(X^{\top}X)^{-1}X^{\top}(Xw^{*}+E{1})=w^{*}+(X^{\top}X)^{-1}X^{\top}E_{1}$.
귀납 단계: $\tilde{X}{n+1}$ 이 $X$ 를 $n+1$ 번 쌓은 것이므로 $\tilde{X}{n+1}^{\top}\tilde{X}_{n+1}=(n+1)X^{\top}X$ 이고,

\[\hat{w}_{n+1}=\frac{1}{n+1}(X^{\top}X)^{-1}\sum_{i=1}^{n+1}X^{\top}\hat{Y}_{i},\qquad \hat{Y}_{i}=\begin{cases}Xw^{*}+E_{1}, & i=1\\ X\hat{w}_{i-1}+E_{i}, & 2\leq i\leq n+1\end{cases}\]

귀납 가설을 대입하면 $w^{}$ 항은 $(n+1)$ 개가 모여 $w^{}$ 로 정리되고, 잡음 항은 이중 합 $\sum_{i=1}^{n}\sum_{j=1}^{i}E_{j}/j+\sum_{i=1}^{n+1}E_{i}$ 가 됩니다.

계수 세기: $E_{1}$ 은 이중 합에 $n$ 번, 단일 합에 1번 나타나 계수 $(n+1)/1$. $E_{2}$ 는 $n-1$ 번 + 1번으로 $n/2$. 일반적으로 $E_{i}$ 의 계수는 $(n+2-i)/i$ 이고, $E_{n+1}$ 은 $1/(n+1)$. 따라서

\[\sum_{i=1}^{n}\sum_{j=1}^{i}\frac{E_{j} }{j}+\sum_{i=1}^{n+1}E_{i}=\sum_{i=1}^{n+1}\frac{n+2-i}{i}E_{i}=(n+1)\sum_{i=1}^{n+1}\frac{E_{i} }{i}\]

앞의 $\frac{1}{n+1}$ 과 상쇄되어 $\hat{w}{n+1}=w^{*}+(X^{\top}X)^{-1}X^{\top}\sum{i=1}^{n+1}E_{i}/i$ 를 얻습니다. ∎

📐 2. Lemma 3: 역 위샤트 기대값 (Eq. 5)

$T\geq d+2$ 이고 $X\in\mathbb{R}^{T\times d}$ 의 행이 $\mathcal{N}(0,\Sigma)$ 에서 i.i.d. ($\Sigma$ 양정치)이면 $X$ 는 거의 확실히 전체 랭크이고

\[\mathbb{E}_{X}\left[(X^{\top}X)^{-1}\right]=\frac{1}{T-d-1}\Sigma^{-1}\]

입니다. 증명은 Dohmatob et al. (2024a)를 참조합니다. $T\geq d+2$ 조건은 이 기대값이 유한하기 위한 조건입니다.

🎯 3. Theorem 2: 누적 설정의 테스트 오차 (Eq. 3)

$T\geq d+2$ 개의 표본을 매 세대 더하고 특징이 등방($\Sigma:=I_{d}$)인 $n$ 겹 합성 데이터 생성 과정에서, 누적 데이터로 학습한 릿지 없는(ridgeless) 선형 예측기 $\hat{w}_{n}$ 의 테스트 오차는

\[E_{\rm test}^{\rm Accum}(\hat{w}_{n})=\frac{\sigma^{2}d}{T-d-1}\left(\sum_{i=1}^{n}\frac{1}{i^{2} }\right)\leq\frac{\sigma^{2}d}{T-d-1}\times\frac{\pi^{2} }{6}\]

입니다. $\sigma^{2}$ 는 합성 데이터 생성 과정의 잡음 분산, $d$ 는 입력 차원, $T$ 는 세대당 더해지는 표본 수입니다.

증명 (Appendix B): Theorem 1 을 Eq. 1 에 대입하고 $\Sigma=I_{d}$ 를 쓰면

\[E_{\rm test}(\hat{w}_{n})=\mathbb{E}\left[\left(\sum_{i=1}^{n}\frac{E_{i} }{i}\right)^{\top}X(X^{\top}X)^{-2}X^{\top}\left(\sum_{i=1}^{n}\frac{E_{i} }{i}\right)\right] =\sum_{i=1}^{n}\frac{\sigma^{2} }{i^{2} }\,\mathbb{E}\left[\mathrm{tr}\left((X^{\top}X)^{-1}\right)\right]\]

잡음들이 서로 독립이고 등방이므로 교차항이 사라지고 각 $E_{i}$ 가 $\sigma^{2}/i^{2}$ 배의 trace 항을 남깁니다. Lemma 3 에서 $\mathbb{E}[\mathrm{tr}((X^{\top}X)^{-1})]=d/(T-d-1)$ (Eq. 8) 이므로

\[E_{\rm test}(\hat{w}_{n})=\sum_{i=1}^{n}\frac{\sigma^{2} }{i^{2} }\cdot\frac{d}{T-d-1}<\frac{\sigma^{2}d}{T-d-1}\left(\frac{\pi^{2} }{6}\right)\]

이며, 마지막 부등호는 $\sum_{i=1}^{n}i^{-2}<\sum_{i=1}^{\infty}i^{-2}=\pi^{2}/6$ 입니다. ∎

🔎 4. 식이 말하는 것

구성 요소	역할
$\sigma^{2}d/(T-d-1)$	잡음 대 신호 비. 차원당 잡음 $\sigma^{2}$ × 차원 수 $d$, 세대당 표본 수 $T$ 로 보정. Replace 와 Accumulate 모두 같은 앞 인자를 가짐
$\sum_{i=1}^{n}1/i^{2}$	누적 설정 고유의 세대 의존 인자. $n=1$ 에서 1, $n\to\infty$ 에서 $\pi^{2}/6\approx 1.645$ 로 수렴
$\pi^{2}/6$	세대 수와 무관한 유한 상한. 즉 무한히 많은 세대를 거쳐도 테스트 오차는 1세대 오차의 약 1.645배를 넘지 않음

저자들은 이 상한이 “(우리에게는 놀랍게도) 잘 통제된” 값이라고 표현합니다.

💡 Key Takeaway Theorem 1 은 세대 $i$ 의 잡음이 $1/i$ 배로 들어온다는 것, Theorem 2 는 제곱 오차이므로 그 기여가 $1/i^{2}$ 이 되어 합이 수렴한다는 것입니다. 붕괴 회피의 수학적 본질은 “실제 데이터가 남아 있다”는 사실보다 “각 세대의 새 잡음이 전체에서 차지하는 비율이 줄어든다” 는 데 있습니다.

Replace, Replace-Multiple, Accumulate 의 비교

세 가지 데이터 사용 전략을 같은 프레임워크 안에서 비교하면 이 논문의 메시지가 가장 선명해집니다.

📊 1. 세 설정의 테스트 오차 (Eq. 4, 9, 10, 11)

설정	세대 $i$ 의 학습 데이터	테스트 오차	세대 의존성
Replace (Dohmatob et al., 2024a)	직전 모델에서 뽑은 $T$ 개 합성 데이터만	$\dfrac{\sigma^{2}d}{T-d-1}\times n$	선형 발산
Replace-Multiple (Appendix E)	직전 모델에서 뽑은 $T\times i$ 개 합성 데이터만	$\dfrac{\sigma^{2}d}{T-d-1}\times\sum_{k=1}^{n}\dfrac{1}{k}\approx\dfrac{\sigma^{2}d}{T-d-1}\times\log(n)$	로그 발산
Accumulate (이 논문)	실제 $T$ 개 + 세대 $1,\dots,i-1$ 의 합성 $T$ 개씩	$\dfrac{\sigma^{2}d}{T-d-1}\times\sum_{k=1}^{n}\dfrac{1}{k^{2} }\leq\dfrac{\sigma^{2}d}{T-d-1}\times\dfrac{\pi^{2} }{6}$	유계

세 식의 앞 인자는 동일하고 세대 의존 인자만 $n$, $\log n$, $\sum 1/k^{2}$ 로 다릅니다. 이 차이가 “발산 vs 유계”를 가릅니다.

🧠 2. 직관: 왜 $1/i^{2}$ 인가

Replace: 이전 데이터가 버려지므로 모델은 매 세대 새로 도입된 잡음의 영향을 온전히 받고, 그것이 이전 세대에서 겪은 효과 위에 더해집니다. 세대마다 같은 크기의 잡음이 축적되어 선형으로 자랍니다.
Accumulate: 세대 $i$ 는 학습 집합의 $1/i$ 만 차지하므로 $i$ 번째 합성 데이터의 잡음이 모델에 미치는 영향은 $1/i$ 로 줄고, 제곱 오차이므로 MSE 에는 $1/i^{2}$ 로 들어옵니다. $\sum 1/i^{2}$ 가 합산 가능하기 때문에 테스트 오차가 무한히 자라지 않습니다.
Replace-Multiple: 데이터 양은 누적 설정과 같지만 전부 직전 모델의 합성 데이터입니다. 분석은 거의 평행하게 가지만 본문의 $1/i^{2}$ 이 $1/i$ 로 바뀌고, 조화급수는 발산하므로 $O(\log n)$ 으로 느리게나마 발산합니다. 이 관찰은 Elvis Dohmatob, Yunzhen Feng, Julia Kempe 가 저자들에게 전달한 것입니다.

⚖️ 3. Replace-Multiple 의 의미와 한계

Replace-Multiple 은 “세대마다 학습 데이터 수가 같다”는 점에서 Accumulate 의 유용한 기준선입니다. 언어 모델 실험의 Table 2 우측 열이 이 설정의 경험적 대응물이고, 거기서도 손실이 (느리게) 증가했습니다. 다만 Replace-Multiple 은 매 세대 직전 모델에서 $T\times i$ 개를 샘플링하므로 총 계산량이 Accumulate(매 세대 $T$ 개 샘플링)와 맞지 않는다는 단점이 있습니다. 저자들은 다른 기준선도 가능하지만 향후 과제로 남기고, 현실에서는 실제 데이터와 합성 데이터가 누적될 가능성이 높다는 이유로 Accumulate 에 집중합니다.

🔢 4. 수치 확인 (Section 3.3, Figure 7, 16)

해석적 결과를 수치 시뮬레이션으로 확인한 결과, 수치는 해석식과 거의 완벽하게 일치했습니다. Replace 에서는 테스트 오차가 잡음 대 신호 비 $\sigma^{2}d/(T-d-1)$ 를 기울기로 세대 수에 따라 자라고, Accumulate 에서는 같은 앞 인자를 가지면서 빠르게 평탄해집니다. Figure 16 은 로그 테스트 오차와 더 많은 세대에서 Replace(위, 선형), Replace-Multiple(가운데, 로그), Accumulate(아래, 유계)를 나란히 보여줍니다.

💡 Key Takeaway 같은 잡음 대 신호 비 아래에서 데이터를 어떻게 쓰느냐만으로 $n$, $\log n$, 상수의 세 가지 스케일링이 나옵니다. 모델 붕괴 연구에서 “학습 데이터 양”과 “학습 데이터 구성(실제 데이터 잔존 여부, 세대별 혼합 비율)”을 분리해서 통제해야 하는 이유가 여기 있습니다.

선행 연구와의 관계 (Appendix A)

이 논문은 자신의 위치를 꽤 길게 설명합니다. 특히 “누적”을 부분적으로 다룬 두 선행 연구의 해석을 뒤집는 부분이 중요합니다.

🧪 1. 선행 경험 연구는 거의 모두 “대체” 가정

연구	설정	결론
Hataya et al. (2023), Martínez et al. (2023b)	매 세대 실제 데이터를 생성 데이터로 대체, 데이터셋 크기 고정	합성 비율이 너무 높아지면 악화
Shumailov et al. (2023)	GMM, VAE, 언어 모델. 세대당 표본 수 고정, 항상 직전 모델에서 샘플링	재귀의 저주
Alemohammad et al. (2023)	전량 대체 / 고정 실제 데이터 + 합성 증강 / 매 세대 새 실제 데이터 혼합의 세 처리	거의 모든 실험에서 직전 모델에서 고정 크기 데이터를 뽑음(누적 없음)
Bertrand et al. (2023)	안정성 이론 분석. 데이터셋 크기·혼합 비율이 세대에 걸쳐 일정	초기 모델이 충분히 좋고 실제 데이터 비율이 충분하면 붕괴 없음

📚 2. 선행 이론 연구와의 관계

Dohmatob et al. (2024a): 이 논문의 선형 회귀 모델의 직접적 영감. 고차원 선형·릿지 회귀에서 세대당 데이터를 직전 모델로 생성할 때 테스트 오차가 세대 수에 선형으로 증가함을 보이고, 랜덤 행렬 이론으로 더 미묘한 결과를 유도하며, 최적 정규화로 붕괴를 완화하는 방법도 논의합니다.
Mobahi et al. (2020): 자기 증류(self-distillation)의 잡음 없는 설정. 직전 모델의 잡음 없는 예측을 다음 학습 데이터로 쓰면 예측이 결국 0 으로 수축합니다. 자기 증류가 함수 공간에서 정규화를 유도해 처음에는 과적합을 줄이지만 결국 과도한 정규화로 과소적합을 일으킨다는 해석입니다.
Dohmatob et al. (2024b): 선형 모델을 넘어 LLM 출력의 꼬리(tail)를 연구하고, 합성 데이터가 실제 데이터의 꼬리를 놓칠 때의 스케일링 법칙을 제시합니다. 실제 데이터 크기와 잘린 꼬리의 함수 사이의 관계에 따라 위상 전이가 있고, 충분한 실제 데이터가 붕괴를 완화한다고 결론 짓습니다. 이들의 Eq. (12)에서 세대 수에 대한 선형 스케일링은 세대당 합성 데이터 양이 같기 때문에 나오며, 합성 데이터를 세대 수에 비례해 늘리면 $n$ 대신 $n^{1-c}/(1-c)$ ($c<1$)가 됩니다. 그러나 Theorem 3.2 와 Corollary 3.3 에 따르면 결국 중요한 것은 실제 데이터의 양이며, 합성 데이터만으로는 아무리 많아도 원래의 실제 데이터 스케일링 법칙을 되찾을 수 없습니다.
Jain et al. (2024): 실제 데이터를 잠재적으로 다른 독립 소스의 대리(surrogate) 데이터로 증강하는 위험 최소화. 순수 잡음 증강조차 릿지 벌점처럼 작용해 경우에 따라 테스트 오차를 줄인다는 메시지입니다. 이 논문의 설정과 달리 합성 데이터가 실제 데이터에 학습 알고리즘을 적용해 얻은 것이 아니고 반복적이지도 않습니다. 저자들은 자신들의 각 세대가 “이전 모델들에서 생성된 데이터의 균등 혼합에 대한 위험 최소화”라는 점에서 Jain et al. 의 일반 프레임워크에 사상될 수 있지만, 세대 간 모델의 의존성이 그 이론으로 쉽게 다뤄지지 않는 복잡성을 도입한다고 봅니다.
동시대 연구: v1 업로드 직후 나온 Marchi et al. (2024)의 Theorem 1 은 같은 분산의 제곱 합산 가능 스케일링을 얻었고, Seddik et al. (2024)는 순수 합성과 부분 합성 설정에서 언어 모델 붕괴의 편차 한계를 유도했습니다.

🔄 3. “누적”을 부분적으로 다룬 두 연구의 재해석

Alemohammad et al. (2023): 한 실험의 절반(FliqrFaces 128×128 로 학습한 StyleGAN2, “synthetic augmentation loop”)에서 누적을 고려했고, “고정된 실제 학습 데이터는 피할 수 없는 품질·다양성 악화를 지연시킬 뿐“이라고 결론 지었습니다. 이 논문의 저자들은 그들의 Figure 7(이 논문의 Appendix Figure 8 로 재수록)을 다시 보면 누적 설정에서 테스트 오차가 비교적 낮은 값으로 평탄화(plateau) 하며, 이는 지연이 아니라 회피에 더 부합하는 증거라고 주장합니다.
Martínez et al. (2023a): 평가가 더 어렵습니다. 붕괴는 세대당 추가되는 합성 데이터 양이 누적 데이터 총량의 2배일 때만 나타나는 것으로 보이며, 후속 연구(Martínez et al., 2023b)에서는 누적에서 대체로 설정을 바꿨습니다. 저자들은 이 불일치의 조건과 원인을 흥미로운 향후 방향으로 꼽습니다.

🛡️ 4. 붕괴 회피 방법에 대한 입장

Bertrand et al. (2023)은 대체 설정에서 초기 생성 모델이 데이터 분포를 충분히 잘 근사하고 실제 데이터 비율이 합성 데이터 대비 충분히 크면 붕괴가 일어나지 않음을, Dohmatob et al. (2024b)는 실제 데이터를 신중히 골라 섞으면 붕괴를 피할 수 있음을 보였습니다. 저자들은 “어떤 논문도 붕괴를 피하는 ‘최적’ 전략을 주장하지 않았고, 우리도 마찬가지” 라고 명시합니다.

💡 Key Takeaway 이 논문의 기여는 새로운 현상의 발견이라기보다 선행 연구의 가정(대체)을 현실적 가정(누적)으로 바꾸면 결론이 뒤집힌다는 것을 체계적으로 보인 데 있습니다. Alemohammad et al. 의 “지연일 뿐”이라는 해석에 대한 반박은, 같은 곡선도 “발산”과 “평탄화”로 다르게 읽을 수 있다는 점에서 붕괴 정의의 중요성을 다시 보여줍니다.

한계와 열린 방향

⚠️ 1. 저자가 인정한 한계

데이터 생성·누적 체제가 하나뿐 : 매 세대 새 실제 데이터가 추가되는 경우, 세대마다 합성 데이터 생성량이 다른 스케줄, RLHF 처럼 사람이 생성 데이터를 걸러내는 경우는 다루지 않았다(Section 4). 다른 기준선도 가능하지만 향후 과제로 남겼다(Appendix E).
확률적 샘플링만 실험 : 모든 실험에서 합성 데이터는 직전 모델에서 확률적으로 샘플링했다. 온도 0 같은 결정적 생성에서 어떻게 되는지는 향후 과제다. 온도 0.3 에서 Replace 의 악화가 훨씬 컸다는 점(+8.04)은 결정적 생성이 더 위험할 수 있음을 시사하지만 확인되지 않았다.
VAE 의 누적 설정에서도 오차가 증가 : 언어 모델과 달리 VAE 는 누적 설정에서도 테스트 오차가 (느리게) 증가하고 부차적 변이 축이 사라진다. Martínez et al. (2023a)의 상반된 증거와 함께, 어떤 조건에서 왜 이런 차이가 생기는지는 미해결이다.
이론은 등방 특징·릿지 없는 과소 파라미터화 선형 회귀 : $\Sigma=I_{d}$, $T\geq d+2$, 열 전체 랭크 가정 아래의 결과다. 릿지·커널로의 확장은 “쉽게 된다”고만 언급되고 유도되지 않았다. 과대 파라미터화 영역은 다루지 않는다.
“모델 붕괴” 용어의 다의성 : 저자 스스로 문헌에 최소 네 가지 다른 현상이 같은 이름으로 불린다고 지적하며, 어떤 요인이 어떤 현상을 일으키는지는 향후 과제라고 밝혔다.
Replace-Multiple 의 계산량 불일치 : 데이터 양을 맞춘 기준선이지만 샘플링 계산량은 Accumulate 와 다르다.

🔒 2. 외부 관점의 한계

누적 설정의 “회피”는 교차 엔트로피 기준 : 언어 모델에서 Accumulate 의 손실이 낮아진 데는 세대마다 그래디언트 스텝 수가 늘어나는 효과가 섞여 있다(Figure 3 주석). 스텝 수를 맞춘 통제는 Replace-Multiple(데이터 양 통제)과 달리 보고되지 않았다. 또한 교차 엔트로피는 모드 붕괴나 꼬리 소실을 직접 재지 않는다. VAE 에서 “오차는 유계지만 안경·장신구가 사라진다”는 결과는 다양성 지표로 재면 다른 결론이 나올 수 있음을 보여준다.
실제 데이터 비율이 $1/n$ 으로 줄어드는 특정 스케줄 : 누적 설정에서 실제 데이터의 비율은 세대 $n$ 에서 $1/n$ 이다. 이론의 유계성은 이 조화적 감소에 의존한다. 합성 데이터가 세대당 $T$ 보다 빠르게(예: 세대 수에 비례해) 쌓이면 $1/i^{2}$ 이 더 느린 감쇠로 바뀌어 유계성이 깨질 수 있는데, 이 민감도는 분석되지 않았다. Martínez et al. (2023a)에서 “합성 데이터가 누적 총량의 2배일 때만 붕괴”라는 관찰이 이 방향을 가리킨다.
선형 모델의 잡음은 라벨 잡음뿐 : 프레임워크에서 합성 데이터의 결함은 등방 가우시안 라벨 잡음 $E_{i}$ 로만 모델링된다. 실제 생성 모델의 결함은 꼬리 절단, 모드 소실, 체계적 편향처럼 잡음이 아닌 분포 왜곡이며, 이것들은 $1/i$ 로 희석된다고 보장되지 않는다. Dohmatob et al. (2024b)의 꼬리 절단 분석이 이 간극을 다루지만 이 논문의 프레임워크와 결합되지 않았다.
세대 수가 짧다 : 언어 모델은 10세대, 확산 모델은 8세대다. 이론이 “무한 세대에서도 유계”를 말하는 반면 실험은 “10세대까지 악화 없음”을 보인다. VAE 처럼 느리게 증가하는 경우 장기 거동은 알 수 없다.
모델 규모 : 언어 모델은 최대 125M 파라미터, 데이터는 470M 토큰이다. 저자들이 동기로 든 Llama 급(조 단위 토큰) 설정과는 거리가 있다.
매 세대 재초기화 : 실제 모델 계보는 이전 체크포인트에서 이어 학습하는 경우가 많다. 재초기화 가정이 결과에 미치는 영향은 논의되지 않았다.

❓ 3. 열린 질문

누적 설정에서 실제 데이터의 비율이 어떤 속도로 줄어들 때까지 유계성이 유지되는가? $\sum 1/i^{p}$ 가 수렴하려면 $p>1$ 이면 되므로, 합성 데이터 증가율에 대한 임계 조건이 존재할 것으로 보인다.
교차 엔트로피가 아니라 분포 거리(원본 분포와 생성 분포 사이)나 꼬리 커버리지로 재면 누적 설정은 여전히 “회피”인가, 아니면 Alemohammad et al. 의 “지연”인가? VAE 결과는 지표에 따라 답이 갈릴 수 있음을 시사한다.
언어 모델에서는 누적이 거의 완전히 보호하지만 VAE 에서는 느린 악화가 있다. 아키텍처·데이터 크기·잠재 공간 구조 중 무엇이 이 차이를 만드는가?
매 세대 새 실제 데이터가 일정량 추가되는 “인터넷에 사람도 계속 글을 쓰는” 설정에서 상한은 더 낮아지는가? 반대로 합성 데이터를 사람이 걸러내는(RLHF 류) 설정은 잡음을 줄이는가, 편향을 키우는가?
결정적 생성(온도 0)에서는 Mobahi et al. 의 자기 증류처럼 과도한 정규화로의 수축이 일어나는가? 누적이 그것도 막는가?
이론의 네 가지 붕괴 현상 중 (1) 모드 붕괴와 (3) 인공물 증폭은 선형 회귀 프레임워크로는 표현되지 않는다. 이들을 담을 수 있는 최소 해석 모델은 무엇인가?

🧷 4. 내 판단과 연구 연결

붕괴 정의 : 이 논문은 붕괴를 “테스트 오차의 발산”으로 좁게 정의하고 그 정의 아래에서 회피를 증명한다. 내 연구에서 붕괴를 정의할 때는 이 논문의 네 현상 분류를 출발점으로 삼되, (0) 오차 발산, (1) 모드 붕괴, (2) 균일화, (3) 인공물 증폭을 별개의 측정 대상으로 두어야 한다. 특히 VAE 결과처럼 (0) 은 회피되지만 (1) 은 느리게 진행되는 경우를 포착하려면 오차 지표와 다양성 지표를 반드시 함께 보고해야 한다.
측정 지표 : Theorem 2 의 $\sigma^{2}d/(T-d-1)\times\sum 1/i^{2}$ 는 세대별 오차 곡선의 형태(선형 / 로그 / 수렴)로 데이터 체제를 역추정할 수 있다는 뜻이다. 실험에서 세대별 손실을 $n$, $\log n$, 상수 세 모형에 적합시켜 어느 체제에 가까운지 판별하는 진단을 만들 수 있다. 또한 세대 $i$ 의 기여가 $1/i^{2}$ 로 들어온다는 구조는 “몇 세대까지 추적해야 평탄화를 확인할 수 있는가”의 기준을 준다. $\sum_{i=1}^{10}1/i^{2}\approx 1.55$ 로 상한 1.645 의 94% 에 이르므로 10세대면 선형 모델에서는 충분하지만, 심층 모델에서는 VAE 처럼 더 긴 추적이 필요하다.
완화 방법 : 이 논문의 완화책은 “아무것도 버리지 말라”는 수동적 전략이다. 능동적 완화(필터링, 탐지, 가중치 조정)를 설계할 때 이 논문의 Accumulate 는 반드시 포함해야 할 기준선이다. 어떤 완화책이든 “누적만 한 것보다 나은가”를 보여야 의미가 있다. 반대로 Replace 는 최악의 기준선이고 Replace-Multiple 은 데이터 양을 통제한 중간 기준선이다. 세 기준선을 모두 갖춘 실험 설계가 표준이 되어야 한다.
실험 설계 : 세 가지를 바로 가져올 수 있다. (a) 매 세대 재초기화 + 단일 에폭 + 같은 크기 샘플링이라는 프로토콜 자체, (b) 1세대 학습량·온도·데이터셋 크기·에폭 수를 각각 바꾸는 교란 통제 목록(Appendix C), (c) 세대당 추가 합성 데이터 비율을 변수로 두고 유계성의 임계점을 찾는 스케줄 실험(이 논문이 하지 않은 것). 특히 (c) 는 $\sum 1/i^{p}$ 의 수렴 조건과 직접 연결되므로 이론과 실험을 함께 설계할 수 있다.
인용 용도 : “누적하면 붕괴를 피한다”는 주장의 원출처이자, Dohmatob et al. (2024a)의 선형 프레임워크를 누적 설정으로 확장한 Theorem 1·2 의 출처. Alemohammad et al. (2023)의 “지연일 뿐”과 대비해 붕괴 정의가 결론을 바꾼다는 논지를 세울 때 인용. 2024년 4월 이후 이 논문을 전제로 한 후속 연구(실제 데이터 비율·스케줄·필터링)와의 관계를 정리하는 시작점.

💡 Key Takeaway “재귀의 저주”는 데이터를 버린다는 가정 위에 서 있었다. 이 논문은 그 가정을 바꾸면 선형 회귀에서는 오차가 $\pi^{2}/6$ 배로 유계되고 심층 모델에서도 붕괴가 사라지거나 크게 느려짐을 보였다. 그러나 “유계”와 “다양성 유지”는 다른 문제이며, 후속 연구는 어떤 지표로 어떤 붕괴를 재는지를 먼저 고정해야 한다.