You know maize mean?
Unsupervised Domain Clusters in Pretrained Language Models
0. Summary
기본 정보 : ArXiv,2020.04.05 (ACL 2020), Unsupervised Domain Clusters in Pretrained Language Models
연구 배경
NLP에서 “인도메인(in-domain) 데이터”라는 개념은 지나치게 단순하고 모호하게 쓰여 왔다. 텍스트는 주제, 문체, 격식 수준, 장르 등 수많은 언어적 측면에서 변하는데, 관행적으로는 “하나의 출처(corpus)에서 온 데이터가 하나의 도메인” 이라는 Koehn & Knowles(2017)식 정의가 통용된다. 그러나 “의학 텍스트”라는 라벨 하나가 생의학 논문과 의사-환자 대화를 함께 가리키듯, 같은 출처 안에도 이질적인 텍스트가 섞이고, 서로 다른 출처에도 비슷한 성질의 문장이 존재한다. 게다가 Common Crawl 같은 대규모 웹 크롤 데이터에는 도메인 라벨 자체가 없어 도메인 특화 시스템을 만들기가 어렵다. 기존의 도메인 데이터 선별(domain data selection) 표준인 Moore & Lewis(2010)의 cross-entropy difference는 n-gram 언어 모델에 기반하므로 인도메인 집합에서 관측된 n-gram 너머로 일반화하지 못하고, 학습에 쓰인 소규모 인도메인·일반 도메인 코퍼스에 묶인다는 한계가 있었다.
제안 방법
대규모 사전학습 언어 모델(BERT, RoBERTa, DistilBERT, GPT-2, XLNet)의 마지막 은닉 상태를 토큰 평균 풀링(average pooling) 해 문장 벡터를 만들고, 여기에 가우시안 혼합 모델(GMM)을 적합해 라벨 없이 문장을 군집화한 뒤 실제 도메인 라벨과의 순도(purity) 를 측정한다. 이 관찰을 바탕으로 소량의 인도메인 단일어 문장만으로 대규모 혼합 코퍼스에서 같은 도메인의 문장을 고르는 두 방법을 제안한다. Domain-Cosine 은 인도메인 문장 벡터의 평균을 질의 벡터로 삼아 코사인 유사도로 순위를 매기는 검색 방식이고, Domain-Finetune 은 인도메인 문장을 양성, 일반 코퍼스에서 뽑은 문장을 음성으로 두어 사전학습 LM을 이진 분류기로 미세조정하는 양성-미표기(positive-unlabeled, PU) 학습 방식이다. 음성 표본에 숨은 인도메인 문장이 섞이는 문제는 Domain-Cosine 순위의 하위 2/3에서만 음성을 뽑는 사전 순위화(pre-ranking) 음성 샘플링 으로 완화한다. 또한 기존 다도메인 독-영 벤치마크의 train/dev/test 중복 문제를 발견해 중복이 없는 새 데이터 분할 을 공개했다.
발견 사실
5개 도메인(자막, 의학, 법률, 코란, IT) 각 2,000문장을 군집화했을 때 MLM 계열 모델의 순도는 $k=5$ 에서 BERT-base 87.66%, $k=15$ 에서 RoBERTa-large 89.94% 에 이르렀고, LDA(24.31%)나 word2vec(53.65%)은 물론 자기회귀 모델인 GPT-2(70.30%)와 XLNet(55.72%)보다 뚜렷이 높았다(Table 1). 오분류 문장은 평균 11.62 토큰으로 전체 평균 20.5 토큰보다 훨씬 짧았고, IT 군집으로 끌려간 597개 이상치 중 340개가 숫자를 포함했으며, 자막 군집으로 끌려간 372개 중 61.2%가 인칭대명사나 물음표를 포함했다(Figure 3, Table 2). 도메인 중심 벡터 간 코사인 유사도와 교차 도메인 BLEU 사이에는 Pearson 상관 0.81이 관측되었다(Figure 4). 데이터 선별 실험에서는 인도메인 1.45M 문장 풀에서 도메인당 2,000 문장만으로 50만 문장을 골랐을 때 Domain-Finetune이 평균 BLEU 41.26으로 Moore-Lewis(40.88), Domain-Cosine(40.46), 오라클(40.34), 전체 데이터(40.22)를 모두 넘었고(Table 6), 오라클 대비 재현율은 최소 97.5% 로 Moore-Lewis(89.4%)와 Domain-Cosine(78.8%)의 최솟값을 크게 앞섰다(Table 7).
핵심 기여
- 도메인의 데이터 주도적 정의 : 사전학습 LM의 문장 표현이 추가 감독 없이 도메인별로 군집을 이룬다는 것을 GMM 순도로 정량화하고, “출처 = 도메인”이라는 관행 대신 표현 공간의 군집을 도메인의 정의로 삼자고 제안했다. MLM 계열이 자기회귀 계열과 word2vec을 일관되게 능가한다는 모델 계열 간 차이도 함께 보였다.
- 소량 인도메인 데이터만 쓰는 선별 방법 : 벡터 공간 검색(Domain-Cosine)과 PU 미세조정(Domain-Finetune, 사전 순위화 음성 샘플링 포함)이라는 두 방법으로 도메인 라벨 없이 데이터를 고르며, 두 방법 모두 Moore-Lewis 대비 BLEU와 오라클 대비 재현율에서 경쟁력 있거나 더 나은 결과를 얻었다.
- 벤치마크 분할 수정 : Koehn & Knowles(2017)와 Müller et al.(2019) 분할 모두 train과 dev/test 사이에 중복이 있음을 발견하고, 중복 문장쌍 제거(코란 533,128 → 17,982 쌍)와 자막 50만 쌍 상한을 적용한 새 분할을 공개해, 과적합된 체크포인트가 선택되는 문제를 막았다.
관련 개념
도메인이란 무엇인가: 출처 기반 정의와 데이터 주도적 정의
도메인(domain) 은 기계번역과 NLP 전반에서 “학습 데이터의 분포”를 가리키는 데 흔히 쓰이는 말이지만, 그 정의는 놀라울 만큼 느슨합니다. 이 논문은 바로 그 느슨함이 도메인 적응 연구의 출발점부터 흔들리게 만든다고 보고, 사전학습 언어 모델의 표현 공간에서 스스로 떠오르는 군집 을 도메인의 조작적 정의로 제안합니다.
📚 1. 두 가지 정의의 대비
| 구분 | 출처 기반 정의 (Koehn & Knowles, 2017) | 데이터 주도적 정의 (본 논문) |
|---|---|---|
| 정의 | “특정 출처의 코퍼스가 하나의 도메인이며, 주제·장르·문체·격식에서 다른 도메인과 다를 수 있다” | 사전학습 LM 표현 공간에서 문장이 이루는 군집 |
| 라벨 | 사람이 출처에 따라 부여 | 라벨 불필요, 비지도 |
| 문제점 | 같은 출처 안의 이질성, 다른 출처 간 유사성을 무시 | 군집 수 $k$ 를 정해야 하고, 모델 선택에 의존 |
| 예시 | “의학 텍스트”가 논문과 임상 대화를 함께 지칭 | 법률 코퍼스 속 “Viruses and virus-like organisms” 문장이 의학 군집에 배정됨 |
논문은 Section 2.1에서 단일 웹 크롤 코퍼스조차 수많은 문체·주제·레지스터를 담고 있으므로, 출처 라벨보다 문장 자체의 성질 로 도메인을 정해야 한다고 주장합니다.
🧭 2. 가설과 검증 전략
저자들의 가설은 간단합니다. 비슷한 도메인의 텍스트는 비슷한 맥락에서 등장하므로, 수십억 토큰으로 사전학습된 LM은 도메인 정보를 담은 표현 을 학습했을 것이라는 것입니다. 이 가설은 세 단계로 검증됩니다.
- 여러 사전학습 LM으로 다도메인 문장을 임베딩하고 GMM으로 군집화해 순도를 측정한다(Section 2).
- 군집 구조가 하류 과제와 연결되는지, 교차 도메인 번역 성능과의 상관으로 확인한다(Section 3).
- 군집 성질을 이용한 데이터 선별 방법을 제안하고 NMT로 평가한다(Section 4).
🔍 3. 왜 “프로빙(probing)” 연구에서 빠져 있었나
BERT류 모델에 대한 기존 프로빙 연구(Tenney et al., 2019; Goldberg, 2019; Clark et al., 2019)는 형태·구문·의미 정보에 집중했습니다. 논문은 데이터가 어디서 왔는가 라는 분포 수준의 정보가 이 맥락에서 간과되어 왔다고 지적하며, 도메인 군집 분석을 표현 분석(BERTology)의 한 축으로 자리매김합니다.
💡 Key Takeaway 이 논문의 출발점은 “도메인을 어떻게 정의할 것인가”입니다. 사람이 붙인 출처 라벨 대신 표현 공간의 군집 을 도메인으로 보자는 프레이밍이 이후 모든 실험을 관통합니다.
비지도 도메인 군집화: 평균 풀링 + GMM + 순도
비지도 도메인 군집화 실험은 이 논문의 핵심 관찰을 제공합니다. 방법은 의도적으로 단순하게 설계되어 있어, 높은 순도가 정교한 기법이 아니라 사전학습 표현 자체 에서 나온다는 점을 분명히 합니다.
🧮 1. 문장 표현과 군집화 절차 (Section 2.2, Appendix A.3)
| 단계 | 설정 |
|---|---|
| 문장 벡터 | 마지막 은닉층(softmax 직전)의 토큰 표현을 평균 풀링. 다른 층을 쓰면 더 나을 수 있으나 후속 연구로 남김(각주 4) |
| 차원 축소 | 선택적으로 PCA($n=50$)를 적용해 군집화 속도와 시각화를 돕는다 |
| 군집 모델 | GMM, 전체 공분산(full covariance), 수렴 또는 최대 150 EM 반복(scikit-learn) |
| 군집 수 | $k\in{5,10,15}$. 실제 도메인은 5개이지만 유연성을 늘렸을 때의 변화를 본다 |
| 데이터 | Koehn & Knowles(2017) 다도메인 코퍼스의 영어 쪽, 도메인당 2,000 문장(총 10,000) |
| 반복 | 무작위성이 있는 경우 5회 반복, 평균과 분산 보고 |
GMM을 고른 이유는 K-means와 달리 소프트 할당 이 가능해, 한 문장이 여러 도메인의 혼합에서 나왔다고 보는 관점과 맞기 때문입니다(각주 3).
📏 2. 순도(purity)의 정의
순도는 각 비지도 군집에 그 군집에서 가장 많은 “참” 도메인을 배정한 뒤, 이 다수결 배정에 따른 정확도를 계산하는 지표입니다(Manning et al., 2008). 군집 $\omega_1,\dots,\omega_k$ 와 도메인 $c_1,\dots,c_J$ 에 대해
\[\text{purity}(\Omega, C)=\frac{1}{N}\sum_{i=1}^{k}\max_{j}\lvert \omega_i\cap c_j\rvert\]이며, $k>5$ 인 경우 여러 군집이 같은 도메인에 배정될 수 있습니다. 따라서 $k$ 가 커질수록 순도는 오르는 경향이 있고, 극단적으로 $k=N$ 이면 1이 됩니다. 논문이 $k=5$ 결과를 함께 보고하는 이유가 여기 있습니다.
📊 3. 모델별 순도 결과 (Table 1)
| 모델 | $k=5$ (PCA) | $k=10$ (PCA) | $k=15$ (PCA) | $k=5$ (PCA 없음) | $k=15$ (PCA 없음) |
|---|---|---|---|---|---|
| Random | 15.08 | 16.77 | 17.78 | — | — |
| LDA | 24.31 | 26.73 | 30.79 | — | — |
| word2vec | 53.65 | 68.14 | 73.44 | 45.93 | 76.26 |
| BERT-base | 87.66 | 88.02 | 88.37 | 85.74 | 86.37 |
| BERT-large | 85.64 | 87.61 | 89.07 | 68.56 | 86.99 |
| DistilBERT | 83.68 | 86.31 | 87.53 | 79.00 | 88.14 |
| RoBERTa-base | 79.05 | 86.39 | 86.51 | 70.21 | 81.49 |
| RoBERTa-large | 80.61 | 89.04 | 89.94 | 69.88 | 85.91 |
| GPT-2 | 70.30 | 84.76 | 82.56 | 37.82 | 41.45 |
| XLNet | 55.72 | 68.17 | 72.65 | 30.36 | 48.55 |
세 가지가 눈에 띕니다.
- MLM 계열의 우위 : BERT, DistilBERT, RoBERTa가 모든 설정에서 word2vec과 자기회귀 모델을 앞섭니다. 논문은 MLM이 토큰 표현을 만들 때 문장 전체 맥락 을 쓰는 반면, 자기회귀 모델은 과거 맥락만, word2vec은 제한된 창만 쓰기 때문이라고 해석합니다.
- PCA의 효과는 모델 계열마다 다르다 : GPT-2는 PCA 없이 37.82%였다가 PCA로 70.30%까지 오르지만, MLM은 PCA 유무와 무관하게 높습니다. 두 계열이 정보를 매우 다른 방식으로 인코딩 한다는 뜻입니다.
- LDA의 약세 : LDA는 다도메인 데이터만으로 학습되어 사전학습의 이점이 없습니다(각주 8). 순도 비교는 “군집 알고리즘”의 비교가 아니라 “표현”의 비교로 읽어야 합니다.
🖼️ 4. 시각화
Figure 1은 BERT 평균 풀링 표현을 PCA로 2차원에 투영한 것이며, Figure 2는 같은 점들 위에 $k=5$ GMM이 학습한 각 성분의 평균과 분산을 타원으로 그린 것입니다. 의학·법률·IT 군집은 서로 가깝고, 자막과 코란 군집은 그로부터 떨어져 있으며, 일부 영역에서 도메인이 겹칩니다. 이 겹침이 다음 절의 이상치 분석으로 이어집니다.
💡 Key Takeaway 평균 풀링과 GMM이라는 가장 단순한 조합으로도 MLM 표현은 약 88~90% 순도로 5개 도메인을 복원합니다. 높은 순도의 공로는 기법이 아니라 사전학습 표현 에 있습니다.
이상치 분석: 군집이 틀리는 곳이 알려 주는 것
혼동 행렬 분석(Section 2.6) 은 군집화가 실패하는 사례를 들여다봄으로써, 오분류가 무작위 잡음이 아니라 문장의 실제 성질 을 반영한다는 점을 보여 줍니다. 이는 “출처 기반 도메인 정의가 지나치게 단순하다”는 주장의 직접 증거이기도 합니다.
🔢 1. BERT-base, $k=5$ 혼동 행렬 (Figure 3)
| 참 \ 예측 | IT | Koran | Subtitles | Medical | Law |
|---|---|---|---|---|---|
| IT | 1927 | 0 | 55 | 16 | 2 |
| Koran | 4 | 1767 | 225 | 0 | 4 |
| Subtitles | 47 | 21 | 1918 | 9 | 5 |
| Medical | 340 | 0 | 82 | 1413 | 165 |
| Law | 206 | 0 | 10 | 58 | 1726 |
의학 → IT(340), 코란 → 자막(225), 법률 → IT(206), 의학 → 법률(165)이 주요 혼동입니다. 의학과 법률은 서로를 향해 섞이고(형식적 EU 문서라는 공통점), 코란은 자막 쪽으로 흘러갑니다.
📐 2. 이상치의 통계적 성질
| 관찰 | 수치 |
|---|---|
| 이상치 평균 길이 | 11.62 토큰 (전체 평균 20.5 토큰) |
| IT 군집으로 온 타 도메인 문장 | 597개, 그중 340개(57%)가 숫자 포함 |
| 자막 군집으로 온 타 도메인 문장 | 372개, 그중 228개(61.2%)가 인칭대명사 또는 물음표 포함 (전체 코퍼스 비율은 40%) |
짧은 문장은 정보가 적어 군집을 정하기 어렵고, 숫자는 어느 맥락에나 등장해 도메인 신호가 약하며, 대화체 특징(대명사, 질문)은 구어 전사인 자막 코퍼스의 성질과 겹칩니다. 자막은 또한 가장 덜 주제적인(least-topical) 군집이라 다양한 주제의 문장을 끌어당깁니다.
💬 3. “틀린” 배정이 사실은 합리적인 경우 (Table 2)
| 원 도메인 → 배정 군집 | 예시 문장 |
|---|---|
| 자막 → 코란 | “I am Spa’am, high priest of the boars.” |
| 자막 → 법률 | “…his immediate referral to the International Criminal Court in The Hague.” |
| 자막 → 의학 | “Oxygen supply at 50%.” |
| 법률 → 의학 | ”- Viruses and virus-like organisms” |
| 의학 → 법률 | “This will be introduced by a Regulation adopted by the European Commission.” |
| IT → 의학 | “R65: Harmful: may cause lung damage if swallowed” |
이 사례들은 출처 라벨 기준으로는 오류이지만 내용 기준으로는 타당합니다. 논문은 이를 근거로 데이터 주도적 도메인 배정이 출처 라벨보다 더 나은 도메인 할당을 찾아낼 수 있다 고 주장합니다.
💡 Key Takeaway 오분류의 상당수는 “짧고 숫자가 많거나 대화체인 문장”이거나 “실제로 다른 도메인의 내용을 담은 문장”입니다. 군집의 실패 지점이 오히려 출처 기반 라벨의 한계를 드러냅니다.
다도메인 NMT 실험: 새 데이터 분할과 교차 도메인 평가
다도메인 기계번역 실험(Section 3) 은 두 가지 역할을 합니다. 하나는 벤치마크 데이터의 결함을 바로잡는 것이고, 다른 하나는 “데이터는 많을수록 좋다”가 도메인 간에는 성립하지 않음을 확인해 데이터 선별의 필요성을 세우는 것입니다.
🧹 1. 데이터 분할 수정 (Section 3.1, Table 3)
Koehn & Knowles(2017)의 원 분할과 Müller et al.(2019)의 분할 모두 학습 데이터와 dev/test 데이터 사이에 중복 이 있었습니다. 중복된 개발 집합은 암기를 선호하는 체크포인트 선택을 유도하므로, 암기(Aharoni & Goldberg, 2018)와 환각(Lee et al., 2018)에 취약한 신경 seq2seq 모델에서 특히 위험합니다. 새 분할은 Müller et al.(2019) 분할에서 출발해 (1) train/dev/test 간 중복을 제거하고, (2) 한 원문 또는 번역문에 대해 하나의 번역만 허용하며, (3) 자막을 50만 쌍으로 제한했습니다.
| 도메인 | 원 분할 학습 예제 수 | 새 분할 학습 예제 수 |
|---|---|---|
| Medical | 1,104,752 | 248,099 |
| Law | 715,372 | 467,309 |
| IT | 378,477 | 222,927 |
| Koran | 533,128 | 17,982 |
| Subtitles | 22,508,639 | 14,458,058 (실험에서는 500,000으로 상한) |
코란 코퍼스가 53만에서 1.8만 쌍으로 줄어든 것은 그만큼 중복 문장쌍이 많았다는 뜻입니다.
⚙️ 2. NMT 학습 설정 (Appendix A.1)
| 항목 | 값 |
|---|---|
| 모델 | Transformer Base (Fairseq, transformer_wmt_en_de) |
| 어휘 | 양 언어 합산 코퍼스에서 학습한 공동 BPE 32k, 모든 임베딩 공유 |
| 최적화 | Adam($\beta=(0.9,0.98)$), 초기 학습률 $5\cdot10^{-4}$, inverse_sqrt 스케줄, 워밍업 4,000 스텝 |
| 정규화 | dropout 0.2, attention/activation dropout 0.2, label smoothing 0.1, clip-norm 1.0 |
| 배치 | 최대 4,096 토큰, update-freq 5 |
| 조기 종료 | 도메인별 dev BLEU가 10회 연속 체크포인트에서 개선되지 않으면 중단 |
| 디코딩 | 빔 크기 5 |
| 전처리 | Moses 파이프라인(토크나이즈, 구두점 정규화, truecasing), 100 토큰 초과 문장 제거 |
🔁 3. 교차 도메인 BLEU (Table 4, SacreBLEU)
| 학습 \ 평가 | Medical | Law | Koran | IT | Subtitles |
|---|---|---|---|---|---|
| Medical | 56.5 | 18.3 | 1.9 | 11.4 | 4.3 |
| Law | 21.7 | 59.0 | 2.7 | 13.1 | 5.4 |
| Koran | 0.1 | 0.2 | 15.9 | 0.2 | 0.5 |
| IT | 14.9 | 9.6 | 2.8 | 43.0 | 8.6 |
| Subtitles | 7.9 | 5.5 | 6.4 | 8.5 | 27.3 |
| All | 53.3 | 57.2 | 20.9 | 42.1 | 27.6 |
- 대부분 도메인에서 인도메인 학습이 최고 입니다. 전체 데이터 학습이 도움이 된 곳은 학습 데이터가 극히 적은 코란뿐입니다.
- 자막은 50만 쌍으로 가장 큰 코퍼스인데도 평균 BLEU 기준 뒤에서 두 번째입니다. “더 많은 데이터가 꼭 더 낫지는 않다”(Gascó et al., 2012)는 것을 재확인합니다.
📈 4. 군집 근접성과 교차 도메인 BLEU의 상관 (Figure 4)
임베딩 공간에서 가까운 의학·법률·IT는 서로의 테스트셋에서 상대적으로 높은 BLEU를 내고(의학 모델 → 법률 18.3, IT 11.4 vs 코란 1.9, 자막 4.3), 자막 군집에 가까운 코란 테스트셋에서는 자막 모델이 교차 도메인 중 최고(6.4)입니다. 각 도메인 쌍에 대해 영어 BERT 기반 dev 문장 표현의 중심 벡터 코사인 유사도 와 교차 도메인 BLEU를 그리면 Pearson 상관 0.81 이 나옵니다. 간단한 시각적 군집 분석이 데이터셋 간 관계를 이해하는 도구가 될 수 있다는 뜻이며, 사전학습 표현을 데이터 선별에 쓰자는 동기가 됩니다.
💡 Key Takeaway 수정된 분할 위에서 “인도메인 데이터가 최고, 더 많은 데이터가 꼭 더 낫지는 않음”이 확인되고, 표현 공간의 거리가 번역 전이 성능을 0.81의 상관으로 예측합니다. 올바른 데이터를 고르는 일이 중요하다는 것이 데이터 선별 실험의 전제입니다.
도메인 데이터 선별: Domain-Cosine과 Domain-Finetune
도메인 데이터 선별(domain data selection) 은 소량의 인도메인 예제가 주어졌을 때 대규모 코퍼스에서 관심 도메인에 가장 가까운 예제를 고르는 과제입니다. 고른 데이터는 도메인 특화 모델을 처음부터 학습하거나, 일반 모델을 미세조정하거나, 능동학습에서 주석 우선순위를 정하는 데 쓰입니다. 이 논문은 사전학습 LM의 도메인 군집 성질을 두 가지 방식으로 활용합니다.
📐 1. 기준선: Moore-Lewis cross-entropy difference (2010)
인도메인 LM $P_I$ 와 일반 도메인 LM $P_G$ 로 각 후보 문장 $s$ 를 점수화합니다.
\[\text{score}(s)=H_I(s)-H_G(s),\qquad H(s)=-\frac{1}{|s|}\log P(s)\]점수가 낮을수록(인도메인 LM이 상대적으로 잘 설명할수록) 인도메인에 가깝다고 보고 상위 문장을 고릅니다. WMT 2019 우승 시스템에도 쓰인 검증된 방법이지만, n-gram LM 이므로 인도메인 집합에서 본 n-gram 너머로 일반화하지 못하고 소규모 학습 코퍼스에 묶입니다. 논문은 KenLM 기반 Pamela Shapiro의 구현을 사용했습니다.
🧭 2. Domain-Cosine: 벡터 공간 검색
- 소규모 인도메인 집합의 문장 벡터(Section 2와 같은 평균 풀링)를 원소별 평균 해 질의 벡터 $\mathbf{q}$ 를 만듭니다.
- 일반 코퍼스의 각 문장 벡터 $\mathbf{v}_s$ 와의 코사인 유사도로 순위를 매깁니다.
- 상위 $k$ 문장을 선택합니다.
학습이 전혀 필요 없는 가장 단순한 방법입니다.
🎯 3. Domain-Finetune: 양성-미표기(PU) 이진 분류
사전학습 LM을 이진 분류 로 미세조정합니다. 양성은 인도메인 문장, 음성은 일반 코퍼스에서 무작위로 뽑은 문장입니다. 학습된 분류기를 일반 코퍼스에 적용해 (a) 양성으로 분류된 문장을 모두 고르거나(Domain-Finetune-Positive), (b) 분류기 출력 확률 순위의 상위 $k$ 를 고릅니다(Domain-Finetune-Top-k). 일반 코퍼스에 라벨 없는 인도메인 문장이 섞여 있으므로 이것은 문서 집합 확장을 위한 양성-미표기 학습 의 한 사례입니다(Jacovi et al., 2019).
| 항목 | 값 (Appendix A.4) |
|---|---|
| 미세조정 에폭 | 5 |
| 최적화 | Adam, 초기 학습률 $2\cdot10^{-5}$ |
| 배치 | 256 문장 (GPU 4장, GPU당 64) |
| 모델 | DistilBERT (실험 속도를 위해) |
🧪 4. 사전 순위화 음성 샘플링 (Negative Sampling with Pre-ranking, Table 5)
무작위 음성 샘플링의 문제는 일반 코퍼스에 숨은 인도메인 문장이 음성으로 뽑혀 분류기를 망칠 수 있다는 점입니다. 특히 해당 도메인의 학습 데이터가 클수록 이 오염이 심해져 정밀도가 떨어집니다. 해결책은 편향된 음성 샘플링입니다. 먼저 Domain-Cosine으로 일반 코퍼스의 순위를 매긴 뒤, 순위 하위 2/3 에서만 음성을 뽑습니다.
| 도메인 | 사전 순위화 없음 p / r / F1 | 사전 순위화 p / r / F1 |
|---|---|---|
| Subtitles | 0.722 / 0.984 / 0.833 | 0.964 / 0.978 / 0.971 |
| Law | 0.761 / 0.940 / 0.841 | 0.944 / 0.940 / 0.942 |
| Medical | 0.821 / 0.916 / 0.866 | 0.929 / 0.920 / 0.925 |
| IT | 0.848 / 0.956 / 0.898 | 0.955 / 0.980 / 0.967 |
| Koran | 0.966 / 0.958 / 0.962 | 0.994 / 0.974 / 0.984 |
보류 집합의 이진 분류 성능에서 사전 순위화가 모든 도메인의 F1을 높였고, 학습 데이터가 가장 큰 자막에서 정밀도가 0.722 → 0.964로 가장 크게 개선되었습니다. 이후 모든 실험은 사전 순위화를 사용합니다.
💡 Key Takeaway Domain-Cosine은 “임베딩 평균과 코사인”, Domain-Finetune은 “PU 이진 분류”라는 단순한 레시피입니다. 음성 표본의 오염을 Domain-Cosine 순위로 걸러내는 사전 순위화가 두 방법을 하나의 파이프라인 으로 묶습니다.
데이터 선별 실험 결과: BLEU와 오라클 대비 정밀도·재현율
데이터 선별 실험(Section 4.2–4.4) 은 도메인마다 2,000개의 dev 문장만을 인도메인 집합으로 쓰고, 5개 도메인 학습 데이터를 모두 합친 1,456,317 문장을 일반 코퍼스로 삼습니다. 모든 도메인의 인도메인 데이터 크기를 덮도록 상위 50만 문장 을 고른 뒤, 교차 도메인 실험과 같은 Transformer 설정으로 NMT를 학습합니다.
🏁 1. BLEU 결과 (Table 6, SacreBLEU)
| 방법 | Medical | Law | Koran | IT | Subtitles | 평균 |
|---|---|---|---|---|---|---|
| Random-500k | 49.8 | 53.3 | 18.5 | 37.5 | 25.5 | 36.92 |
| Moore-Lewis-Top-500k | 55.0 | 58.0 | 21.4 | 42.7 | 27.3 | 40.88 |
| Domain-Cosine-Top-500k | 52.7 | 58.0 | 22.0 | 42.5 | 27.1 | 40.46 |
| Domain-Finetune-Top-500k | 54.8 | 58.8 | 21.8 | 43.5 | 27.4 | 41.26 |
| Domain-Finetune-Positive | 55.3 | 58.7 | 19.2 | 42.5 | 27.0 | 40.54 |
| Oracle (인도메인 전체) | 56.5 | 59.0 | 15.9 | 43.0 | 27.3 | 40.34 |
| All (전체 데이터) | 53.3 | 57.2 | 20.9 | 42.1 | 27.6 | 40.22 |
- 모든 선별 방법이 무작위 선택보다 크게 낫습니다.
- 평균적으로 모든 선별 방법이 오라클과 전체 데이터보다 높습니다. 다도메인 환경에서 데이터가 많다고 좋은 것이 아니며 선별이 유용하다는 것을 다시 보여 줍니다. 특히 코란은 인도메인 데이터가 1.8만 쌍뿐이라 오라클(15.9)이 가장 낮고, 유사 문장을 끌어온 선별 방법(21.4~22.0)이 훨씬 높습니다.
- 선별 방법끼리 비교하면 Moore-Lewis > Domain-Cosine 이고 Domain-Finetune이 최고 입니다. 대규모 사전학습 모델을 미세조정하는 것이 선별 과제에 이득이라는 뜻입니다.
- Domain-Finetune-Positive는 Top-500k보다 낮지만 Domain-Cosine보다 높으며, 선택 문장 수를 정할 필요가 없다 는 실용적 장점이 있습니다.
🎯 2. 오라클 대비 정밀도·재현율 (Table 7, 50만 문장 선택)
| 도메인 | Moore-Lewis p / r | Domain-Cosine p / r | Domain-Finetune p / r |
|---|---|---|---|
| Medical | 0.476 / 0.955 | 0.391 / 0.788 | 0.485 / 0.975 |
| Law | 0.836 / 0.894 | 0.841 / 0.899 | 0.902 / 0.965 |
| Koran | 0.350 / 0.985 | 0.360 / 0.989 | 0.360 / 0.998 |
| IT | 0.441 / 0.985 | 0.382 / 0.857 | 0.447 / 0.998 |
| Subtitles | 0.899 / 0.899 | 0.916 / 0.916 | 0.957 / 0.957 |
| 평균 | 0.600 / 0.944 | 0.578 / 0.890 | 0.630 / 0.979 |
Domain-Finetune의 재현율 최솟값은 97.5% 이며, Moore-Lewis(89.4%)와 Domain-Cosine(78.8%)의 최솟값을 크게 앞섭니다. 정밀도가 낮아 보이는 도메인(코란 0.35 등)은 50만 문장을 고정으로 고르는데 실제 인도메인 데이터가 그보다 훨씬 적기 때문이며, 그 경우 나머지는 가장 가까운 타 도메인 문장으로 채워집니다. 1.45M 문장 중 도메인당 2,000 문장만으로 이 수준의 재현율을 얻었고, 그것도 증류 모델인 DistilBERT로 얻은 결과라는 점을 저자들은 강조합니다.
🔬 3. 결과를 읽는 두 가지 관점
- 표현의 품질이 선별 품질로 직결된다 : 군집 순도 실험에서 MLM이 우세했고, 선별에서도 MLM 기반 방법이 n-gram 기반 Moore-Lewis를 넘었습니다. 논문은 더 큰 비증류 모델을 쓰면 계산 비용 대가로 더 나은 선별을 기대할 수 있다고 봅니다.
- 검색보다 미세조정 : Domain-Cosine은 단순하고 학습이 없지만 Moore-Lewis에 다소 못 미쳤습니다. 분류 경계를 데이터로 학습하는 Domain-Finetune이 꾸준히 가장 좋았습니다.
💡 Key Takeaway 2,000개의 인도메인 문장과 DistilBERT 분류기만으로 오라클 대비 재현율 97.5% 이상을 달성하고, BLEU에서는 전체 인도메인 데이터로 학습한 오라클까지 평균적으로 넘어섭니다. 올바른 데이터를 적게 고르는 것 이 많은 데이터를 다 쓰는 것보다 낫습니다.
관련 연구 속 위치와 한계, 열린 방향
관련 연구(Section 5) 와 결론(Section 6) 은 이 논문을 데이터 선별 연구의 계보 안에 놓고, 저자들이 명시한 후속 방향과 함께 이 글의 관점에서 본 한계를 정리할 자리를 줍니다.
🗂️ 1. 데이터 선별 연구의 계보
| 계열 | 대표 연구 | 본 논문과의 차이 |
|---|---|---|
| n-gram / 카운트 기반 | Moore & Lewis(2010), Axelrod et al.(2011), Axelrod(2017) | 인도메인에서 관측된 n-gram 너머로 일반화 불가 |
| RNN LM 기반 | Duh et al.(2013) | 자기회귀 LM이라 문장 전체 맥락을 쓰지 못함. 군집 실험에서 자기회귀 모델이 MLM에 뒤진 것과 일치 |
| 벡터 검색 기반 | Ruder & Plank(2017, word2vec), Duma & Menzel(2016, paragraph vector), Wang et al.(2017, NMT 내부 표현), Bapna & Firat(2019) | 사전학습 MLM 표현을 쓴 것은 본 논문이 처음 |
| 잠재 도메인 유도 | Hasler et al.(2014, LDA), Cuong et al.(2016) | 전용 확률 모델 대신 범용 사전학습 표현 활용 |
| BERT 기반 과제 데이터 선별 | Ma et al.(2019) | 모든 과제·도메인의 감독을 가정. 본 논문은 소량 인도메인 데이터만 필요 |
| 도메인 적응적 사전학습 | Gururangan et al.(2020) | 인도메인 추가 사전학습의 중요성을 보임. 본 논문의 선별 방법과 상호 보완적 |
논문은 대규모 사전학습 LM을 비지도 도메인 군집화와 NMT 데이터 선별 양쪽 에 처음 적용한 연구라고 스스로를 자리매김합니다.
🧭 2. 저자들이 제시한 후속 방향
- 다국어 LM(XLM, XLM-R 등)을 이용한 다국어 데이터 선별
- 도메인 커리큘럼 학습 과의 결합(Zhang et al., 2019; Wang et al., 2019b)
- 잡음이 많은 웹 크롤 데이터 에 적용(Junczys-Dowmunt, 2018)
- NMT 외의 과제로 확장(Gururangan et al., 2020)
- 도메인 불일치에 매우 민감한 비지도 NMT 에 적용(Marchisio et al., 2020; Kim et al., 2020)
- 더 크고 나은 사전학습 LM이 나올수록 군집 품질이 개선될 것이라는 전망
⚠️ 3. 한계와 열린 방향
- $k$ 를 알고 시작한다 : GMM에 도메인 수(5)를 넣으므로, 완전한 비지도라기보다 한 단계의 사전 정보가 들어간 설정입니다. $k=10, 15$ 결과는 유연성을 보여 주지만 “몇 개의 도메인이 있는가”를 데이터에서 추정하는 문제는 다루지 않습니다.
- 도메인이 서로 꽤 다르다 : 자막·코란·법률처럼 출처가 뚜렷이 갈리는 5개 도메인입니다. 뉴스 안의 정치·스포츠처럼 세부 도메인에서도 같은 순도가 나오는지는 별개 문제입니다.
- 군집의 원인을 분리하지 않는다 : 이상치 분석은 길이·숫자·대화체가 배정에 영향을 준다는 것을 보여 주지만, 군집이 주제 때문인지 문체·길이·형식 때문인지 통제 실험으로 가르지는 않습니다. 자막(짧은 구어체)과 법률(긴 문어체)은 길이만으로도 갈릴 수 있습니다.
- 표현 추출 방식이 거칠다 : 마지막 층 토큰 평균이라는 한 가지 풀링만 씁니다. 논문 스스로 다른 층이 더 나을 수 있다고 적었고(각주 4), CLS 토큰이나 문장 임베딩 전용 모델에서는 결과가 달라질 수 있습니다.
- 언어쌍과 방향 : 독-영 하나뿐이고 임베딩은 영어 쪽 문장에서만 뽑습니다. 선별 모델은 DistilBERT로 고정되어 있어, 더 큰 모델에서의 이득은 추정에 그칩니다.
- 정밀도 지표의 해석 : 50만 문장을 고정으로 고르는 설계라 인도메인 데이터가 적은 도메인(코란, IT)에서는 정밀도가 구조적으로 낮습니다. 재현율이 주된 비교 축이 됩니다.
- 표현 분석 관점에서의 확장 : 라벨 없이 표현 공간의 구조만으로 데이터 속성을 복원하는 이 설계는, 안전 연구에서 “유해/무해”, “탈옥 시도/정상 요청”이 표현 공간에서 비지도로 갈리는지 확인하는 실험으로 그대로 옮길 수 있습니다. Domain-Finetune의 PU 구성 역시 소량의 양성 사례(예: 특정 공격 유형)만으로 대규모 로그에서 유사 사례를 찾는 데 재사용 가능합니다. 2020년 이후의 디코더 전용 LLM 은닉 상태에서 같은 현상이 유지되는지, 모델이 커질수록 도메인 군집이 더 뚜렷해지는지 희석되는지는 추적할 가치가 있는 질문입니다.
💡 Key Takeaway 방법은 단순하지만 “도메인은 표현 공간의 군집이다”라는 프레이밍이 명확하고, 관찰(군집화)을 곧바로 응용(데이터 선별 → BLEU)으로 연결해 실용성을 입증했습니다. 가장 약한 지점은 무엇이 군집을 만드는가 를 통제 실험으로 보여 주지 않은 것이며, 이것이 후속 연구의 자연스러운 출발점입니다.