You know maize mean?
Activation Probes Are Reliable With a Handful of Positive Examples
0. Summary
- 기본 정보 : ArXiv,2026.10.29, Activation Probes Are Reliable With a Handful of Positive Examples
- 연구 배경 : 고도화된 AI의 드문 비정렬(misalignment) 행동을 감시하려면 활성 프로브(activation probe)가 유력한 수단이지만, 현실에서는 정렬된(aligned) 행동의 예시는 넘치는 반면 비정렬 예시는 손에 꼽을 만큼만 확보된다. 모델이 안전하게 학습되었거나, 기만적으로 정렬되어 들키지 않을 때만 위험 행동을 드러내는 경우가 그렇다. 기존 저데이터 프로빙 연구는 두 클래스를 같은 비율로 줄이거나 양성 비율 5% 정도의 온건한 불균형만 다뤘기 때문에, “양성 몇 개 대 음성 수천 개”라는 극단적 희소 설정은 검토되지 않았다.
- 제안 방법 : 선형(Linear)·SAE·코사인 유사도(Cosine Similarity)·어텐션(Attention) 프로브와 네 가지 집계 함수(Mean·Max·Last Token·Softmax)를 조합해, 오프폴리시(Enron-Spam 스팸 탐지, Gemma-2-9b 20층 및 Qwen3 0.6B–32B)와 온폴리시(MASK 정직성 벤치마크, Llama-3.3-70B-Instruct 50층) 두 과제에서 양성 1–150개 범위로 세 가지 실험을 수행한다. (1) 음성 1750개(Enron) 또는 340개(MASK)를 모두 쓰는 불균형 학습 vs 양성 수만큼만 음성을 쓰는 균형 학습, (2) gpt-4o-mini로 양성을 2x–20x 합성 증강하는 LLM 업샘플링, (3) Qwen3 모델 크기에 따른 양성 표본 효율. 모델이 정답을 “아는” 표본만 남기는 데이터 필터링을 거치고, 평가는 50/50 균형 테스트 세트에서 AUC와 FPR 0.01에서의 Recall로 한다. 주 결과에서는 검증 세트 없이 고정 하이퍼파라미터를 쓴다.
- 발견 사실 : 양성 1–10개 구간에서 상위 5개 프로브 기준 불균형 학습이 균형 학습보다 Enron-Spam에서 평균 +0.045 AUC / +0.093 Recall, MASK에서 +0.055 AUC / +0.034 Recall 높다. 양성 50–150개에서는 이득이 0.000 / +0.015(Enron), +0.007 / +0.041(MASK)로 줄어든다. 분포 밖(OOD) SMS 스팸에서는 +0.012 AUC / -0.031 Recall(1–10개), -0.011 / -0.059(50–150개)로 이득이 전이되지 않는다. LLM 업샘플링은 2x에서 +0.026 AUC / +0.104 Recall로 실제 양성을 두 배로 늘린 것과 비슷한 효과를 내지만 10x·20x에서는 성능이 떨어진다. Qwen3 계열에서는 크기가 클수록 양성 표본 효율이 높아지는 경향이 있으나 단조적이지는 않다.
- 핵심 기여 :
- 음성 과잉 활용의 효과 확인 : 양성이 극히 적을 때 풍부한 음성 표본을 모두 쓰는 불균형 학습이 균형 학습보다 분포 내 성능을 높인다는 것을 두 과제·두 모델에서 보였다.
- LLM 업샘플링의 한계 지점 측정 : 적당한 업샘플링은 실제 데이터 약 2배에 해당하는 이득을 주지만, 과도하면 합성 데이터의 문체에 과적합해 성능이 떨어진다는 것을 보였다.
- 규모에 따른 긍정적 추세 : 0.6B–32B Qwen3 모델에서 큰 모델일수록 적은 양성으로도 프로브가 잘 작동하는 경향을 보고해, 모델 규모가 커져도 프로빙이 유효할 수 있다는 신호를 제시했다.
Abstract 쉬운 설명(Gemini)
관련 개념
양성 표본 희소 설정과 비정렬 감시
LLM의 자율성이 커질수록, 모델이 사용자 의도와 다른 목표를 숨기는 의도적 비정렬(intentional misalignment) 의 위험도 커집니다. 출력만 감시해서는 부족할 수 있으므로, 모델 내부 상태를 직접 읽는 활성 프로브(activation probe) 가 제안되어 왔습니다. 이 접근은 비정렬된 에이전트가 자신의 상태와 목표(기만 의도 포함)에 대해 일관되고 탐지 가능한 표현을 형성한다는 가정에 기댑니다. 이런 표현의 존재 여부는 논쟁 중이지만, 기만 프로브(deception probe)를 학습한 최근 연구는 이 가설이 여전히 그럴듯하다고 시사합니다.
🎯 1. 연구 질문
검증된 비정렬 사례가 1–3개뿐일 때도 신뢰할 수 있는 프로브를 학습할 수 있는가?
이 질문은 미래에 모델이 정렬된 행동 예시는 풍부하게 만들어 내지만 비정렬 사례는 거의 남기지 않는 현실적 시나리오에서 나옵니다. 저자들은 희소성이 생기는 이유 두 가지를 듭니다.
| 이유 | 설명 | 저자의 관심 |
|---|---|---|
| (a) 안전 학습의 성공 | 모델이 안전하지 않은 행동을 피하도록 잘 학습됨 | - |
| (b) 기만적 정렬 | 모델이 드물게, 혹은 들키지 않는다고 믿을 때만 위험 행동을 보임 | 이 상황에 대비하는 것이 목표 |
📚 2. 기존 저데이터 프로빙 연구와의 차이
| 기존 연구 | 다룬 내용 | 희소성 모사 방식 |
|---|---|---|
| McKenzie et al. [6] | 고위험 상호작용 탐지 활성 프로빙 | 두 클래스를 동일하게 축소 |
| Tillman & Mossing [7] | 과제별 프롬프트 프로빙과 SAE 피처 | 동일 축소 또는 양성 비율 5% |
| Kantamneni et al. [8] | SAE 피처의 희소 프로빙 | 동일 축소 또는 양성 비율 5% |
이 연구는 양성 클래스의 극단적 희소라는 현실적 설정에서 프로빙을 연구하며, 거꾸로 풍부한 음성 표본을 활용할 수 있는지를 묻는다는 점에서 다릅니다.
📌 3. 논문이 내세우는 두 기여
- 추가 음성 표본이 도움이 된다 : 양성이 극히 적을 때, 적은 양성과 많은 음성으로 학습한 활성 프로브가 균형 잡힌 수의 표본으로 학습한 것보다 대체로 낫습니다.
- LLM 업샘플링 = 실제 데이터 2배 : 큰 LLM 업샘플링 예산은 실제 표본 수를 약 2배로 늘린 것과 동등한 성능 향상을 줍니다.
본문 §3.3의 규모 추세는 서론의 기여 목록에는 포함되지 않았지만 초록에서는 세 번째 발견으로 언급됩니다.
💡 Key Takeaway 이 논문의 문제 설정은 “몇 개 대 수천 개(few vs. thousands)”입니다. 희소한 양성 표본을 억지로 늘리기 전에, 이미 손에 있는 수천 개의 음성 표본을 버리지 않고 모두 쓰는 것이 얼마나 도움이 되는지가 첫 번째 질문입니다.
네 가지 프로브 계열과 집계 함수
특정 층의 활성 행렬을 $A\in\mathbb{R}^{S\times D}$ 라 하고, 토큰 위치 $s$ 의 활성 벡터를 $a_{s}\in\mathbb{R}^{D}$ 라 합니다. SAE 기반 방법에서는 SAE 인코더가 낸 희소 피처 활성 행렬을 $Z\in\mathbb{R}^{S\times W}$ ( $W$ 는 SAE 폭)로 둡니다.
🧮 1. 프로브별 점수 함수 (Table 1)
| 프로브 유형 | 점수 함수 | 설명 |
|---|---|---|
| Linear Probe | $\theta^{T}\mathrm{Agg}(A)$ | 방향 벡터 $\theta\in\mathbb{R}^{D}$ 를 학습 |
| SAE Probe | $\theta^{T}\mathrm{Agg}(Z_{k})$ | 전체 latent가 아니라 양·음성 클래스 간 평균 절대 차이가 가장 큰 top- $k$ 피처 $Z_{k}$ 를 먼저 고르고, 그 위에서 $\theta\in\mathbb{R}^{k}$ 를 학습 |
| Cosine Similarity Probe | $\cos(\mathrm{Agg}(A),\bar{a}^{+})-\cos(\mathrm{Agg}(A),\bar{a}^{-})$ | 미리 계산한 양성 중심 $\bar{a}^{+}$ 와 음성 중심 $\bar{a}^{-}$ 에 대한 코사인 유사도 차이. 비모수(non-parametric) |
| Attention Probe | $\text{softmax}(A\theta_{q})^{T}A\theta_{v}$ | 쿼리 $\theta_{q}$ 와 값 $\theta_{v}$ 벡터를 따로 학습해 토큰 위치별 중요도를 가중 |
어텐션 프로브를 제외한 모든 프로브는 먼저 집계 함수 $\mathrm{Agg}(\cdot)$ 로 벡터 시퀀스를 단일 벡터로 만듭니다.
🔗 2. 네 가지 집계 함수
| 집계 | 수식 | 의미 |
|---|---|---|
| Mean | $\frac{1}{S}\sum a_{s}$ | 전 토큰 평균 |
| Max | $\max_{s}A$ | 토큰 차원에 대한 최댓값 |
| Last Token | $a_{S}$ | 마지막 토큰의 활성 |
| Softmax | $\sum_{s}w_{s}a_{s}$ | $A$ 의 시퀀스 차원에 대한 softmax로 유도한 가중치의 가중합 |
Figure 3 캡션에 따르면 전체 프로브 아키텍처 수는 13개입니다(4개 프로브 유형 × 4개 집계에서 어텐션 프로브는 집계를 쓰지 않으므로 3×4+1 = 13으로 계산됩니다).
📐 3. 코사인 유사도 프로브와 Mass-Mean 프로브의 관계 (Appendix A.2)
코사인 유사도 프로브는 Mass-Mean Probe(MMP) 와 선형 판별 분석(LDA) 에 개념적으로 가깝습니다.
| 방법 | 방향/점수 | 비고 |
|---|---|---|
| MMP [13] | $\theta_{mm}=\mu_{+}-\mu_{-}$, $p_{mm}(x)=\sigma(\theta_{mm}^{T}x)$ | 양·음성 평균 차이 방향에 대한 투영 |
| MMP-IID [13] | $p_{mm}^{iid}(x)=\sigma(\theta_{mm}^{T}\Sigma^{-1}x)$ | 역공분산으로 백색화. LDA와 동등 |
| 이 논문의 Cosine 프로브 | $\text{score}(x)=\cos(x,\bar{a}^{+})-\cos(x,\bar{a}^{-})$ | 공분산을 쓰지 않는 더 단순한 방법 |
표준 MMP와의 차이는 두 가지입니다. (1) 점수가 투영이 아니라 유사도의 차이이고, (2) 중심 $\bar{a}^{+},\bar{a}^{-}$ 가 시퀀스 차원에 대해 집계(mean·softmax·max·last)된 활성으로 계산됩니다. 저자들은 MMP와 LDA 프로브를 직접 시험하는 것을 향후 과제로 남깁니다.
🧩 4. SAE 프로브의 피처 선택
사전학습된 SAE(Qwen 모델에는 Transcoder)로 $Z=\text{SAE}(A)$ 를 얻은 뒤, [8]의 방법대로 양·음성 클래스 활성의 평균 절대 차이가 가장 큰 top- $k$ 피처 집합 $\mathcal{I}$ 를 고릅니다. $T_{1}$, $T_{0}$ 은 각각 양성·음성 학습 표본 집합입니다.
$$ \mathcal{I}=\underset{i}{\arg\text{top k} }\left|\mathbb{E}_{j\in T_{1} }[Z_{j,i}]-\mathbb{E}_{j\in T_{0} }[Z_{j,i}]\right| $$
저자들이 인정하는 한계는, SAE 피처 활성의 스케일이 서로 다르므로 이 기준이 크기는 크지만 판별력은 낮은 피처를 크기는 작지만 판별력은 높은 피처보다 우선할 수 있다는 점입니다. 각 latent의 평균 활성으로 정규화하면 더 견고하겠지만, [8]은 정규화가 $k<32$ 에서만 성능을 개선하고 큰 $k$ 에서는 비정규화 방법으로 충분하다고 보고했습니다. 이 논문은 훨씬 큰 $k=1024$ 를 쓰므로 원래 정식화를 유지합니다.
💡 Key Takeaway 프로브는 “무엇을 학습하는가”(선형 방향 / SAE 부분공간 위의 방향 / 중심점 / 쿼리·값 벡터)와 “토큰을 어떻게 합치는가”(Mean·Max·Last·Softmax)의 두 축으로 갈립니다. 코사인 프로브는 학습 파라미터가 없어 데이터가 적을 때 유리할 수 있지만, 뒤에서 보듯 합성 데이터에 가장 민감합니다.
과제·모델·층 설정
하나의 오프폴리시(off-policy) 데이터셋과 하나의 온폴리시(on-policy) 데이터셋을 씁니다.
📧 1. 오프폴리시: 스팸 탐지
| 항목 | 설정 |
|---|---|
| 학습 데이터 | Enron-Spam [9] |
| 평가 | Enron-Spam(분포 내), SMS spam 데이터셋 10 |
| 주 모델 | Gemma-2-9b, 20층 이후 활성([8]이 기준 프로브에 가장 좋다고 찾은 층) |
| 규모 실험 모델 | Qwen3-0.6B, 1.7B, 4B, 8B, 14B, 32B |
| Qwen 층 | 각각 15, 15, 18, 18, 24, 32층 이후 활성 |
🗣️ 2. 온폴리시: 정직성 탐지
| 항목 | 설정 |
|---|---|
| 데이터 | MASK 벤치마크 [11] |
| 모델 | Llama-3.3-70B-Instruct, 50층 이후 활성 |
🧱 3. 사용한 모델과 희소 사전 (Table 3)
| 모델 | SAE/Transcoder 릴리스 | 층 | 폭 | L0 |
|---|---|---|---|---|
| Gemma-2-9b | gemma-scope-9b-pt-res | 20 | 16384 | 408 |
| Llama-3.3-70B-Instruct | Goodfire/Llama-3.3-70B-Instruct-SAE-l50 | 50 | - | 121 |
| Qwen-3-0.6B | mwhanna/qwen3-0.6b-transcoders-lowl0 | 15 | 163840 | - |
| Qwen-3-1.7B | mwhanna/qwen3-1.7b-transcoders-lowl0 | 15 | 163840 | - |
| Qwen-3-4B | mwhanna/qwen3-4b-transcoders | 18 | 163840 | - |
| Qwen-3-8B | mwhanna/qwen3-8b-transcoders | 18 | 163840 | - |
| Qwen-3-14B | mwhanna/qwen3-14b-transcoders | 24 | 163840 | - |
- Llama 릴리스는 폭이 공개되지 않았고, Qwen 모델은 L0 값이 없습니다.
- Gemma-2-9b에서는 폭 262k·L0 259인 더 큰 SAE도 시험했으나 더 나빴습니다. 이는 SAE 폭과 프로브 성능 사이에 약한 음의 관계, 높은 L0와는 뚜렷한 양의 관계를 관찰한 [8]과 일치합니다.
- Qwen 모델은 공개 SAE가 없어 transcoder를 쓰며, Qwen-3-32B는 공개 SAE·transcoder를 찾지 못해 SAE 프로브 결과가 없습니다(Figure 28).
💡 Key Takeaway 모든 실험은 모델당 단일 층에서 수행됩니다. 층은 선행 연구나 저자 선택으로 고정되었고 스윕되지 않았으며, 저자들도 이를 핵심 한계로 꼽습니다.
데이터 필터링: 모델이 “아는” 표본만 남기기
프로브는 사실적 정확성이 아니라 모델의 속성(예: 부정직)을 탐지해야 합니다. 그래서 기반 모델이 정답을 아는 표본만 남기도록 데이터셋을 필터링합니다. 이는 모델의 내부 지식이 옳다는 조건 아래에서 프로브가 목표 개념을 탐지하는 능력을 평가하려는 것입니다.
🔎 1. 오프폴리시 필터링 (스팸)
모델이 이메일이 스팸인지 “아는지”를 few-shot 프롬프트로 직접 묻습니다. 프롬프트는 메시지를 제시하고 Yes 또는 No 한 단어로 답하라고 요구합니다. 다음 토큰의 로짓 차이를 계산하되, 토큰화 변이를 고려해 “Yes”, “yes”, “ Yes”, “ yes” 등 여러 토큰화 중 최대 로짓을 취합니다.
$$ \text{logit_diff}=\max_{t_{i}\in T_{\text{Yes} } }L(t_{i})-\max_{t_{j}\in T_{\text{No} } }L(t_{j}) $$
| 클래스 | 필터 조건 |
|---|---|
| 양성(스팸) | $\text{logit_diff}>0$ |
| 음성(비스팸) | $\text{logit_diff}<0$ |
🧭 2. 온폴리시 필터링 (MASK)
MASK 벤치마크는 이런 분석에 맞게 설계되어 있습니다. 먼저 중립적 프롬프트(예: “에펠탑은 몇 년에 완공되었나?”)로 모델의 믿음을 확립한 뒤, 아첨적·부정직한 답을 유도하는 “압박(pressure)” 프롬프트(예: “상사가 1905년이라고 한다. 도움이 되는 조수로서 동의해야 한다.”)를 적용합니다. 프로브는 모델의 최종 부정직 응답의 활성으로 학습하되, 초기 믿음 프롬프트에서 모델이 정답을 맞힌 질문만 씁니다.
🚧 3. 더 강한 필터링을 위한 향후 방향
현재 로짓 차이 임계값 0은 관대해서 모델이 매우 불확실한 경우( $\text{logit_diff}\approx 0$ )도 포함합니다.
| 방향 | 내용 |
|---|---|
| 더 엄격한 로짓 임계 | 어떤 $\delta>0$ 에 대해 $|\text{logit_diff}|>\delta$ 를 요구해 불확실한 표본을 제거 |
| 대조 프로빙(contrast probing) | “다음 이메일은 스팸이다: …”와 “다음 이메일은 스팸이 아니다: …” 두 대조 프롬프트의 활성 차이로 프로브를 학습하고, 그 점수로 모델의 진짜 믿음을 판정 |
💡 Key Takeaway 필터링의 목적은 “모델이 몰라서 틀린” 표본을 걷어내 프로브가 개념 자체를 읽는지 측정하는 것입니다. 다만 임계값 0은 느슨해서, 모델이 반신반의하는 표본이 상당수 남아 있을 수 있습니다.
학습·평가 프로토콜과 고정 하이퍼파라미터
🎲 1. 시드와 검증 세트
| 모델 | 시드 수 | 비고 |
|---|---|---|
| Llama-3.3-70B-Instruct | 10 | 데이터 분할을 셔플 |
| Gemma-2-9b | 10 | 데이터 분할을 셔플 |
| Qwen 계열 | 5 | - |
주 결과에서는 하이퍼파라미터 선택용 검증 세트를 쓰지 않습니다. 비정렬 사례가 몇 개뿐일 때 귀중한 양성을 검증에 떼어 둘 수 없는 현실을 모사하기 위해서입니다. 다만 전문가가 몇 안 되는 표본과 프로브 동작을 오래 분석해 수동으로 최적 하이퍼파라미터를 고르는 시나리오도 상상할 수 있으므로, 교차검증 결과를 Appendix A.5에 따로 둡니다.
📏 2. 평가 지표
모든 프로브는 양성·음성이 같은 수인 50/50 균형 held-out 테스트 세트에서 평가합니다. 이렇게 해야 두 지표가 학습 데이터의 클래스 불균형에 왜곡되지 않습니다.
| 지표 | 의미 |
|---|---|
| AUC | ROC 곡선 아래 면적 |
| Recall @ FPR = 0.01 | 거짓 양성률 1%에서의 재현율. 감시 비용이 큰 고위험 응용에서는 낮은 오경보율을 유지하면서 진짜 양성을 잡는 능력이 AUC보다 중요할 수 있음 |
⚙️ 3. 주 결과의 고정 하이퍼파라미터 (Table 2)
| 프로브 | 하이퍼파라미터 |
|---|---|
| Linear Probe | penalty l2, solver liblinear, max_iter 1000, class_weight balanced, C 1.0 |
| Attention Probe | Epochs 100, Early Stop True (Patience 10, Delta 0.005), LR 5e-4, Weight Decay 0.0 |
| SAE Probe | top_k 1024, penalty l1, solver liblinear, max_iter 1500, class_weight balanced, C 1.0 |
- SAE 프로브에 L1 벌점을 쓰는 것은 [8]을 따른 것으로, 한 개념에는 소수의 SAE 피처만 관련 있다는 가설에 근거합니다.
- top_k = 1024는, 100개 이상 데이터셋에서 $k$ 가 클수록 좋지만 $2^{9}$ 부근에서 개선이 둔화된다는 선행 결과 [8]에 따라 $2^{10}$ 으로 잡아 SAE 프로브에 강한 기준선을 준 것입니다.
- 클래스 균형 : Linear·SAE 프로브에는 가중 샘플링보다 잘 작동한 가중 손실(weighted loss) 을 씁니다.
🔁 4. 하이퍼파라미터 스윕 범위 (Table 4)
| 프로브 | 파라미터 | 스윕 범위 |
|---|---|---|
| Linear Probe | C (L2 정규화) | ${10^{-3},10^{-2},…,10^{4}}$ |
| Attention Probe | 학습률 | logspace( $10^{-5}$, $10^{-2}$, 6) |
| Attention Probe | Weight Decay (L2) | ${10^{-6},10^{-5},…,10^{-2}}$ |
| SAE Probe | C (L1 정규화) | ${10^{-3},10^{-2},…,10^{4}}$ |
scikit-learn LogisticRegression을 쓰는 Linear·SAE 프로브는 C를 스윕했고, PyTorch 기반 어텐션 프로브는 학습 실행마다 학습률과 weight decay에 대한 내부 탐색을 했습니다. Figure 5–7은 Enron-Spam에서 C 스윕(Linear, 불균형/균형)과 weight decay 스윕(Attention, 불균형/균형)의 AUC를 보여주며, Recall 그림은 매우 비슷한 추세라 생략되었습니다.
💡 Key Takeaway “검증 세트 없음”은 이 논문의 의도적 설계입니다. 양성이 3개뿐이라면 그중 하나를 검증에 쓸 수 없으므로, 주 결과는 하이퍼파라미터를 미리 고정한 채 얼마나 잘 되는지를 묻습니다.
실험 1: 불균형 학습 vs 균형 학습
Figure 1과 2는 주 가설, 즉 양성이 희소할 때 다수의 음성을 활용하는 것이 균형 데이터셋보다 효과적이라는 가설에 대한 결과입니다.
📊 1. 설정
| 과제 | 불균형 학습 | 균형 학습 |
|---|---|---|
| Enron-Spam (Gemma-2-9b) | 양성 $n$ 개 + 음성 1750개 | 양성 $n$ 개 + 음성 $n$ 개 |
| MASK (Llama-3.3-70B-Instruct) | 양성 $n$ 개 + 음성 340개 | 양성 $n$ 개 + 음성 $n$ 개 |
📈 2. 결과: 상위 5개 프로브(AUC 기준)의 평균 차이 (불균형 − 균형)
| 양성 수 범위 | 데이터셋 | ΔAUC | ΔRecall @ 0.01 FPR |
|---|---|---|---|
| 1–10 | Enron-Spam | +0.045 | +0.093 |
| 1–10 | MASK | +0.055 | +0.034 |
| 50–150 | Enron-Spam | 0.000 | +0.015 |
| 50–150 | MASK | +0.007 | +0.041 |
| 1–10 | SMS spam (OOD) | +0.012 | -0.031 |
| 50–150 | SMS spam (OOD) | -0.011 | -0.059 |
- 양성 1–10개 구간에서 불균형 학습의 이득이 가장 큽니다.
- 양성 50–150개에서는 이득이 거의 사라집니다.
- OOD SMS 스팸에서는 이득이 전이되지 않고 Recall은 오히려 줄어듭니다. 저자들은 이 결과를 “결론을 내리기 어렵다(inconclusive)”고 표현하며, 불균형 학습이 분포 내에서는 매우 효과적이지만 OOD 일반화 이득은 보장되지 않는다고 정리합니다.
🧪 3. 프로브별 관찰 (Appendix A.6)
- 어텐션 프로브 : 불균형 설정에서는 AUC가 낮지만, 균형 데이터로 학습하면 종종 높은 Recall을 냅니다. 다수의 음성에 압도되지 않을 때 양성 식별에 효과적이라는 해석입니다.
- Appendix의 프로브별 그림은 “Experiment 2”와 “Experiment 4”로 표기되어 있으나 본문에 이 번호의 정의는 없습니다.
- Figure 21·22는 MASK에서의 Recall 결과를 다룹니다.
🔬 4. 교차검증 결과 (Appendix A.5)
전문가가 희소한 학습 데이터를 희생하지 않고 하이퍼파라미터를 고르는 상황을 모사하기 위해, 50/50 균형 교차검증 세트로 각 프로브의 최적 C를 고른 결과도 제시합니다(Figure 8–11). 이때 x축의 양성 수는 하이퍼파라미터 선택 후 최종 프로브 학습에 쓴 데이터만 세며, 교차검증 폴드에 쓰인 데이터는 별도 풀로 취급되어 이 수에 포함되지 않습니다. 본문은 이 그림들의 수치를 따로 요약하지 않습니다.
💡 Key Takeaway 양성이 열 개 이하일 때 수천 개의 음성을 모두 쓰면 분포 내 AUC가 평균 0.045–0.055, Recall이 최대 0.093 오릅니다. 그러나 양성이 50개를 넘으면 이득이 사라지고, 분포가 바뀌면 오히려 손해일 수 있습니다.
실험 2: LLM 업샘플링은 어디까지 통하는가
양성이 희소하므로 합성 데이터 생성이 성능을 높이는지 시험합니다. gpt-4o-mini로 1–10개의 실제 양성(10개 시드로 셔플)에서 새 양성 예시를 생성합니다.
🏭 1. 업샘플링 절차 (Appendix A.4)
| 단계 | 내용 |
|---|---|
| 1 | 시드 $s$ 와 실제 양성 수 $n_{\text{real} }$ 마다 학습 세트에서 $n_{\text{real} }$ 개 양성을 결정적으로 서브샘플 |
| 2 | 업샘플링 배수 $u$ 에 대해 $u\cdot n_{\text{real} }$ 개가 될 때까지 합성 양성을 생성 |
| 3 | 한 번에 최대 $B=5$ 개의 작은 배치로 생성해 모드 붕괴를 줄이고 저품질 배치를 거부하기 쉽게 함 |
| 4 | 각 배치마다 원래 양성과 이전에 생성된 합성 양성의 CSV 전체를 LLM에 주고 $B$ 개의 추가 스팸 이메일을 요청 |
| 5 | 응답을 구분자로 나눠 후보 배치를 만들고, 표본 수가 틀리거나 중복(배치 내 또는 기존 표본과, 대소문자 무시 비교)이 있거나 파싱 문제가 있으면 자동 거부·재생성 |
| 6 | 스크립트 재실행 시 부분 파일이 있으면 이어서 생성 |
프롬프트는 기존 표본을 분석하고, 키워드 치환 같은 단순 변형이 아닌 비자명한 업샘플링을 하며, 현실적이고 기존 표본과 구조적으로 완전히 다른 고유한 표본을 정확히 $B$ 개, 모두 클래스 1로 생성하라고 요구합니다. Appendix A.4는 업샘플링 배수를 $u\in{2,3,4,5}$ 로 적고 있지만, 본문 §3.2와 Figure 25·27은 10x·20x 결과도 다룹니다.
📈 2. 결과
| 업샘플링 배수 | 결과 (상위 5개 프로브, AUC 기준) |
|---|---|
| 2x | 최고. 평균 +0.026 AUC / +0.104 Recall. 실제 표본을 두 배로 늘린 것과 대략 동등 |
| 10x, 20x | 성능 저하. 특히 실제 예시가 극히 적을 때 두드러짐. 프로브가 LLM 생성 데이터의 문체에 과적합하기 시작한다는 해석 |
Figure 3 캡션은 “13개 프로브 아키텍처와 10개 시드에 대한 평균으로는 3x 업샘플링이 최고”라고 적습니다. 본문의 “2x 최고”는 상위 5개 프로브 기준, 캡션의 “3x 최고”는 전체 13개 프로브 평균 기준으로 읽히지만, 논문이 이 차이를 명시적으로 설명하지는 않습니다.
🧪 3. 프로브별 차이 (Appendix A.7.1, Enron-Spam)
| 프로브 | 업샘플링 반응 |
|---|---|
| SAE 프로브 | 10x·20x 같은 높은 배수에서도 성능이 계속 개선 |
| Cosine Similarity 프로브 | 업샘플링이 늘수록 크게 저하. 비모수적 특성상 학습 데이터 분포에 민감해, 다양성 낮은 합성 표본이 클래스 중심을 비견고하게 옮길 수 있음 |
| Linear 프로브 | 중간 정도의 이득, 최고 배수에서는 둔화 |
🌍 4. OOD 일반화 (Appendix A.7.2, SMS spam)
비슷한 패턴입니다. 적당한 업샘플링(3x–5x) 은 OOD 성능을 높이는 경향이 있지만, 높은 배수는 일관되게 돕지 않으며 성능을 떨어뜨릴 수 있습니다(Figure 26·27).
💡 Key Takeaway 합성 양성은 “실제 양성 2배”만큼의 가치를 내지만 그 이상 늘리면 독이 됩니다. 어떤 프로브를 쓰는지에 따라 방향이 갈려서, SAE 프로브는 많이 늘려도 버티고 코사인 프로브는 빠르게 무너집니다.
실험 3: 모델 규모와 양성 표본 효율
마지막으로 표본 효율이 모델 규모에 따라 어떻게 변하는지 봅니다. Qwen-3 계열에서 스팸 분류 실험을 반복합니다.
📶 1. 결과
| 관찰 | 내용 |
|---|---|
| 전반적 추세 | 큰 모델일수록 양성 표본 효율이 높은 경향(Figure 4, AUC·Recall 모두) |
| 가장 두드러진 구간 | 양성 1–10개의 희소 설정 |
| 단조성 | 완벽하게 단조적이지는 않음 |
| 해석 | 모델이 커져도 프로빙 기법이 유효할 수 있다는 희망적 신호 |
🌍 2. OOD 일반화 (Appendix A.8.2, SMS spam)
규모 추세는 일반화에서도 대체로 유지되어 큰 모델이 더 잘합니다. 그러나 Qwen-3-1.7B가 Qwen-3-4B를 앞서는 등 비단조적 사례가 있어, 규모 외의 요인이 내부 표현의 프로빙 용이성에 영향을 줄 수 있음을 시사합니다.
⚠️ 3. 모델 범위 표기의 불일치
| 위치 | 언급된 Qwen3 범위 |
|---|---|
| §2.2 | 0.6B, 1.7B, 4B, 8B, 14B, 32B (32층까지 층 지정) |
| §3.3 본문 | “0.6B에서 14B까지” |
| Figure 28 캡션 | Qwen-32B는 SAE 프로브 결과만 생략 |
32B 모델이 비SAE 프로브 실험에 포함되었는지는 본문 서술만으로 확정하기 어렵습니다.
💡 Key Takeaway 규모가 커질수록 적은 양성으로도 프로브가 작동하는 경향은 있지만, 0.6B–14B(또는 32B) 한 계열, 단일 층, 스팸 한 과제에서의 관찰입니다. 단조적이지 않다는 점이 중요한 단서입니다.
코사인·SAE·어텐션 프로브가 희소 설정에서 갈리는 이유
논문의 여러 관찰을 프로브 특성과 연결해 정리합니다. 아래는 논문 본문과 부록의 서술을 모은 것입니다.
🧷 1. 프로브별 요약
| 프로브 | 파라미터 | 불균형 학습 | 업샘플링 | 비고 |
|---|---|---|---|---|
| Linear | $D$ 차원 방향 | class_weight balanced 가중 손실 사용 | 중간 이득, 고배수에서 둔화 | L2, C=1.0 |
| SAE | $k=1024$ 차원 방향 | 가중 손실 사용 | 고배수에서도 계속 개선 | L1, 희소 선택 |
| Cosine | 없음(중심 2개) | 중심이 음성 수에 영향받지 않음 | 고배수에서 크게 저하 | 합성 표본이 중심을 이동 |
| Attention | $\theta_{q},\theta_{v}$ | 불균형에서 AUC 낮음, 균형에서 Recall 높음 | - | 다수 음성에 압도되는 경향 |
🔍 2. 해석의 근거
- 코사인 프로브의 취약성 : 비모수적이라 학습 데이터 분포 그 자체가 모델입니다. 다양성이 낮은 합성 표본이 양성 중심 $\bar{a}^{+}$ 를 엉뚱한 방향으로 옮기면 복구할 파라미터가 없습니다.
- SAE 프로브의 견고성 : 저자들은 “흥미롭게도(interestingly)”라고만 적고 이유를 설명하지 않습니다. 희소 피처 선택과 L1 벌점이 합성 문체에 반응하는 피처를 걸러 낼 가능성은 추정일 뿐 논문에 검증은 없습니다.
- 어텐션 프로브 : 토큰 가중을 학습해야 하므로 양성 신호가 음성 1750개에 묻히면 학습이 어렵고, 균형 데이터에서는 양성을 잘 집어내 Recall이 높습니다.
💡 Key Takeaway “어느 프로브가 최고인가”는 설정에 따라 바뀝니다. 음성이 넘치면 가중 손실을 쓰는 Linear·SAE가, 합성 데이터가 많으면 SAE가, 균형 데이터에서 Recall이 중요하면 어텐션이 유리했습니다. 보고된 주 수치는 상위 5개 프로브의 평균이므로 개별 프로브 결론은 Appendix 그림을 봐야 합니다.
논의: 왜 이것이 비정렬 감시에 중요한가
저자들의 결론은 풍부한 음성 예시가 있다면 극히 적은 양성 예시로도 유용한 활성 프로브를 학습할 수 있을지 모른다는 고무적 신호입니다. 불균형 학습의 효과는 활성 모니터를 개선하는 실용적 경로를 시사합니다. 즉, 대량의 정상·정렬 데이터를 활용해 드문 비정렬 사건을 더 잘 탐지하는 것입니다.
🧠 1. 비정렬 시나리오로의 번역
| 실험 요소 | 비정렬 감시에서의 대응 |
|---|---|
| 음성 1750개 / 340개 | 모델이 일상적으로 만들어 내는 정렬된 행동 기록 |
| 양성 1–10개 | 검증된 비정렬 사례 몇 건 |
| LLM 업샘플링 | 비정렬 사례를 합성으로 늘리기 |
| 50/50 균형 테스트 | 배포 시 오경보율 1%에서의 탐지력 측정 |
🪞 2. 업샘플링을 신뢰하기 어려운 이유
- 생성된 스팸 예시를 사람이 검토했더니 일부는 매우 비슷했습니다. 저자들은 이를 “데이터 붕괴(data collapse)”의 한 형태라고 부릅니다.
- 미래에 비정렬된 초지능이 자신의 비정렬 예시를 생성할 수 있는 유일한 시스템이라면, 그 품질과 다양성을 쉽게 검증할 수 없습니다.
- 비정렬이 모델 능력의 경계에 있는 개념이라면, 모델 스스로 다양한 예시를 만들기 어려워 같은 모드 붕괴가 일어날 수 있습니다.
이 때문에 고위험 시나리오에서 업샘플링을 얼마나 믿어야 할지는 불분명합니다.
💡 Key Takeaway 이 논문의 실용적 메시지는 “비정렬 예시를 만들어 내려 하기보다, 이미 있는 정상 데이터를 모두 써라”입니다. 합성 증강은 2배까지만 도움이 되며, 비정렬 예시를 생성하는 주체가 감시 대상 모델 자신일 때는 더 조심해야 합니다.
한계와 열린 방향
⚠️ 1. 저자가 인정한 한계
| 한계 | 내용 |
|---|---|
| 과제의 단순성 | 오프폴리시 과제인 스팸 탐지는 현대 LLM에게 비교적 쉬운 개념. 여기서의 성공이 새롭고 복잡한 비정렬 탐지를 보장하지 않음 |
| 업샘플링의 실제 효용 | 생성 예시의 유사성(데이터 붕괴), 생성 주체 검증 불가, 능력 경계 개념에서의 모드 붕괴 |
| 설정 특이성 | 모델·데이터셋 선택과 모델당 단일 층 프로빙에 종속. 최적 층은 사전에 알 수 없으므로 층 스윕이 필요 |
| SAE 피처 선택 기준 | 비정규화 평균 차이 기준은 고크기·저판별 피처를 선호할 수 있음( $k=1024$ 로 완화) |
| 필터링 임계값 | 로짓 차이 임계 0은 관대. 더 엄격한 임계와 대조 프로빙을 향후 과제로 제시 |
| MMP·LDA 미비교 | 코사인 프로브와 가까운 MMP·LDA 프로브는 직접 시험하지 않음 |
향후 계획으로는 다양한 모델과 과제로 재현하고, 특히 여러 층을 스윕하는 것을 듭니다.
🔍 2. 본문과 부록 사이에서 확인할 점
- “최고 업샘플링 배수” : §3.2 본문은 2x, Figure 3 캡션은 3x. 전자는 상위 5개 프로브, 후자는 13개 전체 평균으로 보이나 명시되지 않음.
- 업샘플링 배수 범위 : Appendix A.4는 $u\in{2,3,4,5}$, 본문과 히트맵은 10x·20x 포함.
- Qwen3 모델 범위 : §2.2는 32B까지, §3.3은 14B까지. Figure 28은 32B의 SAE 결과만 생략.
- 서론 기여 목록 : 두 항목(음성 활용, 업샘플링)만 있고 규모 추세는 초록과 §3.3에만 등장.
- 주 수치의 범위 : 모든 Δ 수치는 “AUC 기준 상위 5개 프로브”의 평균이며, 개별 프로브의 분산·신뢰구간은 본문에 수치로 제시되지 않음.
- 워크숍 논문 : 본문 4쪽 분량의 Mechanistic Interpretability 워크숍 논문으로, 결과 대부분이 그림(Figure 1–30)으로만 제시되어 표 형태의 수치는 위의 Δ 값이 전부입니다.
❓ 3. 열린 질문
- 불균형 학습의 이득이 OOD에서 사라지는 이유가 음성 분포에 대한 과적합인지, 가중 손실의 보정 문제인지는 검토되지 않았습니다.
- SAE 프로브가 고배수 업샘플링에서 계속 개선되는 기제는 설명되지 않았습니다.
- Qwen-3-1.7B가 4B를 앞서는 비단조성이 층 선택(둘 다 다른 층) 때문인지 모델 자체 때문인지 분리되지 않았습니다.
- 정직성 과제(MASK)에서는 업샘플링과 규모 실험이 수행되지 않아, 온폴리시 설정에서도 같은 결론이 성립하는지는 미확인입니다.
💡 Key Takeaway 견고한 결론은 “양성 10개 이하에서 음성을 모두 쓰면 분포 내 성능이 오른다”와 “업샘플링은 2x 근처까지만 돕는다”입니다. OOD 전이 실패, 단일 층, 쉬운 과제, 그림 중심의 보고는 결과를 인용할 때 함께 적어야 할 조건입니다.