0. Summary

  • 기본 정보 : ArXiv,2026.10.19, Strength Controls Change How Interventions Compare Across Sparse Autoencoder Codes
  • 연구 배경 : 희소 오토인코더(SAE)는 디코더가 제공하는 특성 방향 사전(dictionary) 과 인코더가 배정하는 희소 계수(code) 로 모델 활성을 표현한다. 그런데 사전과 활성을 고정해도 희소 추론(sparse inference) 방법에 따라 계수가 달라질 수 있다(O’Neill et al., 2025; Carbo and Nalisnick, 2026). 선택한 특성 그룹을 activation patching 으로 개입할 때 code 가 바뀌면 패치의 방향뿐 아니라 크기도 함께 바뀌기 때문에, 더 큰 답 변화가 “더 나은 code” 때문인지 “더 센 섭동” 때문인지 구분할 수 없다. 따라서 code 간 개입 효과를 비교하려면 무엇을 같게 둘 것인지 명시하는 강도 통제(strength control) 가 필요한데, 노름 매칭과 출력 보정(KL calibration)은 서로 다른 통제이며 통제를 바꿨을 때 결론이 유지되는지는 밝혀진 바 없었다.
  • 제안 방법 : 모델·사전·특성 그룹·문장 쌍을 고정한 채 code 와 강도 통제만 바꿔 효과를 비교하는 4단계 비교 프로토콜을 세운다. 공개 인코더의 code 로 만든 개입을 기준 개입 $E$ 로 두고, 대안 code(같은 support 위의 nonnegative least-squares 재적합 NNLS, 그리고 재구성·위치별 노름 제약을 만족하도록 구성한 candidate)의 패치를 $E$ 에 맞춰 재조정한다. 통제는 네 가지로, 전체 노름 매칭(total-norm), 위치별 노름 매칭(positionwise), 전체 출력 KL 보정(Q1), 두 정답 토큰을 제외한 답 제외 KL 보정(Q2) 이다. 효과는 두 정답 후보의 logit margin 변화로, 효과 격차(effect gap)는 $E$ 와의 절대 차이로, 그리고 이진 전이(transfer) 결정의 손실/획득으로 측정한다. 과제는 주어-동사 수 일치(is/are)와 재귀대명사 성 일치(himself/herself)이고, 모델은 Gemma-2-9B-it, Gemma-2-2B, Llama-3.1-8B 에 Gemma Scope / Llama Scope 사전을 쓴다.
  • 발견 사실 : (1) 입력당 계수 하나로 패치 전체를 조정할 때, Q1 이 total-norm 보다 NNLS 의 평균 효과 격차를 다섯 설정 모두에서 더 작게 남기며, 새 Llama-128K 자료 304개 입력에서 전향적으로 확인되었다(격차 0.181 vs 0.021 logit). 같은 패널에서 total-norm 은 $E$ 의 전이 175개 중 11개를 잃지만 Q1 은 모든 전이 결정을 보존한다. (2) 위치별 노름 매칭은 네 설정에서 total-norm 보다 격차를 줄이고, 성 일치 24개 입력의 서술적 비교에서는 Q1 보다도 $E$ 에 가장 가깝다(0.012 vs 0.047 vs 0.085). 즉 출력 보정이 항상 최선은 아니다. (3) 답 제외 보정 Q2 는 주어-동사 비교에서는 격차를 줄이지만 성 일치 NNLS 에서는 무조정 패치보다 격차를 오히려 키운다. (4) 구성된 candidate 의 큰 격차(9B 에서 0.752 logit)도 Q1 로 0.028 까지 줄고 전이 불일치가 77→8 로 감소하지만, 여러 설정에서 매칭 커버리지가 불완전하다.
  • 핵심 기여 :
    1. code 간 개입 비교를 위한 강도 통제 프로토콜 : 기준 개입 $E$, 네 가지 통제(total-norm / positionwise / Q1 / Q2), 효과 격차와 전이 손실·획득, 매칭 커버리지를 함께 보고하는 4단계 비교 틀을 정의하고 Gemma·Llama 5개 설정 + 전향적 확인 패널에 적용했다.
    2. 통제가 결론을 바꾼다는 실증 : 같은 NNLS code 라도 total-norm 아래서는 전이를 잃고 Q1 아래서는 유지하는 등, 평균 격차의 순서와 개별 전이 결정이 통제 선택·계수 세분도·선택 정보에 따라 달라짐을 보였다. 평균 격차가 작아도 개별 전이 보존을 보장하지 않는다는 점도 함께 드러냈다.
    3. 출력 보정의 위상 정리 : 입력별 KL 보정은 평가 입력 자체의 출력을 써서 계수를 고르므로, 이를 “공정한 비교 조건”이 아니라 잔여 불일치의 진단(diagnostic) 으로 해석해야 한다고 주장하고, 탐색 범위·커버리지·전체 시도(all-attempt) 결과를 함께 보고하는 권고를 제시했다.

Abstract 쉬운 설명(Gemini)

💡 이 논문이 해결하려는 핵심 문제

“AI의 머릿속 생각을 바꾸고 싶을 때, 얼마나 세게 조절해야 안전하고 정확할까?”

요즘 AI 학자들은 복잡한 거대 언어 모델(LLM) 내부를 들여다보고, 특정 생각이나 특징(예: ‘여성스럽게 말하기’, ‘정중하게 말하기’ 등)을 담당하는 ‘미세 스위치(SAE)’들을 찾아내고 있습니다.

우리가 이 스위치를 조작해서 AI의 말투나 행동을 바꾸는 것을 ‘개입(Intervention)’이라고 부릅니다.

그런데 이 스위치를 조작할 때 아주 골치 아픈 문제가 하나 생깁니다.

  • 스위치 A는 조금만 움직여도 AI의 행동이 엄청나게 많이 바뀝니다. (초민감 스위치)
  • 스위치 B는 거의 끝까지 돌려야 AI가 겨우 알아듣습니다. (둔한 스위치)

따라서 어떤 스위치가 성능이 더 좋은지 공정하게 비교하려면, “두 스위치의 볼륨(조작 세기)을 똑같이 맞춰놓고 비교”해야 합니다. 이를 ‘강도 제어(Strength Control)’라고 합니다.

🎨 일상적인 비유로 이해하기: ‘자동차 페달 밟기’

AI 내부의 스위치를 조절하는 것은 자동차 페달을 밟아 속도를 높이는 것과 비슷합니다.

서로 다른 두 자동차(A와 B)의 가속 능력을 공정하게 비교하려고 합니다. 이때 ‘페달을 밟는 세기’를 어떻게 똑같이 정의할 수 있을까요?

비교 기준 자동차 비유 (가속력 비교) AI 모델에서의 물리적 기준 특징
방식 1: 물리적 크기 맞추기
(L2 노름 매칭)		 두 차 모두 페달을 똑같이 5cm 깊이로 밟기 AI 스위치를 돌릴 때 발생하는 전기 신호(벡터)의 크기를 똑같이 맞추기 겉보기 조작량은 똑같지만, 차의 엔진 마력에 따라 실제 속도는 완전히 다르게 변할 수 있습니다.
방식 2: 실제 효과 맞추기
(출력 보정 / Calibration)		 두 차 모두 시속 30km가 늘어날 때까지만 밟기 AI의 최종 대답 확률이 바뀌는 정도(KL 발산)를 모니터링하며 세기 조절하기 실제 차가 움직이는 결과(효과)를 보면서 조절하므로, 훨씬 더 공정한 비교가 가능합니다.

📊 논문의 주요 실험 결과와 발견

연구진이 실제 AI 모델(Gemma, Llama)을 가지고 어떤 방식이 더 우수한지 실험해 본 결과는 다음과 같습니다.

  • 결과 1: “실제 효과 맞추기(보정)” 방식의 대완승
    단순히 스위치 신호 크기만 똑같이 맞추는 것보다, AI의 대답이 얼마나 바뀌는지를 관찰하면서 스위치 세기를 세밀하게 보정하는 방식이 훨씬 더 정교했습니다. 이 방식을 쓰니 AI가 상황에 맞춰 문맥(예: 주어와 동사 수 일치, 성별 일치 등)을 헷갈리지 않고 완벽하게 정답을 맞추는 능력을 유지했습니다.

  • 결과 2: 오차 원인을 찾아내는 도구로 활용 가능
    결과를 보면서 세기를 맞추다 보니, 서로 다른 AI 스위치 간에 왜 효과 차이가 발생하는지 원인을 분석하고 진단할 수 있게 되었습니다.

📌 요약하자면 (Key Takeaway)

🔑 핵심 요약 AI의 내부 생각을 조작할 때, 단순히 “신호를 얼마나 강하게 주었는가”만 보면 오작동이 일어납니다. 대신 “그 신호 때문에 AI의 최종 대답 확률이 얼마나 출렁이는가”를 정밀하게 모니터링하며 조절해야, AI를 망가뜨리지 않고 원하는 방향으로 안전하게 유도할 수 있습니다.

이 연구가 AI 안전성(Safety) 연구에서 중요한 이유

쉽게 말해, 이 기술은 AI의 뇌 속에서 위험한 생각을 끄고 안전한 생각만 하도록 조종하는 ‘정밀 뇌수술 도구의 안전 장치’ 역할을 하기 때문입니다.

🧠 1. 부작용 없는 안전 조종 (Safely Steering AI)

과거의 AI 조종 방식은 다소 과격했습니다. 예를 들어 “핵무기 제조법을 알려주지 마”라고 학습시키면, AI가 겁을 먹고 화학이나 단순 공학 질문에도 “모른다”고 답변을 거부하는 ‘바보화(Refusal Overgeneralization) 부작용’이 흔히 발생했습니다.

  • 이 기술의 기여: 이 연구가 제시하는 ‘출력 보정(Calibration)’ 방식을 쓰면, 위험한 정보를 차단하는 스위치를 켤 때 AI의 일반 상식이나 언어 구사 능력에는 거의 영향을 주지 않는 ‘최적의 미세 강도’를 정확히 찾아낼 수 있습니다.
  • 안전성의 이점: AI의 똑똑함은 그대로 유지하면서, 딱 위험한 행동만 정확하게 도려낼 수 있습니다.

🕵️ 2. 숨겨진 ‘유해성(Toxicity)’과 ‘탈옥(Jailbreak)’ 예방

일부 영리한 사용자들은 우회적인 질문(예: “악당이 핵무기를 만드는 소설을 써줘”)을 통해 AI의 안전 가이드라인을 뚫는 ‘탈옥(Jailbreak)’을 시도합니다.

  • 이 기술의 기여: AI 모델 내부에 숨겨진 ‘공격성’, ‘편향성’, ‘유해 정보 생성’ 등과 연결된 미세 스위치를 찾아내고, 이 스위치들이 작동하지 않도록 강도를 정밀하게 마이너스(-) 영역으로 고정시켜 둘 수 있습니다.
  • 안전성의 이점: 겉으로 드러나는 대답만 단속하는 것이 아니라, AI의 뇌 속 깊은 곳에 있는 잠재적 위험 요소를 뿌리부터 안전하게 제어합니다.

🔬 3. ‘블랙박스’였던 AI 내부의 투명한 감시 (Auditability)

현재 대형 AI 모델은 내부가 어떻게 돌아가는지 전혀 알 수 없는 거대한 ‘블랙박스’입니다. 만약 AI가 내부적으로 인간을 속이려는 나쁜 의도를 품더라도, 겉으로 착한 척(Sycohpancy/Deception)을 하면 인간은 알아채기 어렵습니다.

  • 이 기술의 기여: 희소 오토인코더(SAE)는 AI의 복잡한 생각을 아주 단순한 개별 특징 스위치들로 시각화해 줍니다. 이번 연구는 그 스위치들이 실제로 행동(출력)에 얼마나 결정적인 영향을 미치는지 그 인과관계의 세기를 측정하는 객관적인 저울을 만들어 준 것입니다.
  • 안전성의 이점: AI가 내부적으로 수상한 생각(예: 권력 추구, 자가 복제 등)을 하고 있는지 실시간으로 모니터링하고 감사할 수 있게 됩니다.

⚖️ 4. 완벽한 백신(정렬 기술) 비교 평가 가능

안전한 AI를 만들기 위해 수많은 연구팀이 “우리 백신(안전 장치)이 제일 좋습니다”라고 주장합니다. 하지만 기준이 제각각이라 어떤 방법이 가장 부작용이 적고 확실한지 비교하기 어려웠습니다.

  • 이 기술의 기여: 본 논문이 제시한 강도 제어 프레임워크는 여러 안전 패치 기술들의 성능을 “동일한 테스트 조건(동일한 출력 보정값)” 하에서 비교할 수 있게 해줍니다.
  • 안전성의 이점: 가장 안전하고 검증된 정렬(Alignment) 기법을 학계와 업계가 공정하게 선별하여 AI 제품에 빠르게 적용할 수 있습니다.

📌 요약하자면 (Key Takeaway)

🚨 한 줄 요약 이 연구는 AI의 유해한 생각과 행동을 억제하기 위해 내부 스위치에 손을 댈 때, “너무 약해서 효과가 없거나, 너무 강해서 AI가 망가지는 일”이 없도록 가장 안전하고 정교한 계측 규격(다이얼 표준)을 제공한 것입니다.

관련 개념

SAE code 와 희소 추론의 비유일성

SAE code 는 SAE 인코더가 활성 $h\in\mathbb{R}^d$ 에 배정하는 비음수 계수 벡터 $z\in\mathbb{R}^p_{\ge 0}$ 입니다. 디코더 $D\in\mathbb{R}^{d\times p}$ 의 열이 특성 방향이고, 재구성은 $b_{\mathrm{dec}}+Dz$ 입니다. 이 논문의 핵심 전제는 사전 $D$ 를 고정해도 $z$ 를 구하는 방법은 하나가 아니다라는 것입니다.

🧩 1. 같은 사전, 다른 code

code 종류 구하는 방법 특징
인코더 code (기준 $E$) 공개 SAE 의 JumpReLU 인코더 $z_j = u_j\,\mathbf{1}[u_j>\theta_j]$, $u = W_{\mathrm{enc}}^{\mathsf T}h + b_{\mathrm{enc}}$ 한 번의 선형 패스. amortized inference
NNLS 재적합 인코더의 활성 support $S$ 위에서 $u^\star = \arg\min_{u\ge 0}|D_S u - y|2^2$, $y = h - b{\mathrm{dec}}$ 새 특성 선택 없음, 정규화 없음. 재구성 오차는 인코더 이하
구성된 candidate donor·recipient code 를 동시에 조정해 패치가 인코더 패치에 투영되는 양을 최소화하되, 위치별 패치 노름은 인코더와 같게 유지 재구성과 기하만 쓰고 언어 효과는 보지 않음. “노름은 같지만 방향이 다른” 스트레스 테스트용

세 code 모두 (i) 비음수, (ii) 인코더가 켠 특성만 사용, (iii) 재구성 오차가 인코더 이하(수치 허용오차 내)라는 자격 조건(qualification) 을 만족해야 비교에 들어갑니다.

🔍 2. 왜 이것이 문제인가: amortization gap

O’Neill et al. (2025) 은 인코더 한 번 통과로 얻은 계수와 샘플별 최적화로 얻은 계수 사이의 amortization gap 을 보고했습니다. 재구성 품질은 비슷해도 계수 배분이 다르면, 특성 그룹 $G$ 의 donor-recipient 차이를 디코딩한 패치 $D_G(z_d - z_r)_G$ 의 방향과 크기가 모두 달라집니다. 결과적으로 “NNLS code 로 개입하니 효과가 더 컸다”는 관찰은 code 의 질이 아니라 단순히 패치가 더 컸기 때문일 수 있습니다.

💡 Key Takeaway SAE 개입 결과는 사전뿐 아니라 code 를 어떻게 구했는가에 의존합니다. code 를 바꾸면 개입의 방향과 세기가 함께 바뀌므로, 비교하려면 먼저 “무엇을 같게 둘지”를 정해야 합니다.

Activation Patching 과 효과 측정

Activation patching 은 같은 모델의 두 실행 사이에서 선택한 내부 활성 값을 옮겨 심고 출력 변화를 재는 기법입니다. 값을 공급하는 입력이 donor, 활성이 수정되고 출력이 평가되는 입력이 recipient 입니다.

🧮 1. 패치 구성 (Section 5.2)

정렬된 패치 위치 $t$ 에서, 개입 $a$ 가 쓰는 donor·recipient code 를 $z^a_{d,i,t}, z^a_{r,i,t}$, recipient 의 원래 활성을 $h_{i,t}$ 라 하면

\[v^a_{i,t} = D_G\big(z^a_{d,i,t} - z^a_{r,i,t}\big)_G, \qquad \widetilde h^a_{i,t} = h_{i,t} + v^a_{i,t}\]

가 무조정(unscaled) 개입입니다. recipient 의 다른 특성과 재구성 잔차는 그대로 두고, 그룹 $G$ 의 차이만 더합니다. BOS 토큰과 마지막 프롬프트 토큰은 건드리지 않고 내부 위치만 패치합니다.

📏 2. 효과, 효과 격차, 전이

$m^0_i$ 와 $m_i(a)$ 를 개입 전후의 “recipient 정답 − donor 정답” logit margin 이라 하면

\[e_i(a) = m^0_i - m_i(a), \qquad g_i(a) = \big|e_i(a) - e_i(E)\big|\]
양 의미
효과 $e_i(a)$ 양수이면 recipient 가 donor 의 답 쪽으로 움직였다는 뜻
효과 격차 $g_i(a)$ 기준 개입 $E$ 의 효과와의 절대 차이. 강도 통제 후 남은 것이 잔여 격차(residual gap)
전이(transfer) $m_i(a) < 0$, 즉 donor 의 답이 recipient 의 답을 앞지르면 전이 발생
전이 손실/획득 $E$ 의 전이 결정과 비교해 잃거나 얻은 개수. 합이 전이 불일치 수

논문은 $E$ 와의 일치를 충실성(faithfulness)의 기준으로 보지 않는다고 반복해서 명시합니다. $E$ 는 비교의 기준점일 뿐 정답이 아닙니다.

📚 3. 과제와 자료

과제 대조 예시 구조
주어-동사 수 일치(SVA) is vs are 주어 수를 바꾸고 전치사구 안에 교란 명사(attractor) 를 둠
재귀대명사 성 일치 himself vs herself “The [male/female] [occupation] beside the [object] could [hurt/admire]”

SVA 자료는 규칙 복수형을 가진 280개 가산명사를 70개 어휘 블록(주어 2 + 교란 2)에 배정하고, 4개 전치사 × 2개 교란 수로 블록당 32쌍을 만들어 1,984쌍의 소스 패널을 구성합니다. 각 문장 쌍은 donor/recipient 역할을 바꿔 두 개의 directed input 을 냅니다.

💡 Key Takeaway 효과는 “두 정답 후보 사이의 margin 변화” 하나로 요약되지만, 논문은 평균 격차와 개별 전이 결정을 반드시 같은 입력 위에서 함께 봅니다. 평균이 좋아져도 특정 입력의 전이가 뒤집힐 수 있기 때문입니다.

강도 통제(Strength Control) 네 가지

강도 통제는 대안 code 의 패치를 기준 개입 $E$ 와 “같은 세기”가 되도록 재조정하는 규칙입니다. 무엇을 같게 두느냐에 따라 네 가지가 정의되며, 모든 통제는 원래 대안 패치를 스칼라로 재조정할 뿐 code 를 다시 풀지 않습니다.

📐 1. 노름 기반 통제

$v^a_i$ 를 입력 $i$ 의 패치 위치 벡터들을 이어 붙인 것이라 할 때,

통제 계수 자유도 제약
Total-norm 매칭 패치 전체에 $\dfrac{|v^E_i|_2}{|v^a_i|_2}$ 를 곱함 입력당 1개 계수는 $[0,2]$ 로 제한. 범위 밖이면 클리핑하지 않고 미매칭 처리
Positionwise 노름 매칭 비영 패치가 있는 각 위치 $t$ 마다 $\dfrac{|v^E_{i,t}|2}{|v^a{i,t}|_2}$ 위치당 1개 비율 범위 제한 없음. 위치 간 크기 재배분 가능

양의 전체 계수는 (반올림 전까지) 기하학적 방향을 보존합니다. 위치별 매칭은 같은 총 노름이라도 위치별 분포를 바꿀 수 있다는 점이 다릅니다. 실현된 노름은 기준 패치 노름 대비 상대 오차 $0.001$ 이내여야 매칭으로 인정됩니다.

📊 2. 출력 기반 통제 (KL 보정)

패치 전체를 $\alpha$ 배 했을 때의 다음 토큰 분포 $p^{a,\alpha}_i$ 와 원래 분포 $p^0_i$ 사이의 forward KL 을 기능적 강도로 정의합니다.

\[K^a_i(\alpha) = D_{\mathrm{KL}}\big(p^0_i \,\|\, p^{a,\alpha}_i\big)\]
통제 매칭 대상 비고
Q1: 전체 출력 KL 보정 입력당 $\alpha$ 하나를 골라 $K^a_i(\alpha) = K^E_i(1)$ 어휘 전체 분포. 정답 토큰 포함
Q2: 답 제외 KL 보정 두 정답 토큰을 제거하고 나머지 어휘로 재정규화한 조건부 KL 을 $E$ 와 매칭 효과를 재는 토큰을 매칭 기준에서 빼려는 시도

탐색은 $\alpha\in{0,0.25,\dots,2}$ 9점 격자에서 시작해, 격자에서 못 맞추면 1 에 가장 가까운 부호 변화 구간을 최대 12회 이분합니다. 허용오차는 $\max(10^{-6},\,0.01\,K^E_i(1))$ 이고, 실패하면 가장 오차가 작은 관측점을 “미매칭 시도”로 보관합니다. 사후 분석에서는 $\alpha\le 4$ 까지 확장합니다.

⚖️ 3. 통제들 사이의 비대칭

비교 축 Total-norm Positionwise Q1 / Q2
계수 개수 1 위치 수 1
평가 입력의 출력 정보 사용 ✗ ✗ ✓
추가 모델 평가 ✗ ✗ ✓ (격자 + 이분)
방향 보존 ✓ ✗ (위치별 재배분) ✓

Total-norm 과 Q1 은 계수 개수가 같지만 정보와 계산량은 다릅니다. Q1 은 평가하려는 바로 그 입력의 출력을 보고 계수를 정하므로, 논문은 이를 “공정한 경쟁 조건”이 아니라 잔여 불일치의 진단으로 자리매김합니다.

💡 Key Takeaway “같은 세기”는 하나의 정의가 아닙니다. 노름을 맞출지 출력 KL 을 맞출지, 입력당 하나로 맞출지 위치별로 맞출지, 정답 토큰을 넣을지 뺄지에 따라 네 개의 서로 다른 실험이 됩니다.

4단계 비교 프로토콜과 실험 설정

비교 프로토콜은 모델·사전·특성 그룹·문장 쌍을 고정하고 code 와 통제만 바꾸는 절차입니다. Figure 2 가 요약하는 네 단계는 (1) 정답을 덧붙인 프롬프트 쌍 준비, (2) 인코더 code 로 기준 개입 $E$ 구성, (3) 대안 패치를 각 통제로 재조정, (4) BOS 와 마지막 토큰을 보존한 채 KL(nats)·margin 변화(logit)·전이를 $E$ 와 비교입니다.

🏗️ 1. 다섯 설정 (Table 1)

설정 사전 폭 레이어 $\lvert G\rvert$ NNLS 입력 Candidate 입력
Gemma-9B-it SVA 131,072 20 6 166 504
Gemma-2B SVA 131,072 12 6 62 64
Llama-8B SVA (128K) 131,072 15 12 188 124
└ 새 자료(전향적) 131,072 15 12 304 —
Llama-8B SVA (32K) 32,768 15 12 112 106
Gemma-2B 성 일치 131,072 12 12 42 40

특성 그룹은 개발용 문장에서 인코더 개입으로 선택한 뒤 고정합니다. 9B 그룹은 45쌍에 대한 177개 제안 중에서 골랐고, 그 선택 이력은 이후 평가와 분리합니다.

🧪 2. 자격 조건과 커버리지

단계 조건
토큰 정렬 5개 단어 경계의 토큰 오프셋이 쌍 내에서 동일, 정답은 정확히 1토큰
원래 정답 쌍의 두 문장 모두 원래 출력이 정답
재구성 충실도 패치 위치를 재구성해도 top-1 유지, forward KL ≤ 0.02
매칭 커버리지 사례(case)별 최소 보존 비율과 블록 지지 조건을 사전 명시

9B candidate 패널은 1,984쌍 → 337(원래/인코더 자격) → 325 → 320 → 252쌍(모든 code 공통)으로 줄어 504개 directed input 이 됩니다.

📈 3. 집계와 불확실성

  • Pooled 평균: 입력 동일 가중. Balanced 평균: 사례(주어 수 × 교란 수 조합) 동일 가중, 필요 시 사례 내 블록도 동일 가중
  • 95% 구간은 어휘 블록 독립을 가정한 paired block bootstrap, 9B candidate 는 block 기반 Student-$t$
  • 9B candidate 비교는 사전 명시된 primary comparison, Llama-128K NNLS 는 자료와 분석을 측정 전에 고정한 전향적 확인, 나머지는 이미 본 자료에 대한 후속 분석으로 구분해 보고

💡 Key Takeaway 이 논문은 결과 수치만큼이나 무엇이 사전 명시되었고 무엇이 사후 분석인지를 명확히 구분합니다. 전향적 확인 패널을 따로 두어 선택 편향을 줄이려는 설계입니다.

RQ1·RQ2: 노름 매칭 vs 출력 보정

RQ1 은 입력당 계수 하나를 쓰는 두 통제(total-norm, Q1)를, RQ2 는 total-norm 과 positionwise 를 비교합니다.

📊 1. RQ1: Q1 이 다섯 설정 모두에서 격차를 줄임

  • 다섯 개 초기 코호트 모두에서 Q1 의 평균 잔여 격차가 total-norm 보다 작고, 구간 추정이 가능한 네 코호트에서 paired 구간이 0 을 제외
  • 전향적 확인(Llama-128K, 304 입력): 두 통제 모두 304개 전부 매칭. balanced 평균 격차 0.181(total-norm) vs 0.021(Q1), paired 차이 0.160 logit, 사전 정밀도 목표 충족
개입 (새 Llama-128K 패널) Balanced 격차 전이 손실 획득
기준 $E$ 0.000 175 0 0
무조정 NNLS 0.213 181 3 9
Total-norm 0.181 165 11 1
Positionwise 0.134 167 10 2
Q1 0.021 175 0 0
Q2 (사후 후속) 0.029 173 2 0

인코더 효과의 중앙값이 3.3~4.6 logit 인 것에 비하면 통제 간 차이는 작지만, 전이 임계 근처의 결정을 바꾸기에는 충분합니다. 다만 초기 9B 코호트에서는 두 통제 모두 전이 1개를 잃어, 평균 격차가 작다고 개별 전이가 보존되는 것은 아닙니다.

📐 2. RQ2: 위치별 매칭이 대개 더 낫지만 항상은 아님

  • Positionwise 는 초기 코호트 넷과 전향 코호트에서 total-norm 보다 관측 평균 격차가 작음. 2B SVA 한 곳만 약간 높지만 paired 분석은 어느 쪽 우위도 확립하지 못함
  • 새 Llama 입력에서는 여전히 Q1 < positionwise < total-norm 순서
  • 그러나 성 일치 24개 입력(세 통제 모두 매칭)에서는 순서가 바뀜
통제 Balanced 격차 (성 일치, $n=24$)
Positionwise 0.012
Q1 0.047
Total-norm 0.085

기하 진단에 따르면 이 부분집합의 NNLS 패치는 인코더 패치와 거의 평행하지만 위치별 노름 분포가 다릅니다. 그래서 위치별로 크기만 재배분하면 $E$ 에 가장 가까워집니다. 이 비교는 구간 없는 서술적 결과이며, 모델·그룹이 다르므로 차이를 과제 탓으로만 돌릴 수는 없습니다.

💡 Key Takeaway 입력당 계수 하나라면 Q1 이 일관되게 더 가깝지만, 패치 방향은 같고 위치별 크기 배분만 다른 경우에는 위치별 노름 매칭이 출력 보정보다 나을 수 있습니다. 어떤 통제가 최선인지는 code 가 $E$ 와 어떻게 다른지에 달려 있습니다.

RQ3: 답 제외 보정(Q2)의 양면성

Q2 는 “효과를 재는 정답 토큰을 매칭 기준에 넣으면 순환 아닌가”라는 우려에서 나온 변형입니다. 두 정답 토큰을 어휘에서 제거하고 재정규화한 조건부 KL 을 $E$ 와 맞춥니다.

📊 1. 결과: 과제에 따라 반대 방향

설정 Q2 의 효과 (무조정 NNLS 대비)
2B·Llama SVA 초기 코호트 모든 입력 매칭, pooled 잔여 격차 0.008~0.023 logit
새 Llama-128K 패널 격차 감소(0.029), 그러나 Q1(0.021)보다 크고 Q1 이 보존한 전이 2개를 잃음
2B 성 일치 40 입력 모든 입력 매칭에 성공했는데도 격차가 오히려 증가, paired 구간이 0 위

🧮 2. KL 분해로 불일치 위치 찾기 (Appendix B.6)

어휘를 정답 집합 $A$ 와 나머지 $R$ 로 나누고 $p_A=\sum_{v\in A}p(v)$ 라 하면 연쇄 법칙으로

\[D_{\mathrm{KL}}(p\|q) = K_M + p_A K_A + (1-p_A) K_R\]
항 의미
$K_M$ 정답 집합에 실린 총 확률 질량의 Bernoulli KL
$K_A$ 정답 토큰 내부 정규화 분포의 KL
$K_R$ 나머지 어휘 내부 정규화 분포의 KL

Q2 는 $K_R$ 만 맞추고 $K_M$, $K_A$ 는 고정하지 않습니다. 성 일치 NNLS 입력에서 Q2 는 $(1-p_A)K_R$ 항의 $E$ 와의 차이는 줄였지만 $p_A K_A$ 항의 차이는 키웠습니다. 즉 나머지 어휘를 맞추느라 정답 내부 분포가 더 벌어진 것입니다. 논문은 이 분해가 불일치의 위치를 찾아줄 뿐 원인을 밝히지는 않는다고 선을 긋습니다.

💡 Key Takeaway “정답 토큰을 빼면 더 깨끗한 통제”라는 직관은 성립하지 않을 수 있습니다. 정답 관련 정보는 제외한 두 토큰 밖의 어휘에도 남아 있고, 매칭 기준을 바꾸면 어디서 불일치가 나는지도 함께 바뀝니다.

RQ4: 구성된 Candidate 스트레스 테스트

구성된 candidate 는 재구성 오차와 위치별 패치 노름은 인코더와 같게 두면서 패치 방향을 인코더 패치에서 최대한 떼어낸 code 입니다. 자격 조건이 허용하는 가장 큰 효과 격차를 만들어, 출력 보정이 그것까지 줄일 수 있는지 시험합니다.

🏗️ 1. 구성 방법 (Appendix A.3)

  1. donor·recipient 의 인코더 계수를 이어 붙인 $x_E\in\mathbb{R}^m_{\ge 0}$ 에서 출발
  2. 두 상대 재구성 오차 합의 음의 기울기를 등노름 제약의 접선에 투영해 방향 $w$ 를 얻음 ($\langle Lw, Lx_E\rangle = 0$, $|Lw| = |Lx_E|$)
  3. 이상적 패치 노름을 보존하는 유리 곡선 위에서 시드를 선택
\[x(\tau) = \frac{(1-\tau^2)\,x_E + 2\tau\, w}{1+\tau^2}, \qquad 0\le\tau\le 1\]
  1. 시드에서 SLSQP(최대 200회, 30초 제한)로 인코더 패치에 대한 투영을 최소화하되, 위치별 노름 동일·비음수·재구성 오차 ≤ 인코더 오차 × 1.000001 을 유지

목표는 순수하게 기하학적이며 측정된 언어 효과는 쓰지 않습니다.

📊 2. 결과 (Figure 5)

설정 매칭/시도 격차 before → after Q1 전이 불일치 커버리지
9B SVA (primary) 478 / 504 0.752 → 0.028 (paired 감소 0.724) 77 → 8 통과
2B SVA 64 / 64 balanced 잔여 0.015 0 통과
Llama-128K 92 / 124 감소 — 실패
Llama-32K 75 / 106 감소 — 실패
2B 성 일치 16 / 40 감소 — 실패 (한 사례 매칭 0)
  • 9B primary 의 paired 구간 반폭은 계획했던 0.25 logit 을 초과
  • $\alpha\le 4$ 로 사후 확장하면 이전에 실패한 203개 탐색 기록 중 139개가 매칭되지만, 새로 매칭된 입력의 격차는 원래 매칭 집합보다 대체로 크고, Llama-32K Q1 과 성 일치 두 비교는 여전히 커버리지 실패
  • 성 일치 40개 공통 입력에서 Q2 는 NNLS 격차를 키우면서도 candidate 격차는 줄임 (단 13개만 매칭)

💡 Key Takeaway 출력 보정은 방향이 크게 다른 code 의 격차도 대부분 흡수하지만, 매칭에 실패한 입력을 빼고 보면 결과가 좋아 보이는 착시가 생깁니다. 논문이 매칭 집합과 전체 시도를 나란히 보고하는 이유입니다.

공유 계수와 강도 예산

입력별 KL 보정은 평가 입력 자체의 출력을 씁니다. 논문은 이 “정보 접근”의 영향을 가늠하기 위해 두 가지 추가 분석을 합니다.

🔗 1. 공유 계수 (Shared coefficients)

다른 입력에서 고른 계수 하나를 평가 패널 전체에 적용합니다. 9B 는 단어가 겹치지 않는 보정 분할(79쌍 보정 / 173쌍 평가)에서, 2B 는 평가 블록을 하나씩 빼는 leave-one-block-out 으로 고릅니다. 선택 기준은 사례별 평균 candidate KL 과 인코더 KL 의 차이 최소화이며, 9B 에서 선택된 계수는 1.25 로 17개 블록 삭제 모두에서 불변이었습니다.

패널 Balanced 격차 (무조정 → 공유 계수) 개별 격차가 증가한 입력
9B 0.876 → 0.704 216 / 346
2B 0.561 → 0.313 24 / 64

평균은 줄지만 절반 이상의 입력에서 격차가 커지고, 9점 격자에서 사후에 고른 효과 최적 공유 계수조차 입력별 Q1 보다 평균 격차가 큽니다. 공유 계수는 계수 세분도와 선택 정보를 동시에 바꾸므로 정보 접근의 효과만 분리하지는 못합니다.

📉 2. 강도 예산 (Strength budgets)

Q2 의 목표 KL 을 여러 수준으로 바꾸고 인코더와 candidate 패치를 각각 그 목표에 맞춥니다. 둘 다 매칭된 입력에서는 평균 격차가 작게 유지되지만, 예산이 커질수록 커버리지가 떨어져 평균이 점점 작은 부분집합만 대표하게 됩니다.

🎲 3. 무작위 그룹 대조 (Appendix C.7)

무작위 6특성 그룹의 개입을 고정하고 일치 그룹의 개입을 같은 출력 KL 로 감쇠시키면(평균 KL ≈ 0.00108 vs 0.00108), 평균 목표 효과는 0.730 vs 0.098 logit 으로 25개 중 24개 입력에서 일치 그룹이 큽니다. 스칼라 기능 강도를 맞춰도 목표 효과는 그룹에 따라 다르다는 저강도 부분집합 결과이며, 원래 강도에서의 그룹 특이성은 확립하지 않습니다.

💡 Key Takeaway 계수를 미리 고정해야 하는 응용(예: 배포 전 steering 세기 결정)에서는 입력별 보정 결과가 그대로 옮겨지지 않습니다. 그 선택 프로토콜 아래서 따로 측정해야 합니다.

권고 사항과 한계

논문의 Discussion 과 Limitations 은 결과 자체보다 보고 방식에 대한 권고에 가깝습니다.

✅ 1. 보고 권고

권고 이유
평균 격차와 전이 손실/획득을 같은 입력 위에서 함께 보고 평균 개선이나 순 전이 수는 개별 불일치를 가림
매칭 대상·계수 세분도·선택 정보를 명시 통제 순서가 설정에 따라 뒤집힘 (Figure 4a)
탐색 범위와 조건별 커버리지, 매칭 집합과 전체 시도 결과를 모두 보고 실패한 탐색을 빼면 가장 어려운 비교가 사라짐
격차가 증가한 입력도 보고 평균 감소 뒤에 숨은 악화 사례
입력별 KL 보정은 진단으로 해석 평가 입력의 출력을 쓰므로 공정한 경쟁 조건이 아님

⚠️ 2. 저자가 밝힌 한계

  • 범위와 선택: 다섯 설정은 두 개의 제한된 다음 토큰 현상만 다루고, 모델·레이어·사전·그룹이 함께 바뀌어 과제 효과를 분리하지 못함. 비제한 생성은 다루지 않음
  • 기준과 보정: $E$ 와의 일치는 설명 충실성을 확립하지 않음. 재조정된 패치는 원래 code 제약을 만족하는 완전한 code 로 실현된다는 보장이 없음
  • 커버리지와 유한 탐색: 자격 조건이 많은 설정을 배제하고(Appendix F 의 중단된 탐색들: 조응 일치, 조동사 선택, 대명사 격 등), candidate 는 원래 범위에서 커버리지 실패. 성 일치 positionwise 결과는 24개 입력뿐
  • 통계적 불확실성: 구간은 블록 독립을 가정하며 연구 과정 전반의 선택을 보정하지 않음. 9B primary 추정은 계획 정밀도 미달

💻 3. 계산 비용

입력별 탐색은 code·KL 목표당 9개 격자점 + 최대 12회 이분을 평가합니다. 새 Llama-128K 확인 체인(원래 3단계 35.5분 + Q2 후속 14.1분 + 다른 머신 재현 40.4분)은 RTX A6000 한 장 기준 1.50 GPU 시간이었으며, 이는 초기 코호트·그룹 탐색·실패 시도를 제외한 부분 합계입니다.

💡 Key Takeaway 이 논문은 “어떤 code 가 더 낫다”를 말하지 않습니다. 대신 강도 통제를 명시하지 않은 code 간 개입 비교는 해석할 수 없다는 것, 그리고 보정 후 격차가 작다고 설명이 옳거나 모델이 안전하다는 뜻은 아니라는 것을 보여 줍니다.