You know maize mean?
Correcting Attribution Patching with a Few Exact Measurements
0. Summary
- 기본 정보 : ArXiv,2026.10.19, Correcting Attribution Patching with a Few Exact Measurements
- 연구 배경 : 기계론적 해석가능성은 “어떤 컴포넌트(attention head, MLP neuron)가 특정 행동에 기여하는가”를 묻고, activation patching(AP) 은 컴포넌트 하나의 활성을 대조 입력의 것으로 바꿔 넣고 예측 점수(예: 정답-오답 logit 차이)의 변화를 측정해 답한다. 정확하지만 컴포넌트 하나당 개입 한 번이 필요하므로 비용이 컴포넌트 수 × 프롬프트 수에 비례해 커진다. attribution patching(AtP) 은 역전파 한 번의 gradient로 모든 효과를 한꺼번에 근사하지만, 유한 크기 패치의 곡률을 1차 선형 근사가 놓치기 때문에 추정치가 실제와 크게 어긋날 수 있다. 모든 추정치를 AP로 검증하면 오차는 사라지지만 원래 비용이 되살아난다. 제한된 예산에서는 “추정 효과가 가장 큰 컴포넌트부터 검증”하는 것이 강한 기준선이지만, 효과가 크다는 것이 오차가 크다는 뜻은 아니다. 저자들은 AtP 오차가 몇몇 컴포넌트에 집중되고, 한 프롬프트 안에서는 부호가 한쪽으로 쏠리며, 같은 과제의 프롬프트들 사이에서 반복된다는 구조를 관찰하고, 이 구조를 알면 귀속 분석이 더 정확하고 효율적이 되는지를 묻는다.
- 제안 방법 : Guided-AP 는 소수의 정확한 AP 측정을 사용해 AtP의 오차를 드러내고, 측정하지 않은 나머지 추정치를 보정한다. 핵심 사실은 정확한 측정 하나가 그 컴포넌트의 참 효과뿐 아니라 그 컴포넌트의 AtP 잔차(residual) 까지 알려준다는 것이다. 잔차들이 서로 비슷하다면 측정 하나가 측정하지 않은 여러 추정치를 함께 고칠 수 있다. 저자들은 잔차를 두 축에서 본다. 프롬프트 내(within-prompt) 학습 에서는 한 프롬프트 안에서 많은 컴포넌트의 잔차가 같은 부호를 가지므로, 귀속 크기로 층화 추출한 작은 대표 표본(pilot)을 정확히 측정하고 그 잔차들의 중앙값(median) 만큼 나머지 추정치를 일괄 이동시킨 뒤, 남은 예산으로 추정 효과가 큰 컴포넌트를 검증한다. 프롬프트 간(across-prompt) 학습 에서는 같은 과제의 앞선 프롬프트에서 각 컴포넌트의 잔차 프로필을 학습해, 새 프롬프트에서 무엇을 검증할지(크기 모델 $\hat h$) 와 데이터셋 평균 효과를 어떻게 보정할지(보정 $\hat f$) 를 결정한다. 보정 모델과 선택 모델을 분리해 적합하는 이유는 이론 분석에서 나온다. 선택에는 잔차의 크기만 필요하지만 보정에는 부호까지 필요하기 때문이다.
- 발견 사실 : 단일 프롬프트에서 Gemma-2-9B MLP 뉴런에 대해 Guided-AP는 같은 실행 시간의 verify-more 기준선 대비 MAE를 IOI 17.4%, 사실 완성 26.2%, SVA 19.9% 낮췄고, Qwen3-14B에서 11~24%, Qwen3-32B에서 14~18%를 낮췄다. 32B 모델에서는 전체 뉴런의 1%만 측정했다. 이득은 보정 메커니즘에서 온다. 적합된 중앙값 이동은 최적 공통 이동이 줄 수 있는 이득의 96~97%를 회수하며, 검증용으로 뽑힌(크기순) 측정치의 잔차 중앙값으로 이동시키는 대조군은 9개 설정 중 8개에서 오히려 MAE를 높였다. 즉 대표 표본(pilot)이 필수다. 1% 상대 오차 목표에서는 Gemma IOI에서 verify-more보다 7.9배 빠르고, 32B 모델에서는 Guided-AP가 도달한 오차에 verify-more가 도달하려면 5.9~14.7배의 시간이 든다. 프롬프트 간 학습에서는 사실 완성 과제의 데이터셋 평균 효과 오차를 보정 없는 AtP 대비 75~79% 줄였는데, 같은 측정치를 평균 효과로 직접 쓰면 잔차 보정보다 5.8~14.9배 더 나쁘다. 다만 검증 할당의 이득은 과제와 예산에 따라 갈리며, Qwen2.5 IOI 데이터셋 평균에서는 선택 편향으로 오차가 52% 증가하는 실패 사례도 보고된다.
- 핵심 기여 :
- 예산 제약 귀속 분석 프레임워크 : 정확한 측정 예산이 검증과 보정 양쪽에 쓰여야 하는 상황을 정식화하고, 동일 연산량에서 남는 오차로 방법들을 비교하는 기준을 세웠다.
- 오차 구조의 분석 : AtP 잔차가 한 프롬프트 안에서 공유되고 여러 프롬프트에 걸쳐 반복됨을 보이고, 선택에는 잔차의 크기가, 보정에는 부호가 필요하다는 점을 정리(Theorem 1, 2, Proposition 1)로 밝혔다.
- 대형 모델·세밀한 컴포넌트로의 확장성 : 고정된 측정 예산이 모델이 커지고 컴포넌트가 세밀해져도(레이어당 수만 개 뉴런, 32B 모델) 여전히 유효함을 보였다.
Abstract 쉬운 설명(Gemini)
🏥 인공지능이라는 거대한 ‘종합병원’의 진단법
이 연구는 “인공지능(AI)이 어떤 원리로 특정 답을 내놓는지 알아내는 효율적인 진단법”에 대한 이야기입니다.
수십억 개의 부품이 얽혀 있는 AI 모델은 마치 수천 칸의 병실과 의사들이 일하는 거대한 종합병원과 같습니다. 어떤 환자(입력값)가 들어왔을 때 최종 결과(출력값)가 나오는 과정에서, “과연 어떤 의사(부품)가 결정적인 기여를 했는지” 찾아내고 싶어 합니다. 이를 알아내는 데는 원래 두 가지 극단적인 방법이 있었습니다.
⚖️ 기존의 두 가지 진단 방법
| 방법 | 설명 | 장점 | 단점 |
|---|---|---|---|
| 1. 정밀 검사 🔬 (활성화 패칭) | 의사 한 명 한 명을 진료실에서 차례대로 빼보면서 병원 전체가 어떻게 돌아가는지 직접 눈으로 확인합니다. | 정확도 100% (누가 범인인지 확실히 압니다.) | 시간과 비용 폭발 💸 (의사가 수만 명이라 모두 검사하려면 평생이 걸립니다.) |
| 2. 빠른 약식 설문 📝 (기여도 패칭) | 역방향으로 훑어내려 오며 대략적인 영향력을 “어림짐작”해봅니다. | 빛의 속도 ⚡ (순식간에 끝납니다.) | 부정확함 ❌ (엉뚱한 의사를 중요하다고 오해하는 등 에러가 아주 많습니다.) |
💡 이 논문이 제안하는 해결책: “샘플 검사로 전체 정답 맞히기” (Guided-AP)
이 논문의 저자들은 아주 똑똑한 타협점을 찾아냈습니다.
“약식 설문(2번)이 분명 틀리긴 틀리는데… 틀리는 방식에 어떤 ‘규칙적인 패턴’이 있지 않을까?”
예를 들어, 어떤 시험에서 학생들이 똑같은 함정에 빠져 단체로 5점씩 깎이는 것처럼, AI의 오차도 일관된 흐름을 보인다는 것을 알아낸 것입니다.
그래서 이들은 다음과 같은 전략을 세웠습니다.
- 대략 훑어보기: 일단 모든 의사를 대상으로 눈 깜짝할 사이에 끝나는 ‘빠른 약식 설문(2번)’을 돌립니다.
- 소수만 진짜 검사: 그중 딱 몇 명(대표 샘플)만 골라 진짜 진료실에서 빼보는 ‘정밀 검사(1번)’를 직접 해봅니다.
- 오차 계산 및 일괄 보정: “어라? 정밀 검사를 해보니 이 약식 설문지가 실제보다 다들 5점씩 높게 나왔네?”라는 패턴(오차 법칙)을 발견합니다.
- 전체 교정: 이 패턴을 적용해 정밀 검사를 받지 않은 나머지 수만 명 의사들의 설문지 점수도 한꺼번에 똑똑하게 교정해 줍니다.
🎯 결국 무엇을 이루어냈나요?
- 가성비의 극치 🚀: 아주 적은 횟수의 ‘정밀 검사’ 비용만 지불하고도, 전체 의사들이 한 일을 거의 100% 정확하게 진단해 냈습니다.
- 성능 증명 📈: 단 한 번의 분석에서는 오차를 26% 줄였고, 반복적인 분석 환경에서는 오차를 최대 79%까지 거의 완벽하게 없앴습니다.
한 줄 요약 하자면:
“인공지능의 속마음을 분석할 때, 빠르지만 부정확한 기술(약식 설문)을 몇 번의 진짜 정밀 검사(샘플)로 교정하여, 빠르고도 정확하게 분석하는 가성비 최고의 진단법을 발명했다!“라고 이해하시면 됩니다.
Guided-AP 방법론
이 기술은 거대한 트랜스포머(Transformer) 모델의 내부 회로를 분석할 때, ‘속도’와 ‘정확도’라는 두 마리 토끼를 모두 잡기 위해 고안된 필터링 및 보정 알고리즘입니다.
🔍 Guided-AP가 해결하려는 근본적인 문제
트랜스포머 모델 내부에는 수많은 레이어(Layer)와 어텐션 헤드(Attention Head), MLP 뉴런들이 존재합니다. 이 구성 요소들이 최종 출력에 얼마나 영향을 미치는지 알아내기 위해 두 가지 방식을 썼었습니다.
- 실제 직접 측정 (Activation Patching): 특정 뉴런의 값을 강제로 바꾸고(Intervention) 모델을 끝까지 실행(Forward Pass)시켜 결과를 봅니다. 가장 정확하지만, 수만 개의 뉴런을 하나씩 다 해보려면 모델을 수만 번 실행해야 하므로 연산량이 너무 많습니다.
- 미분 기반 추정 (Attribution Patching): 1차 테일러 근사(1st-order Taylor approximation)를 사용하여, 단 한 번의 역전파(Backward Pass)로 모든 뉴런의 영향력을 ‘추정’합니다. 빠르지만, 모델의 비선형성(Non-linear) 때문에 추정 오차(Error)가 대단히 큽니다.
Guided-AP는 이 추정 오차에 일정한 패턴(구조)이 존재한다는 수학적 발견에서 출발합니다.
💡 Guided-AP의 핵심 원리: 2가지 오차 패턴과 보정법
Guided-AP는 오차가 발생하는 상황을 두 가지 시나리오로 나누어 해결합니다.
1️⃣ 단일 프롬프트 환경: 오차의 ‘부호 일관성(Sign Consistency)’ 이용
하나의 문장(프롬프트)을 처리할 때, 기여도 패칭(Attribution Patching)이 범하는 오차는 신기하게도 대부분 같은 방향(모두 실제보다 과대평가되거나, 모두 과소평가됨)으로 나타납니다.
- 원리: 추정치들의 오차가 같은 부호(+, -)를 공유하기 때문에, 단 몇 개의 대표 뉴런만 실제로 직접 측정해 봅니다.
- 작동: 진짜 측정한 값과 추정값의 차이(오차)를 구한 뒤, 측정하지 않은 나머지 수많은 뉴런들의 추정값에도 이 오차 비율을 적용해 일괄적으로 깎거나 더해줍니다.
- 효과: 이 아주 간단한 보정만으로도 전체적인 추정 오차가 최대 26%까지 대폭 감소합니다.
2️⃣ 다중 프롬프트(태스크) 환경: ‘오차 매트릭스’ 학습 및 투영(Projection)
같은 작업(예: 인물 이름을 보고 직업을 맞히는 작업)을 수행하는 여러 프롬프트들을 처리할 때는, 뉴런마다 오차가 발생하는 고유의 패턴이 존재합니다. 예를 들어 “A 뉴런은 이 태스크에서 항상 실제보다 3배 부풀려져서 추정된다”와 같은 경향성입니다.
- 원리: 소량의 프롬프트 세트(가이드 세트)를 사용해 각 뉴런의 실제 오차를 구한 뒤, 오차의 주성분(Principal Components)이나 공분산 구조를 수학적으로 학습합니다.
- 작동: 새로운 프롬프트가 들어왔을 때, 기여도 패칭 추정값을 이전에 학습한 ‘오차 공간’에 통과시켜(Projection), 오차 성분만 쏙 빼내고 깨끗한 기여도 값만 남깁니다.
- 효과: 장기적인 태스크 분석에서 평균 오차를 75%~79%까지 제거하여, 마치 전부 실제로 직접 측정한 것과 다름없는 극도로 정확한 결과를 얻을 수 있습니다.
🛠️ Guided-AP의 3단계 작동 과정 (Step-by-Step)
Guided-AP가 작동하는 구체적인 순서는 다음과 같습니다.
| 단계 | 행동 | 설명 |
|---|---|---|
| Step 1. 대략적 추정 🏃 | 기여도 패칭(AP) 실행 | 모델 역전파를 딱 한 번 실행하여 모든 구성 요소의 대략적인 영향력 추정치를 얻습니다. |
| Step 2. 똑똑한 샘플링 🎯 | 상위 $k$개 실제 측정 | Step 1에서 영향력이 가장 높게 나온 상위 $k$개의 뉴런만 골라내어, 진짜 직접 측정(Activation Patching)을 수행합니다. (진짜 정답 확보) |
| Step 3. 유도 보정(Guided Correction) 🪄 | 나머지 값 보정 | 진짜 측정한 정답과 추정값의 차이를 계산해 오차 필터를 만들고, 측정하지 않은 하위 구성 요소들의 추정치에 이 필터를 씌워 깔끔하게 보정합니다. |
📌 왜 이 연구가 중요할까요? (Key Takeaway)
기존의 기계론적 해석 가능성(Mechanistic Interpretability) 연구는 거대한 연산 비용 장벽에 막혀 있었습니다. GPT-3나 Llama 같은 초거대 모델의 내부 회로를 분석하는 것은 대학 연구실 규모에서는 엄두도 내지 못할 일이었죠.
Guided-AP는 “전부 직접 계산하지 않아도, 수학적인 흐름(오차의 경향성)만 파악하면 적은 비용으로도 완벽에 가까운 모델 내부 지도를 그릴 수 있다”는 것을 증명함으로써, 거대 모델 해석 연구의 진입 장벽을 대폭 낮춰준 혁신적인 방법론입니다.
관련 개념
Activation Patching(AP)과 Attribution Patching(AtP)
Activation patching(AP) 은 모델의 특정 컴포넌트 활성을 대조 입력에서 얻은 활성으로 바꿔 넣고 출력 지표가 얼마나 변하는지를 재는 인과적 개입 실험입니다. Attribution patching(AtP) 은 같은 양을 gradient로 1차 근사해 역전파 한 번으로 모든 컴포넌트의 효과를 한꺼번에 얻는 방법입니다. 이 논문은 두 방법 사이의 정확도-비용 간극을 메우는 것이 목표입니다.
📐 1. 형식적 정의
$N$개의 후보 컴포넌트, 깨끗한 프롬프트 $x$, 대조 프롬프트 $x’$가 있을 때, 컴포넌트 $i$의 두 활성을 $a_i, a_i’$, 패치 방향을 $\delta_i = a_i’ - a_i$라 둡니다. $F(t)$, $t \in \mathbb{R}^N$를 “각 컴포넌트에 $t_i \delta_i$만큼의 덧셈 이동을 주고 이후 레이어를 다시 계산했을 때의 예측 지표”로 정의하면 $F(0)$은 깨끗한 실행입니다.
\[\Delta_i = F(v_i) - F(0), \qquad g_i = \partial_i F(0)\]| 기호 | 의미 |
|---|---|
| $\Delta_i$ | 컴포넌트 $i$의 고립된 AP 효과 (좌표 단위벡터 $v_i$ 방향으로 패치했을 때의 지표 변화) |
| $g_i$ | 같은 양의 AtP 근사 (원점에서의 편미분) |
| $e_i = \Delta_i - g_i$ | AtP 잔차(residual), 즉 1차 근사가 놓친 오차 |
| $\operatorname{MAE}(\hat\Delta) = N^{-1}\sum_i \lvert \Delta_i - \hat\Delta_i \rvert$ | 추정 벡터의 평균 절대 오차 |
논문 전체에서 출력 지표는 정답 토큰과 반사실 토큰 사이의 logit 차이입니다.
⚖️ 2. 비용과 정확도의 교환
| Activation patching | Attribution patching | |
|---|---|---|
| 연산 | 컴포넌트당 forward 한 번 → 프롬프트당 $N$번 개입 | backward 한 번으로 $N$개 모두 |
| 비용 | 컴포넌트 수 × 프롬프트 수에 선형 | 거의 상수 |
| 정확도 | 정확 (기준값) | 유한 패치의 곡률을 놓쳐 잔차가 클 수 있음 |
| 실측 (Gemma-2-9B, 레이어당) | 전수 AP 53~125초 | AtP 0.29초, 상대 오차 1.4~1.8% |
AtP가 왜 틀리는지는 Taylor 전개로 설명됩니다. 경로 $f_i(t) = F(t v_i)$가 두 번 미분 가능하면
\[e_i = \tfrac{1}{2} G_{ii} + \rho_i, \qquad \rho_i = \int_0^1 (1-t)\{f_i''(t) - f_i''(0)\}\,dt\]여기서 $G = \nabla^2 F(0)$은 개입 좌표계에서의 Hessian입니다. 잔차의 첫 항은 기준점 곡률이고, 둘째 항 $\rho_i$는 곡률이 경로를 따라 변하는 유한 개입 나머지입니다.
🔍 3. 선행 보정 방법들
논문은 자신의 방법을 기존 보정 계열과 구분합니다.
| 계열 | 대표 | 접근 |
|---|---|---|
| 실패 모드 표적 보정 | AtP∗ (Kramár et al., 2024) | attention softmax 포화 등 특정 실패 모드를 따로 처리 |
| gradient 대체 | Relevance patching (Jafari et al., 2025) | gradient 대신 전파 계수 사용 |
| gradient 흐름 수정 | Interaction-aware backprop (Edin et al., 2025) | softmax·normalization을 지나는 gradient 수정 |
| 경로 적분 | Integrated gradients (Sundararajan et al., 2017; Janizek et al., 2021) | 개입 경로를 따라 gradient 적분 |
| 2차 전개 | Second-order patching correction (Zhang and Wang, 2026) | 끝점에서 효과를 2차까지 전개 |
| 본 논문 | Guided-AP | 정확한 측정에서 오차 구조를 학습해 컴포넌트 간·프롬프트 간에 재사용 |
기존 방법은 모두 한 프롬프트 안에서 미분 정보로 추정을 고칩니다. Guided-AP는 미분을 더 계산하는 대신 실제 AP 측정값에서 드러난 잔차를 다른 추정치로 옮깁니다. 기본 추정치는 그대로 AtP입니다.
💡 Key Takeaway AP는 정확하지만 비싸고, AtP는 싸지만 곡률을 놓칩니다. 이 논문의 질문은 “AtP를 더 정교하게 미분할 수 있는가”가 아니라 “AtP의 오차에 구조가 있어서 몇 번의 정확한 측정으로 나머지를 고칠 수 있는가” 입니다.
AtP 잔차의 세 가지 구조
잔차 구조는 Guided-AP의 전제입니다. 잔차가 무작위라면 측정 하나는 그 컴포넌트 하나만 고칠 수 있지만, 잔차가 공유된다면 측정 하나가 여러 추정치를 개선합니다. 논문은 GPT-2 toy 예제(Figure 2)로 세 가지 패턴을 보이고, 이후 실험에서 대형 모델에서도 확인합니다.
🧩 1. 세 가지 패턴
| 패턴 | 관찰 | 의미 |
|---|---|---|
| 집중(concentration) | 상위 4개 컴포넌트가 테스트 오차의 80%를 차지 | 소수의 컴포넌트만 정확히 측정해도 오차 대부분이 사라짐 |
| 편향(bias) | 한 프롬프트 안에서 잔차가 0에서 한쪽으로 치우침 | 하나의 공통 이동(shift)이 많은 추정치를 동시에 개선 |
| 반복(recurrence) | 같은 컴포넌트의 잔차가 같은 과제의 프롬프트들 사이에서 상관 | 앞선 프롬프트의 잔차로 새 프롬프트의 잔차를 예측 가능 |
📊 2. 대형 모델에서의 정량 확인
- 부호 공유: Gemma-2-9B의 IOI·사실 완성·SVA 프롬프트-레이어 사례 중 각각 43%, 51%, 47%에서 잔차의 4분의 3 이상이 같은 부호를 가졌습니다(사분위수 기준).
- 데이터셋 평균의 부호 일치: 프롬프트를 평균한 뒤에도 head들 사이의 절대 평균 부호 오차가 평균 절대 오차의 81~96% 입니다. 즉 $\lvert\sum_i(\bar g_i - \bar\Delta_i)\rvert / \sum_i \lvert \bar g_i - \bar\Delta_i \rvert$가 1에 가깝고, 평균한 뒤에도 오차가 서로 상쇄되지 않습니다.
- 교정 절반 간 안정성: 교정 프롬프트를 두 절반으로 나눴을 때 head별 AP 오차의 상관은 과제에 따라 0.57~0.81(Table 14). 사실 완성이 가장 높고(0.80~0.81) SVA가 가장 낮습니다(0.57~0.62).
💡 3. “효과가 크다 ≠ 오차가 크다”
제한 예산에서 가장 자연스러운 기준선은 $\lvert g_i \rvert$가 큰 순서로 검증하는 verify-more입니다. 하지만 오차는 효과 크기와 다른 곳에 집중될 수 있습니다. 이 때문에 논문은 검증 대상을 고르는 선택 점수와 측정하지 않은 것을 고치는 보정을 따로 설계합니다.
💡 Key Takeaway 잔차가 “몇 개에 몰려 있고, 부호가 쏠려 있으며, 반복된다”는 세 성질이 각각 “검증”, “공통 이동 보정”, “프롬프트 간 학습”이라는 세 설계 요소로 이어집니다.
예산 제약 귀속 분석과 Guided-AP 추정량
예산 제약 귀속 분석(budgeted attribution analysis) 은 프롬프트당 $B$번의 정확한 AP 측정만 허용될 때, 그 예산을 어떻게 쓰면 전체 효과 벡터의 오차가 가장 작아지는가를 묻는 문제입니다. Guided-AP는 이 문제에 대한 하나의 추정량입니다.
🧮 1. 추정량의 형태 (Eq. 1–2)
측정 집합 $S$($\lvert S \rvert = B$)와 보정 $c$에 대해
\[\hat\Delta_i = \begin{cases} \Delta_i, & i \in S \\ g_i + c_i, & i \notin S \end{cases}\]측정한 컴포넌트는 정확하므로, MAE를 최소화하는 문제는 측정하지 않은 쪽의 오차만 남습니다.
\[\min_{S,\,c} \sum_{i \notin S} \lvert g_i + c_i - \Delta_i \rvert \quad \text{s.t.}\quad S \subseteq \{1,\dots,N\},\ \lvert S \rvert = B\]이 식은 측정하지 않은 컴포넌트의 잔차 $\Delta_i - g_i$를 요구하므로 그대로는 풀 수 없습니다. 대신 교정 데이터 $\mathcal{D} = {(\Delta_{pi}, g_{pi})}$(앞선 프롬프트 또는 테스트 프롬프트 자체에서 얻은 정확한 측정과 AtP 추정)에서 잔차 $e_{pi} = \Delta_{pi} - g_{pi}$의 패턴을 학습합니다.
🎯 2. 두 개의 모델: 보정 $\hat f$와 크기 $\hat h$ (Eq. 3–4)
\[\hat f = \arg\min_f \lVert e - f \rVert_1, \qquad \hat h = \arg\min_h \big\lVert \lvert e - \hat f \rvert - h \big\rVert_1\]| 모델 | 입력 | 출력 | 역할 | 논문의 선택 |
|---|---|---|---|---|
| $\hat f(g_{pi}, i)$ | AtP 추정치, 컴포넌트 ID | 잔차의 예측값 | 보정: $g_i + \hat c_i$ | 상수(중앙값) |
| $\hat h(g_{pi}, i)$ | AtP 추정치, 컴포넌트 ID | 보정 후 남는 오차의 크기 | 선택: 점수가 높은 $B$개를 측정 | log-linear 모델 |
테스트 프롬프트 $p’$에서 각 컴포넌트는 보정 $\hat c_{p’i} = \hat f(g_{p’i}, i)$와 선택 점수 $s_{p’i} = \hat h(g_{p’i}, i)$를 받습니다. 예산은 점수가 높은 순으로 쓰이고 나머지는 $g_{p’i} + \hat c_{p’i}$로 보정됩니다. $f, h$는 상수·선형회귀·신경망 등 어떤 모델 클래스도 가능하지만 이 논문에서는 가장 단순한 형태를 씁니다.
🔀 3. 두 가지 학습 설정
| 프롬프트 내(within-prompt) | 프롬프트 간(across-prompt) | |
|---|---|---|
| 잔차 공유 축 | 한 프롬프트 안의 컴포넌트들 사이 | 한 컴포넌트의 프롬프트들 사이 |
| 사전 라벨 | 불필요 (테스트 프롬프트에서 직접 측정) | 필요 (앞선 교정 프롬프트의 AP 측정) |
| 예산 사용 | pilot $S_1$ + 검증 $S_2$, $\lvert S_1 \rvert + \lvert S_2 \rvert = B$ | 전부 검증에 사용, $S_1 = \varnothing$ |
| $\hat f$ | pilot 잔차의 중앙값 (모든 $i$에 동일) | 컴포넌트별 상수 (검증 실험에서는 0, 데이터셋 평균 보정에서는 평균 잔차) |
| $\hat h$ | $\lvert g_{p’i} \rvert$ (대체 지표) | log-linear 크기 모델 |
Algorithm 1은 $\mathcal{D}$가 비어 있으면 프롬프트 내 경로로, 아니면 프롬프트 간 경로로 분기한 뒤 같은 Eq. 1 형태의 추정치를 돌려줍니다.
💡 Key Takeaway 측정 하나는 두 가지 일을 합니다. 자기 추정치를 참값으로 대체하고, 자기가 드러낸 잔차로 다른 추정치를 보정합니다. Guided-AP는 이 두 번째 효과를 체계적으로 쓰는 추정량입니다.
프롬프트 내 학습: 층화 Pilot과 중앙값 이동
프롬프트 내 학습은 사전 라벨 없이 테스트 프롬프트 하나만으로 동작하는 설정입니다. 예산 일부를 “대표 표본”을 측정하는 데 쓰고, 그 잔차의 중앙값만큼 나머지 추정치를 일괄 이동시킵니다.
🧪 1. 층화 Pilot (Eq. 5)
공통 이동은 측정하지 않은 모든 컴포넌트에 적용되므로 pilot은 전형적인 컴포넌트를 대표해야 합니다. 잔차 크기가 귀속 크기에 따라 달라지므로 $\lvert g_{p’i} \rvert$ 순위로 컴포넌트를 $K$개의 동일 크기 층(strata) $G_1, \dots, G_K$로 나누고 각 층에서 균등하게 뽑습니다.
\[S_1 = \bigcup_{k=1}^{K} U_k, \qquad U_k \subseteq G_k\]실험에서는 $K = 8$, pilot 크기 $P = 64$, 총 예산 $B = 256$입니다. 각 층을 독립적으로 섞은 뒤 round-robin으로 한 개씩 채웁니다.
📏 2. 중앙값 보정 (Eq. 6)
\[\hat c_{p'i} = \operatorname{median}_{j \in S_1} e_{p'j} \quad \text{for all } i\]중앙값은 절대 오차(L1)를 최소화하는 상수이고(Koenker and Bassett, 1978), 소수의 큰 잔차에 둔감합니다. 컴포넌트당 라벨이 최대 하나뿐이라 컴포넌트별 크기 모델은 적합할 수 없으므로 선택 점수는 $s_{p’i} = \lvert g_{p’i} \rvert$로 두고, 남은 $B - \lvert S_1 \rvert$개 예산으로 pilot 밖의 최대 크기 컴포넌트를 검증합니다. pilot이 몸통을 고치고 검증이 꼬리를 처리하는 구조입니다.
🧾 3. 왜 “검증용 측정치”의 중앙값으로는 안 되는가
가장 자연스러운 대안은 크기순으로 뽑은 256개 측정의 잔차 중앙값으로 나머지를 이동시키는 것입니다(verification + shift). 그런데 이 대조군은 9개 모델-과제 설정 중 8개에서 MAE를 오히려 높였습니다.
| 과제 (Gemma-2-9B, 256 측정) | 검증만 | 검증 + 이동 | Guided-AP |
|---|---|---|---|
| IOI | 1.00 | 1.93 | 0.83 |
| Factual | 1.00 | 0.97 | 0.74 |
| SVA | 1.00 | 1.80 | 0.81 |
크기가 큰 컴포넌트들의 잔차는 측정하지 않은 전형적 컴포넌트의 잔차를 대표하지 못합니다. 또한 라벨 없이 추정치를 중심화하는 no-pilot centering(음의 중앙값 귀속만큼 이동)도 verify-more보다 나아지지 않았습니다(Table 7). 즉 이득은 “이동” 자체가 아니라 대표 표본에서 측정한 잔차에서 옵니다.
🔬 4. Ablation: pilot 크기, 평균 vs 중앙값, 층화 vs 균등
| 항목 | 결과 |
|---|---|
| pilot 크기 | 16 → 32/64에서 개선, 128은 일관된 추가 이득 없음. 모든 크기에서 세 과제 모두 MAE 감소 |
| 평균 vs 중앙값 | 같은 라벨에서 중앙값이 9개 설정 모두에서 우세. SVA pilot 16에서 평균은 1.8%, 중앙값은 18.1% 감소 |
| 층화 vs 균등 추출 | Gemma에서 거의 동일 (예: Factual 64: 26.2% vs 26.2%) |
💡 Key Takeaway 프롬프트 내 Guided-AP의 핵심은 “무엇을 측정하느냐” 입니다. 같은 256번의 측정이라도 64개를 대표 표본으로 돌리면 verify-more보다 17~26% 낮은 오차를 얻고, 크기순 측정치만 쓰면 이동이 해가 됩니다.
프롬프트 간 학습: 잔차 프로필, 크기 모델, 데이터셋 평균 보정
프롬프트 간 학습은 같은 과제의 교정 프롬프트에서 각 컴포넌트의 잔차 프로필을 미리 학습해, 새 프롬프트에서는 측정 없이도 보정하고, 측정할 때는 어디를 측정할지 고르는 설정입니다.
📥 1. 라벨 획득 (Appendix A.2)
교정 프롬프트마다 컴포넌트를 $\lvert g \rvert$ 내림차순으로 정렬하고, 프롬프트를 round-robin으로 돌며 아직 측정하지 않은 다음 컴포넌트를 라벨 예산이 소진될 때까지 측정합니다. 실험에서는 셀당 교정 50그룹에서 1,600개 라벨을 얻었고, 이는 Qwen3-8B 1,152개 head 중 10.5~23.0%, Qwen2.5-7B 784개 head 중 18.0~27.7%를 덮습니다. 나머지 head는 AtP 평균을 그대로 유지합니다.
📈 2. 크기 모델 $\hat h$ : log-linear 회귀
각 라벨은 $x = \log(\lvert g \rvert + \eta)$, $y = \log(\lvert \tilde e - \hat c_i \rvert + \eta)$, $\eta = 10^{-12}$를 공급합니다. 풀링 최소제곱으로 기울기 $a$와 절편 $\beta$를 얻고, 컴포넌트 $i$는 라벨 수 $n_i$에 따라 수축된 자기 절편을 받습니다.
\[\beta_i = \beta + w_i\big(\operatorname{mean}_i[y - ax] - \beta\big), \qquad w_i = \frac{n_i}{n_i + 5}\] \[\hat h(g, i) = \exp\big(a \log(\lvert g \rvert + \eta) + \beta_i\big)\]이 점수는 Proposition 1의 목표인 기대 잔여 오차 $r_i$ 를 근사합니다. 검증 실험에서는 라벨이 큰 귀속에서만 얻어져 대표성이 없으므로 $\hat f = 0$으로 두고, verify-more와의 비교가 선택 효과만 분리하도록 했습니다.
🧮 3. 데이터셋 평균 보정 (Eq. 9)
컴포넌트 $i$가 측정된 교정 프롬프트 집합을 $\mathcal{C}_i$라 할 때
\[\bar c_i = \begin{cases} \lvert \mathcal{C}_i \rvert^{-1} \sum_{p \in \mathcal{C}_i} e_{pi}, & \lvert \mathcal{C}_i \rvert > 0 \\ 0, & \lvert \mathcal{C}_i \rvert = 0 \end{cases}\]보정된 평균은 $\bar g_i + \bar c_i$이며, 평가 프롬프트에서는 측정을 전혀 하지 않습니다. 목표가 프롬프트 평균 잔차이므로 (중앙값이 아닌) 평균으로 추정합니다.
📊 4. 결과: 할당과 평균 보정
검증 할당 (Table 3, 10,000 프롬프트 기준 총 비용 매칭, 교정 비용 포함, verify-more 대비 MAE 감소):
| 과제 | 방법 | Qwen3-8B $B{=}16$ | $B{=}128$ | Qwen2.5-7B $B{=}16$ | $B{=}128$ |
|---|---|---|---|---|---|
| IOI | Guided-AP | 12% | 7% | −29% | 12% |
| ProbeCal | 17% | 19% | −39% | 15% | |
| Factual | Guided-AP | −20% | 2% | −18% | −2% |
| ProbeCal | −17% | 31% | −5% | 35% | |
| SVA | Guided-AP | 3% | 4% | 2% | 3% |
| ProbeCal | 2% | 12% | 1% | 19% |
데이터셋 평균 보정 (Table 15, 보정 없는 AtP 대비 오차 비율, 1보다 크면 개선):
| 과제 | Qwen3 Guided-AP | Qwen3 ProbeCal | Qwen2.5 Guided-AP | Qwen2.5 ProbeCal |
|---|---|---|---|---|
| IOI | 0.95 | 1.49 | 0.66 | 1.09 |
| Factual | 3.98 | 1.87 | 4.78 | 1.86 |
| SVA | 1.23 | 1.14 | 1.34 | 0.99 |
사실 완성에서 Guided-AP는 오차를 75~79% 줄입니다(비율 3.98, 4.78). 같은 1,600개 측정치를 평균 효과로 직접 쓰면 잔차 보정보다 5.8~14.9배 더 나쁘고 보정 없는 AtP보다도 나쁩니다. 반면 Qwen2.5 IOI에서는 오차가 52% 증가(비율 0.66)했는데, 이는 선택 편향으로 설명됩니다.
⚠️ 5. 부호 전이의 실패 조건 (Lemma 2)
평균 잔차 $\bar e_i$와 보정 $\bar c_i$에 대해 $\lvert \bar e_i - \bar c_i \rvert < \lvert \bar e_i \rvert$ 인 것은 $\bar c_i \bar e_i > 0$ 이고 $\lvert \bar c_i \rvert < 2 \lvert \bar e_i \rvert$ 일 때뿐입니다. 즉 보정은 같은 부호이고 크기가 두 배 미만일 때만 도움이 됩니다. 라벨이 귀속 크기 기준으로 획득되면 그 평균은 $\mathbb{E}[e_i \mid A_i = 1]$을 추정하지 $\mathbb{E}[e_i]$를 추정하지 않으므로, 획득 방식이 평균을 편향시켜 부호 조건이 깨질 수 있습니다.
💡 Key Takeaway 프롬프트 간 학습은 “측정 없이 평균 효과를 고친다”는 큰 이득(사실 완성 75~79%)을 주지만, 라벨의 대표성이 보장되지 않으면 오히려 해가 됩니다. 저자들은 이 실패를 숨기지 않고 Qwen2.5 IOI 사례와 Lemma 2로 조건을 명시합니다.
이론 분석: 선택에는 크기, 보정에는 부호
이론 분석은 “언제 각 설정이 검증만 하는 것보다 나은가”, “왜 선택 모델을 따로 적합해야 하는가”에 답합니다. 모든 결과는 정확한 AP 측정을 가정합니다.
📐 1. Theorem 1 (프롬프트 내 이득의 분해)
측정하지 않은 집합을 $U$, 이동 $c$ 후 그 오차를 $A_U(c) = \sum_{i \in U} \lvert e_i - c \rvert$, 최적 이동(중앙값)을 $m_U$라 둡니다.
| 항 | 정의 | 의미 |
|---|---|---|
| $H_U = A_U(0) - A_U(m_U)$ | 최적 이동의 이득 | 잔차가 같은 부호를 공유할수록 큼 |
| $E_U = A_U(\hat c) - A_U(m_U)$ | pilot 중앙값의 추정 비용 | 잔차가 중앙값 근처에 모여 있을수록 작음 |
| $C$ | 대체된 검증의 기회비용 | pilot에 예산을 쓰느라 검증하지 못한 오차 |
그리고 $K$개 층에서 $n$개를 뽑은 pilot에 대해, 모든 $t \in (0, \tfrac12)$에서 확률 $1 - 2e^{-2nt^2}$ 이상으로
\[E_U \le \varepsilon_U(t) = \max\{A_U(q(\tfrac12 - t)), A_U(q(\tfrac12 + t))\} - A_U(m_U)\]여기서 $q$는 전체 $N$개 잔차의 분위 함수입니다. 증명은 $A_U$의 볼록성(Lemma 1)과 비복원 추출에도 성립하는 Hoeffding 부등식을 씁니다.
실측 분해 (Table 11, Gemma, 매칭 기준선 MAE의 퍼센트 포인트):
| 과제 | $H_U$ | $E_U$ | $C_{\text{alloc}}$ | $C_{\text{count}}$ | 순이득 |
|---|---|---|---|---|---|
| IOI | 19.76 | 0.72 | 1.74 | −0.13 | 17.42 |
| Factual | 27.37 | 0.83 | 0.36 | −0.02 | 26.21 |
| SVA | 21.07 | 0.82 | 1.36 | −1.04 | 19.92 |
pilot 중앙값은 최적 이동 이득의 96.1~97.0%를 회수하고, 대체된 검증의 비용은 그에 비해 작습니다.
📐 2. Theorem 2 (대표 라벨에서의 중앙값 보정)
한 컴포넌트의 잔차 분포에서 독립적으로 뽑은 $n$개 라벨의 중앙값을 $\hat c$, $R(c) = \mathbb{E}\lvert e - c \rvert$, $\Gamma = R(0) - R(m)$이라 하면 확률 $1 - 2e^{-2nt^2}$ 이상으로
\[R(\hat c) \le R(0) - \Gamma + 2t\,w(t), \qquad w(t) = q(\tfrac12 + t) - q(\tfrac12 - t)\]반복되는 잔차 편향이 중앙값 보정을 유용하게 만드는 조건을 설명합니다. 단, 귀속 크기로 획득한 라벨은 이 표본 가정을 만족하지 않을 수 있습니다.
📐 3. Proposition 1 (선택에는 크기가 필요하다)
보정을 고정하고 $r_i = \mathbb{E}\lvert e_i - \hat c_i \rvert$를 측정 전 기대 잔여 오차라 할 때, $\max_i \lvert s_i - r_i \rvert \le \epsilon$이면 점수 상위 $B$개를 고르는 것은 $r_i$ 상위 $B$개보다 기대 오차가 최대 $2B\epsilon$만큼만 더 큽니다.
핵심 함의는 점수가 “기대 오차의 크기”가 아니라 “오차 크기의 기대값”을 추적해야 한다는 것입니다. 잔차가 크지만 부호가 바뀌는 컴포넌트는 $\hat f \approx 0$이지만 $r_i$는 큽니다. 그래서 $h$를 $f$와 별도로 적합하며, 단일 프롬프트에서 $h$를 적합할 수 없을 때는 $\lvert g \rvert$로 대체합니다.
💡 Key Takeaway “어디를 검증할까”와 “무엇으로 고칠까”는 다른 정보를 요구합니다. 전자는 $\mathbb{E}\lvert e \rvert$(크기), 후자는 $e$의 중앙값 또는 평균(부호 포함)입니다. 부호가 흔들리는 컴포넌트는 보정할 수 없지만 검증은 반드시 해야 하는 대상입니다.
ProbeCal: 곡률 프로브를 이용한 대안 교정 신호
ProbeCal은 교정 라벨을 정확한 AP 측정 대신 Hessian 대각의 무작위 스케치로 대체하는 변형입니다. 정확한 라벨 학습이 덜 효과적인 곳에서 할당을 돕는지 시험하기 위한 비교 대상입니다.
🎲 1. Hutchinson형 대각 추정
교정 프롬프트 $p$의 Hessian $G_p = \nabla^2 F_p(0)$과 독립 Rademacher 벡터 $z_{pr} \in {-1, 1}^N$에 대해
\[d_{pi} = \frac{1}{R} \sum_{r=1}^{R} z_{pr,i}\,(G_p z_{pr})_i\]Hessian-vector product(Pearlmutter, 1994)로 계산하며, 기대값은 기준점 곡률 $G_{ii}$입니다. $J$개 교정 프롬프트의 부호 있는 평균 보정은
\[\bar c_i^{\text{probe}} = \frac{1}{2J} \sum_{p=1}^{J} d_{pi}\]($\tfrac12 G_{ii}$가 잔차의 1차 곡률 항이므로 $\tfrac12$이 붙습니다.)
📉 2. 프로브 잡음과 한계 (Eq. 11–12)
\[\mathbb{E}[d_i \mid G] = G_{ii}, \qquad \operatorname{Var}(d_i \mid G) = \frac{1}{R} \sum_{j \ne i} G_{ij}^2, \qquad \operatorname{Cov}(d_i, d_k \mid G) = \frac{G_{ik}^2}{R}\]- 컴포넌트 간 상호작용(비대각 곡률) 이 스케치의 잡음을 결정하고 스케치들을 서로 상관시킵니다. 결합 비율 $\kappa_i = \sqrt{\sum_{j \ne i} G_{ij}^2} / \max(\lvert G_{ii} \rvert, 10^{-30})$의 중앙값은 Qwen3-8B IOI에서 head 수가 32에서 1,152로 늘 때 5.8에서 77.2로 증가합니다. 열 개의 held-out 프롬프트에서 관측/예측 스케치 MSE 비율의 중앙값은 1.003이었습니다.
- 스케치는 잔차의 곡률 항만 겨냥하고 유한 개입 나머지 $\rho_i$는 보지 못합니다.
- 비용: Qwen3 사실 완성에서 1,600개 AP 라벨은 13.98초(체크당 0.009초), 400개 직렬 HVP는 51.77초(HVP당 0.13초)로, HVP 하나가 정확한 체크 약 15개 비용입니다.
📊 3. 결과
| 측면 | ProbeCal | Guided-AP |
|---|---|---|
| 사실 완성 할당 (매칭 총 비용, $B \ge 64$) | verify-more 대비 31~35% 개선 | 개선 미미 또는 악화 |
| 사실 완성 평균 보정 | 46% 감소 | 75~79% 감소 |
| Qwen2.5 IOI 평균 보정 | 개선 (비율 1.09) | 악화 (비율 0.66) |
| 교정 절반 간 안정성 ($\rho$) | 0.95~0.97 | 0.57~0.81 |
프로브는 head 전부에 대해 값을 주므로(AP 라벨은 10~28%만 덮음) 할당 모델을 더 안정적으로 적합하지만, 보정의 정확도는 정확한 라벨에 못 미칩니다.
💡 Key Takeaway ProbeCal은 “정확하지만 드문 라벨”과 “잡음이 있지만 전수인 라벨” 사이의 절충을 보여줍니다. 검증 할당에는 전수 신호가, 평균 보정에는 정확한 신호가 더 유리했습니다.
실험 설정과 비교 기준선
실험 설정은 두 학습 설정을 서로 다른 컴포넌트 종류와 모델에서 평가하고, 모든 비용(pilot, 교정, 적합)을 포함한 실행 시간 매칭 또는 총 비용 매칭 아래에서 비교합니다.
🧪 1. 모델, 컴포넌트, 과제
| 설정 | 모델 | 컴포넌트 | 레이어 |
|---|---|---|---|
| 프롬프트 내 | Gemma-2-9B | MLP 뉴런 14,336개/레이어 | 10, 20, 30 |
| Qwen3-14B | 17,408개/레이어 | 9, 19, 29 | |
| Qwen3-32B | 25,600개/레이어 | 15, 31, 47 | |
| 프롬프트 간 | Qwen3-8B | attention head 1,152개 전체 | — |
| Qwen2.5-7B-Instruct | head 784개 전체 | — |
과제는 IOI(간접 목적어 식별), 사실 완성(factual completion), SVA(주어-동사 수 일치) 세 가지이고, 지표는 정답-반사실 토큰 logit 차이입니다. 평가 프롬프트는 held-out이며 프롬프트 간 교정은 별도 프롬프트를 씁니다(교정 50그룹, 평가 100그룹, 6개 모델-과제 셀). Figure 2의 toy 분석은 GPT-2입니다.
🆚 2. 기준선과 비교 방법
| 방법 | 설명 |
|---|---|
| verify-more (주 기준선) | 같은 비용으로 AtP 크기가 큰 컴포넌트를 정확히 측정하고 나머지는 보정하지 않음 |
| verification + shift | 크기순 측정치의 잔차 중앙값으로 나머지를 이동 (대조군) |
| no-pilot centering | 라벨 없이 음의 중앙값 귀속만큼 이동 |
| AtP∗ + AP | AtP∗ 추정치 위에서 verify-more |
| Selective HVP / MS-HVP | 크기순 선택 컴포넌트에 Hessian-vector product 보정 (MS는 4~5단계) |
| Singleton IG | 고립 컴포넌트 경로에서 4 또는 8점 Gauss-Legendre 적분 |
| ProbeCal | 곡률 프로브 교정 (프롬프트 간) |
| 용량 매칭 AP-only 학습기 | ProbeCal과 같은 모델 클래스를 정확한 라벨로 적합 |
| Exhaustive AP | 전수 측정 (오차 0, 비용 상한) |
📏 3. 지표와 불확실성
- 주 지표: 프롬프트별 효과 벡터 MAE (FP32 정확 AP 대비)
- 보조 지표: 상대 AP 오차(절대 오차 합 / 절대 효과 합), 데이터셋 평균 오차, 상위 10개 효과의 recall
- 오차 감소: $1 -$ (평균 오차 비율)
- 구간: 쌍체 그룹 부트스트랩 20,000회. 프롬프트 간 비교는 사전 등록된 360개 비교(5개 비기준 arm × 6셀 × 4예산 × 3분석 길이)에 대해 Bonferroni 보정, 프롬프트 내는 기술적 구간
- 비용 회계 (Eq. 13): $C_m(T, B) = C_m^{\text{init}} + T\,c_m(B)$. 교정·적합·초기화를 $C^{\text{init}}$에, 귀속·순위·전송·검증을 프롬프트당 비용 $c_m(B)$에 넣고, 분석 길이 $T \in {100, 1{,}000, 10{,}000}$ 프롬프트로 투영
하드웨어는 프롬프트 내 실험에 L40S 1/2/4장(모델 크기순), 프롬프트 간 수집에 H100, FP32 eager attention, TF32 비활성화입니다.
💡 Key Takeaway 이 논문의 비교는 “같은 측정 횟수”가 아니라 “같은 실행 시간 또는 같은 총 비용” 에서 이뤄집니다. pilot과 교정 비용을 모두 청구한 뒤에도 남는 이득만 보고합니다.
주요 결과: 정확도, 속도, 확장성
주요 결과는 세 축으로 정리됩니다. 고정 예산에서의 정확도 이득, 목표 정확도에서의 실행 시간 절감, 그리고 모델 크기·컴포넌트 수에 따른 확장성입니다.
📊 1. 프롬프트 내 정확도 (Table 1, 실행 시간 매칭 verify-more 대비)
| 모델 | 과제 | 그룹 수 | MAE 감소 | 상대 AP 오차 | warm 시간 (s/레이어) |
|---|---|---|---|---|---|
| Gemma-2-9B | IOI | 100 | 17.4% | 0.94% | 2.08 |
| Factual | 100 | 26.2% | 1.20% | 1.30 | |
| SVA | 100 | 19.9% | 0.71% | 1.25 | |
| Qwen3-14B | IOI | 52 | 24.0% | 1.34% | 2.95 |
| Factual | 56 | 12.3% | 0.57% | 1.67 | |
| SVA | 53 | 10.9% | 0.58% | 1.64 | |
| Qwen3-32B | IOI | 10 | 17.3% | 1.09% | 6.52 |
| Factual | 31 | 17.5% | 1.09% | 3.54 | |
| SVA | 40 | 13.7% | 0.66% | 3.55 |
Gemma에서 그룹 단위 승률은 IOI 96/100, Factual 97/100, SVA 98/100입니다. 상위 10개 recall은 두 방법 모두 거의 완벽합니다. FP64 readout으로 다시 채점해도 Gemma에서 10~23%의 감소가 유지되고 대형 모델의 모든 과제에서 구간이 양수입니다(Table 12).
⏱️ 2. 목표 정확도에서의 비용 (Table 4–6)
1% 상대 오차 목표, Gemma-2-9B:
| 과제 | Guided-AP 오차 / 시간 | verify-more 체크 수 / 시간 | 비율 |
|---|---|---|---|
| IOI | 0.94% / 2.08 s | 2,416 / 16.37 s | 7.9× |
| Factual | 1.20% (목표 미달) / 1.30 s | 5,664 / 21.84 s | — |
| SVA | 0.71% / 1.25 s | 32 / 0.43 s | verify-more 유리 |
Qwen3-32B, Guided-AP가 도달한 오차에 verify-more를 매칭 (사후 비교):
| 과제 | Guided-AP (s/레이어) | verify-more (s/레이어) | 비율 |
|---|---|---|---|
| IOI | 6.52 | 91.16 | 14.0× |
| Factual | 3.54 | 51.95 | 14.7× |
| SVA | 3.55 | 21.06 | 5.9× |
SVA처럼 AtP 오차가 이미 작은 과제에서는 소수의 검증만으로 목표에 도달하므로 verify-more가 더 쌉니다.
🆚 3. 미분 기반 보정과의 비교 (Table 7, Gemma 30그룹, 상대 AP 오차 / 초)
| 방법 | IOI | Factual | SVA |
|---|---|---|---|
| AtP | 1.474% / 0.29 | 1.828% / 0.28 | 1.404% / 0.29 |
| Verify-more | 1.292% / 2.61 | 1.725% / 1.29 | 0.909% / 1.67 |
| AtP∗ + AP | 1.286% / 3.46 | 1.721% / 2.69 | 0.898% / 2.62 |
| Selective HVP | 1.321% / 18.69 | 1.758% / 18.70 | 1.029% / 18.76 |
| MS-HVP (5) | 1.313% / 169.23 | 1.757% / 169.15 | 0.928% / 169.68 |
| Singleton IG (8) | 1.313% / 147.10 | 1.757% / 146.56 | 0.924% / 146.10 |
| Guided-AP | 0.952% / 2.69 | 1.230% / 1.30 | 0.723% / 1.64 |
| Exhaustive AP | 0.000% / 125.24 | 0.000% / 53.43 | 0.000% / 69.23 |
Guided-AP는 레이어당 1~3초로 HVP·IG 계열보다 수십 배 빠르면서 오차는 더 낮습니다. 이 cohort에서 verify-more 대비 MAE 감소는 16.0%, 26.3%, 19.7%입니다.
📈 4. 확장성 (Table 13)
| 모델 | 과제 | $N = 1{,}024$ | $N = 4{,}096$ | 전체 |
|---|---|---|---|---|
| Gemma-9B | IOI / Factual / SVA | 22.7 / 27.8 / 22.6% | 19.4 / 26.8 / 20.9% | 17.4 / 26.2 / 19.9% |
| Qwen3-14B | IOI / Factual / SVA | 27.4 / 16.2 / 19.2% | 25.7 / 13.9 / 14.4% | 24.0 / 12.3 / 10.9% |
| Qwen3-32B | IOI / Factual / SVA | 23.7 / 22.4 / 19.6% | 20.1 / 19.6 / 16.7% | 17.3 / 17.5 / 13.7% |
예산($P = 64$, $B = 256$)을 고정한 채 컴포넌트 수를 늘리면 감소 폭은 줄지만 모든 설정에서 양수로 유지됩니다. 측정 하나가 더 많은 추정치를 책임져야 하는 상황에서도 공통 이동이 작동한다는 뜻입니다.
💰 5. 프롬프트 간 학습의 손익분기
- 분석 길이 100 프롬프트에서는 교정 비용 때문에 모든 격자에서 verify-more가 유리합니다. 1,000 프롬프트에서는 120개 보정 비교 중 108개가 verify-more 유리, 학습 유리는 0개입니다.
- 10,000 프롬프트에서 Guided-AP는 Qwen3 IOI와 두 SVA 셀($B = 16$)에서 개선하고, ProbeCal은 $B \ge 64$에서 사실 완성 할당도 개선합니다.
- 투영 손익분기: 할당은 $B = 16$에서 1,900~24,000 프롬프트, $B = 128$에서 900~15,500 프롬프트. 데이터셋 평균 보정은 527~2,744 프롬프트.
- 낮은 MAE가 recall 개선을 보장하지는 않습니다. 한 Qwen3 IOI ProbeCal 설정은 MAE를 11% 낮추면서 상위 10 recall이 99.2%에서 97.0%로 떨어졌습니다.
💡 Key Takeaway 프롬프트 내 Guided-AP는 사전 교정 없이, 같은 시간에 17~26% 더 정확하고 목표 정확도까지 수 배 빠릅니다. 프롬프트 간 학습은 긴 분석(수천~수만 프롬프트) 에서만 교정 비용을 회수하며, 짧은 분석에서는 추가 검증이 더 낫습니다.
한계와 범위
한계는 저자들이 결론에서 밝힌 것과 실험 결과에서 드러나는 것으로 나뉩니다. 이 논문은 긍정 결과와 부정 결과를 같은 비중으로 보고하는 편이라 적용 조건이 비교적 분명합니다.
⚠️ 1. 저자가 밝힌 한계
| 항목 | 내용 |
|---|---|
| 평가 범위 | Transformer 언어 모델과 통제된 언어 과제(IOI, 사실 완성, SVA)에 한정. 다른 아키텍처, 컴포넌트 표현, 개방형 행동에서의 검증 필요 |
| 비용의 조건 의존성 | 정확도와 연산 비용은 과제, 측정 예산, 하드웨어, 구현에 따라 달라짐 |
| 지표의 상대성 | AP 효과는 선택한 개입(활성 덧셈 이동)과 출력 지표(logit 차이)에 상대적 |
| 고립 효과 vs 회로 충실도 | 추정 대상은 개별 컴포넌트의 고립 효과와 그 데이터셋 평균. 효과 벡터 오차가 작다고 해서 동시 개입된 회로의 충실도가 보장되지는 않음 |
| 향후 과제 | 두 설정의 결합, 그리고 AP 비용이 가장 큰 희소 특성(sparse features) 에서의 시험 |
🔍 2. 결과에서 드러나는 조건
- 과제 의존성: SVA처럼 AtP가 이미 정확한 과제에서는 소수 검증만으로 충분해 Guided-AP의 시간 이점이 사라집니다. 사실 완성에서는 1% 목표를 Guided-AP가 놓쳤습니다.
- 대표성 요구: 프롬프트 내 보정은 pilot이 대표적일 때만, 프롬프트 간 보정은 라벨이 프롬프트 전반에서 균일하게 얻어졌을 때만 작동합니다. 그렇지 않으면 $\hat f = 0$으로 두어야 하며, 실제로 Qwen2.5 IOI 평균 보정은 52% 악화되었습니다.
- 교정 비용: 프롬프트 간 학습의 교정은 셀당 384~1,050초가 들고, 짧은 분석에서는 회수되지 않습니다.
- MAE와 recall의 괴리: 전체 오차를 줄여도 가장 큰 효과들의 순위는 나빠질 수 있어, 회로 발견처럼 상위 컴포넌트 식별이 목적이면 별도 확인이 필요합니다.
- 수치 정밀도: FP64 readout 재채점에서 일부 설정(예: Qwen3-14B SVA 고정 추정치 4.1%)은 이득이 크게 줄어, 보고된 수치의 일부가 FP32 기준값의 정밀도에 민감합니다.
💡 Key Takeaway Guided-AP는 “AtP 오차에 구조가 있다”는 전제 위에서만 작동합니다. 논문은 그 전제가 성립하는 곳(사실 완성, 큰 모델의 MLP 뉴런)과 깨지는 곳(크기 편향 라벨, 이미 정확한 과제)을 함께 보여 주어, 적용 전에 pilot 잔차의 부호 분포를 먼저 확인하라는 실무적 지침을 남깁니다.