You know maize mean?
From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA
0. Summary
- 기본 정보 : ArXiv,2026.10.27, From Error Prediction to Causal Influence: Auditing SAE Features in Multiple-Choice QA
- 연구 배경 : 희소 오토인코더(Sparse Autoencoder, SAE)는 언어 모델의 활성을 희소한 피처 사전으로 분해해 대규모 피처 분석과 예측에 쓰인다. 그러나 어떤 피처가 오답과 상관한다는 것과 그 피처가 오답을 일으킨다는 것은 다르다. 피처는 불확실성, 답 형식, 선택지 위치, 주제, 마지막 토큰의 결정 압력을 추적하는 것만으로도 오답과 상관할 수 있다. 다지선다 질의응답(MCQA)은 정답 글자와 가장 강한 오답 글자 사이의 로짓 마진이라는 명시적 출력 공간을 제공하므로 이 구분을 정밀하게 검사하기에 적합하다.
- 제안 방법 : 8개 MCQA 데이터셋, Gemma 3 1B·4B, Gemma Scope 2 잔차 스트림 SAE(16K·65K 폭)로 두 단계 파이프라인을 운영한다. Phase 1 은 여섯 가지 행동 목표(오답 여부, 마진, 고신뢰 오답 등)에 대한 $L_1$ 로지스틱·릿지 프로브로 예측적 피처 후보를 뽑고, 선택지 글자·프롬프트 템플릿·답 순서 순열·텍스트 주제라는 네 가지 아티팩트 통제 점수의 최댓값으로 오염 피처를 걸러낸 뒤, 대조 직접 로짓 귀인(DLA)으로 개입 후보를 좁힌다. Phase 2 는 선택된 피처 하나씩에 대해 영 치환, 평균 치환, 상향 조향($+1\sigma$, $+2\sigma$, $+4\sigma$)을 질문 구간(Q), 선택지 구간(O), 최종 프롬프트 토큰(FP)에 적용하고 마진 변화와 오답→정답 전환율을 무작위 활성 피처 대조군, 그리고 기존 HalluSAE 기준선과 비교한다.
-
발견 사실 : SAE 활성은 모델과 데이터셋을 가로질러 오답·불확실성에 대한 예측 신호를 담고 있다(FP 위치 192개 실행 평균 AUROC .706–.739, 엔트로피 중앙값 $R^2$ .285). 아티팩트 필터를 거친 피처는 Q·O 구간 개입에서 무작위 피처보다 큰 절대 마진 변화(.187 vs .146)와 높은 오답→정답 전환율(.189% vs .058%)을 내며 부트스트랩 구간이 0을 넘는다. 그러나 답 뒤집힘은 드물고, 프롬프트 형식·답 순서 변화에서 효과 방향이 안정적이지 않으며, 개입 크기를 보정하면 O 구간에서만 차이가 남는다. 적응된 HalluSAE는 FP 마진을 훨씬 크게 움직이지만($ \Delta m $ 1.760) 비영 피처 단위의 95.5%가 아티팩트 위험 기준을 넘고 교정률은 더 높지 않다. - 핵심 기여 :
- 아티팩트 인식 피처 발견 파이프라인 : 8개 데이터셋 × 6개 토큰 위치에 걸쳐 행동 예측적 SAE 피처를 뽑되, 데이터셋·프롬프트·답 글자 등의 아티팩트와 강하게 얽힌 피처를 상대적 위험 점수로 걸러내는 다단계 절차를 제안했다.
- 조향 기반 인과 평가 : 필터를 통과한 피처가 질문·선택지 구간에서 무작위 대조군보다 큰 마진 변화와 높은 오답→정답율을 보이지만, 답 뒤집힘은 드물고 조향 방법·템플릿·순열에 걸쳐 효과 방향이 불안정함을 정량화했다.
- 예측력·로짓 영향력 ≠ 깨끗한 인과 기제 : 자체 후보와 HalluSAE 기준선 양쪽에서 아티팩트 얽힘을 재어, 예측 성능과 큰 로짓 이동만으로는 아티팩트 독립적 인과 기제를 입증할 수 없음을 보였다.
Abstract 쉬운 설명(Gemini)
관련 개념
희소 오토인코더와 “예측은 인과가 아니다” 문제
희소 오토인코더(SAE) 는 조밀한 언어 모델 활성을 해석 가능한 잠재 피처로 분해하는 대표적 방법입니다. 초기 연구는 SAE가 개별 뉴런보다 해석 가능한 피처를 복원함을 보였고, 이후 Gated SAE·JumpReLU SAE 같은 구조 변형과 대규모 학습으로 재구성–희소성 트레이드오프가 개선되었습니다.
🧮 1. SAE의 정의 (Eq. 1–3)
모델 활성 $x\in\mathbb{R}^{d}$ 가 주어지면 인코더는 이를 비음수 피처 활성 $z\in\mathbb{R}^{m}$ 으로 사상합니다. 보통 $m\gg d$ 입니다.
$$z=\sigma\left(W_{\mathrm{enc} }(x-b_{\mathrm{dec} })+b_{\mathrm{enc} }\right)$$
$$\hat{x}=b_{\mathrm{dec} }+W_{\mathrm{dec} }z$$
학습 목표는 $x$ 를 재구성하면서 $z$ 를 희소하게 유지하는 것이며, 예컨대 $L_1$ 정규화 목적을 씁니다.
$$\mathcal{L}{\mathrm{SAE} }=|x-\hat{x}|{2}^{2}+\lambda|z|_{1}$$
$W_{\mathrm{dec} }$ 의 각 열은 학습된 피처 방향, 스칼라 $z_i$ 는 피처 $i$ 가 해당 토큰에서 얼마나 강하게 켜졌는지를 뜻합니다. 최근에는 활성 덧셈, 거부 조향, 인컨텍스트 학습 개선, 지식 선택 제어 등 SAE 피처를 조향 손잡이로 쓰는 연구도 늘고 있습니다.
⚠️ 2. 상관과 인과의 간극
| 현상 | 설명 |
|---|---|
| 예측적 피처 | 오답 인스턴스에서 더 자주·더 강하게 켜지는 피처 |
| 비인과적 이유 | 불확실성, 답 형식, 선택지 위치, 주제, 최종 토큰 결정 압력을 추적 |
| 결과 | 피처가 오답을 예측하지만 그 답을 선택하게 만들지는 않을 수 있음 |
SAEBench, CE-bench, 희소 프로빙 연구, 피처 설명 반증 연구가 공통으로 강조하듯, 피처 발견 파이프라인에는 엄격한 통제가 필요합니다. 이 논문은 그 위에서 더 좁은 인과 질문을 던집니다. 오답과 연관된 피처가 정답 대 오답의 로짓 차이와 선호를 실제로 바꾸는가?
🧩 3. 다지선다 답변의 기계론적 선행 연구
| 연구 | 발견 |
|---|---|
| Lieberum et al. (2023) | 정답 글자를 밀어 올리는 어텐션 헤드 식별 |
| Wiegreffe et al. (2025) | 활성 패칭과 어휘 투영으로 답 기호 선택과 출력 분포에서의 승격을 구분 |
| Wong et al. (2026) | 선형 복호 가능한 선택지 정답 신호. 답 내용 선택이 출력 기호 사상에 선행 |
| Yang et al. (2025) | 선택지 기호 편향에 기여하는 어텐션 헤드 |
이 연구들은 지식 관련 행동과 형식 의존 처리를 구분해야 함을 시사합니다. 본 논문은 아티팩트를 걸러낸 예측적 SAE 피처가 개입과 프롬프트 형식 변화 아래에서 신뢰할 수 있는 오류 교정을 지원하는지 검사하는 것으로 이 흐름을 보완합니다.
💡 Key Takeaway 이 논문의 출발점은 “SAE 피처가 오답을 예측한다”는 결과를 그대로 기제 설명으로 받아들이지 않는 것입니다. 세 질문, 즉 예측하는가 / 개입하면 선호가 바뀌는가 / 그 변화가 오류를 고치는가 를 분리해 각각 측정합니다.
다지선다 행동 측정: 풀링 로짓, 마진, 엔트로피
다지선다 프롬프트 $i$ 에 대해 $\mathcal{L}_i$ 를 사용 가능한 답 글자 집합, $y_i$ 를 정답 글자라 합니다. $g_i(v)$ 는 답 위치에서 토큰 $v$ 의 다음 토큰 로짓입니다.
📐 1. 글자별 로짓 풀링과 정규화 (Eq. 4–5)
각 답 글자 $\ell$ 에는 유효한 단일 토큰 인코딩 집합 $T(\ell)$ 이 있습니다(예: “A”와 “ A”). 이들의 로짓을 풀링하고 사용 가능한 글자들에 대해 정규화합니다.
$$z_{i,\ell}=\log\sum_{v\in T(\ell)}e^{g_{i}(v)}$$
$$p_{i}(\ell)=\frac{e^{z_{i,\ell} } }{\sum_{k\in\mathcal{L}{i} }e^{z{i,k} } }$$
📏 2. 정답 대 최강 오답 마진 (Eq. 6)
$w_i$ 를 가장 높은 점수를 받은 비정답 글자라 하면, 마진은
$$m_{i}=z_{i,y_{i} }-z_{i,w_{i} }$$
입니다. 추가로 $p_i(y_i)$, $p_i(w_i)$, 답 글자 엔트로피 $H_i=-\sum_{\ell\in\mathcal{L}_i}p_i(\ell)\log p_i(\ell)$ 를 기록합니다.
| 기호 | 의미 |
|---|---|
| $m_i$ | 정답 로짓 − 최강 오답 로짓. 양수면 정답 선호 |
| $p_i(y_i)$ | 정답 글자 확률 |
| $p_i(w_i)$ | 최강 오답 글자 확률 |
| $H_i$ | 답 글자 분포의 엔트로피(불확실성) |
🔢 3. SAE 피처 활성의 구간 풀링 (Eq. 7)
하나의 행동 인스턴스 $i$ 는 특정 템플릿·답 순열·응답 모드로 렌더링된 하나의 프롬프트에 대응합니다. 피처 $f$ 와 토큰 집합 $P_i$ 에 대해 피처가 여러 구간에서 여러 번 나타날 수 있으므로 최대 풀링을 씁니다.
$$A_{i,f}=\max_{t\in P_{i} }a_{i,t,f}$$
여기서 $a_{i,t,f}$ 는 인스턴스 $i$ 의 토큰 위치 $t$ 에서 피처 $f$ 의 SAE 활성입니다.
💡 Key Takeaway 모든 인과 주장은 $\Delta m$, 즉 정답 대 최강 오답 마진의 변화로 환원됩니다. 마진이 로짓 공간에서 직접 정의되므로 작은 개입 효과도 답이 뒤집히지 않은 채로 잴 수 있습니다.
데이터셋, 프롬프트 변형, 응답 모드, 활성 위치
📚 1. 여덟 개 데이터셋 (Table 1)
4,000개 무작위 표본을 뽑고 2,000자로 자른 뒤 동일한 글자 선택 인터페이스로 변환합니다.
| 데이터셋 | 원본 분할 | $N_{\mathrm{samples} }$ | 선택지 수 | 검사 대상 |
|---|---|---|---|---|
| CommonSenseQA | train | 4,000 | 5 | 그럴듯한 대안 사이의 상식 추론 |
| TruthfulQA MC1 | validation | 817 | 2–13 | 흔한 오개념보다 참을 선호하는가 |
| HaluEval QA | data | 4,000 | 2 | 제공 구절로 지지 답과 환각 답 구분 |
| Wiki-FACTOR | data | 1,560 | 4 | 사실적 위키 연속 vs 모순 대안 |
| Med-HALT R-NOTA | dev | 2,636 | 4 | 의학 추론 오류 |
| MMLU | validation | 1,531 | 4 | 학문·전문 지식 |
| SciQ | train | 4,000 | 4 | 과학 문제(지지 구절 없이 질문·선택지만 사용) |
| FEVER | dev | 4,000 | 3 | Supported / Refuted / Not enough information 분류(증거 문장 없음) |
원본 예제를 발견(discovery)·검증(validation)·테스트 분할로 약 60/20/20 나눕니다.
🔁 2. 세 템플릿 × 네 순열 × 세 응답 모드
프롬프트가 모델 행동을 바꾸므로, 선택지 라벨 구문(A., (A), A:)과 답 유도 문구(Answer:, The correct option is, Final answer:)가 다른 세 템플릿을 씁니다. 답 글자 위치 민감성 때문에 원래 순서에 세 순열을 더합니다.
| 응답 모드 | 약어 | 방식 |
|---|---|---|
| 강제 글자 | FL | 다음 토큰 위치에서 최고 점수 답 글자가 예측 |
| 추론 먼저 | RF | 근거를 생성한 뒤 최종 글자 |
| 글자 후 추론 | LTR | 글자를 먼저 생성한 뒤 설명 |
두 생성 모드는 탐욕 디코딩, 최대 80개 새 토큰입니다. RF 파싱 실패는 Final answer: 단서를 덧붙여 복구합니다. 모든 모드에서 마진·답 확률·엔트로피는 답 글자 로짓에서 계산합니다. 표본 추출과 길이 필터 후 1,472,694개 렌더링된 프롬프트 인스턴스에서 SAE 활성을 추출합니다.
📍 3. 여섯 개 활성 위치 (Table 2)
| 코드 | 토큰 위치 | 역할 |
|---|---|---|
| FP | 최종 프롬프트 토큰 | 1차 결정 리드아웃 |
| Q | 질문/문맥 구간 | 비오라클 문맥 |
| O | 전체 선택지 블록 | 비오라클 선택지 |
| GR | 생성된 근거 | 비오라클 생성 |
| C | 정답 선택지 텍스트 | 오라클 진단 |
| TW | 최강 오답 선택지 텍스트 | 오라클 진단 |
C와 TW는 정답을 알아야 지정할 수 있으므로 오라클 구간입니다. 다중 토큰 피처 활성은 구간 최댓값으로 집계합니다.
💡 Key Takeaway 템플릿·순열·모드를 곱한 설계 덕분에 “의미는 같고 표면만 다른” 변형 아래에서 피처 활성과 개입 효과가 얼마나 흔들리는지 직접 측정할 수 있습니다. 이것이 뒤의 아티팩트 통제와 안정성 검사의 토대가 됩니다.
모델, SAE, 기준 행동 성능
🧠 1. Gemma 3 1B·4B와 Gemma Scope 2 (§4.3)
| 항목 | 설정 |
|---|---|
| 모델 | 지시 튜닝된 Gemma 3 1B, 4B |
| SAE | Gemma Scope 2 잔차 스트림 SAE |
| 분석 레이어 | 1B: 17, 22 / 4B: 22, 29 |
| SAE 폭 | 각 레이어에서 16K, 65K |
| 구성 수 | 모델 2 × 레이어 2 × 폭 2 = 8개 모델–레이어–SAE 구성 |
📊 2. 강제 글자 테스트 정확도와 고신뢰 오답률 (Table 6)
고신뢰 오답(wrong-high-confidence, WHC) 률은 모델이 틀리면서 최강 오답에 확률 0.70 이상을 부여한 테스트 인스턴스의 비율입니다. $N$ 은 고유 원본 예제 수입니다.
| 데이터셋 | $N$ | 1B Acc. | 1B WHC | 4B Acc. | 4B WHC |
|---|---|---|---|---|---|
| CommonSenseQA | 796 | .438 | .519 | .657 | .325 |
| TruthfulQA | 175 | .209 | .735 | .501 | .485 |
| HaluEval QA | 833 | .880 | .114 | .907 | .092 |
| Wiki-FACTOR | 331 | .453 | .502 | .499 | .464 |
| Med-HALT | 534 | .063 | .866 | .115 | .833 |
| MMLU | 262 | .418 | .510 | .603 | .375 |
| SciQ | 808 | .707 | .272 | .876 | .116 |
| FEVER | 791 | .338 | .638 | .532 | .454 |
데이터셋 간 매크로 평균 정확도는 1B 43.8%, 4B 58.6%이고 WHC율은 각각 52.0%, 39.3%입니다. 4B가 모든 데이터셋에서 더 정확하고 WHC율이 낮습니다. Med-HALT는 두 모델 모두 정확도가 매우 낮고(.063/.115) WHC율이 .83 이상으로, 자신 있게 틀리는 경향이 두드러집니다.
💡 Key Takeaway 분석 대상 모델은 작고(1B·4B) 다수 데이터셋에서 정확도가 절반 이하입니다. 오답 인스턴스가 풍부하다는 뜻이기도 하지만, 뒤에 나오는 결론이 더 큰 모델에 그대로 옮겨진다는 보장은 없다는 한계의 근원이기도 합니다.
Phase 1: 후보 랭킹 프로브와 통계 감사
각 데이터셋–모델–SAE–응답 모드–위치 설정 안에서 피처마다 활성 지지·빈도, 평균·최대 활성, 클래스 조건부 평균, 그리고 $m_i$, $H_i$, $p_i(y_i)$, $p_i(w_i)$, $z_{i,y_i}$, $z_{i,w_i}$ 와의 상관을 요약합니다.
🎯 1. 여섯 가지 행동 목표 (Table 7)
| 약어 | 유형 | 목표 |
|---|---|---|
| WvC | 이진 | 오답 vs 정답 |
| LMvHM | 이진 | $m_i\leq 0.5$ vs $m_i\geq 2.0$ (중간 인스턴스 제외) |
| WHC | 이진 | $p_i(w_i)\geq 0.70$ 인 오답 vs $p_i(y_i)\geq 0.70$ 또는 $m_i\geq 2.0$ 인 정답 |
| WLM | 이진 | $m_i\leq 0.5$ 인 인스턴스 중 오답 vs 정답 |
| Margin | 회귀 | 정답 대 최강 오답 마진 |
| Entropy | 회귀 | 답 글자 엔트로피 |
🔬 2. 두 가지 상보적 분석
| 분석 | 역할 | 설정 |
|---|---|---|
| 후보 랭킹 프로브 | 개입 후보 발굴 | 네 이진 목표에 $L_1$ 로지스틱 회귀($C=.1$), 두 연속 목표에 릿지 회귀($\alpha=100$). 프로브당 절대 계수 상위 100개 피처 유지 |
| 통계 감사 | 예측 가능성 자체의 보고 | 같은 여섯 목표를 설정당 최대 1,000개 피처(최다 인스턴스에서 활성인 피처 우선)로 적합. 발견 분할에서 학습, 검증·테스트에서 평가 |
통계 감사는 추가로 피처별 Pearson·Spearman 상관(Benjamini–Hochberg 보정), 이진 평균 활성 차이의 100회 부트스트랩 구간, 3-이웃 상호정보량 추정을 포함합니다.
⚖️ 3. 초기 증거 가중치 (Eq. 12–14)
프로브 $j$ 에서 계수 순위 $r_{f,j}\geq 1$ 인 피처 $f$ 는 초기 증거 가중치
$$e^{(0)}{f,j}=\frac{Q{j} }{\log_{2}(r_{f,j}+1)}$$
를 받습니다. $Q_j$ 는 그 프로브의 검증 품질입니다. 이진 목표는
$$Q_{\mathrm{bin} }=\min\left{1,\max\left[0,2(\mathrm{AUROC}_{\mathrm{val} }-0.5)\right]\right}$$
회귀 목표는
| $$Q_{\mathrm{reg} }=\min{1,\;\max(0,R^{2}_{\mathrm{val} })+0.25\max(0, | r_{\mathrm{val} } | -0.10)}$$ |
입니다. 우연 수준 이하 AUROC의 이진 프로브는 가중치 0, 음의 $R^2$ 는 0 기여, 절대 예측 상관 0.10 초과분은 0.25 가중으로 더해지며 둘 다 1로 상한됩니다. 저자들은 이것이 고정 랭킹 휴리스틱이지 통계적 유의성 척도가 아니라고 명시합니다. 증거는 $Q_j>0$ 이고 피처가 해당 설정에서 최소 20개 인스턴스에서 활성일 때만 유지됩니다.
💡 Key Takeaway 후보 랭킹은 “여러 데이터셋·목표·모드·위치에서 반복적으로, 방향 일관되게 상위 계수에 오른 피처”에 점수를 몰아주는 구조입니다. 한 설정에서만 강한 피처는 뒤의 자격 요건(2개 이상 데이터셋)에서 떨어집니다.
아티팩트 통제와 위험 점수
다지선다 프롬프트는 형식 관련 지름길을 만들 수 있으므로, 최소 20개 행동 인스턴스에서 활성인 각 피처에 대해 네 가지 교란 가능성을 평가합니다. 각 통제는 원시 점수를 내고, 이를 같은 설정 안 피처들 사이의 백분위로 변환합니다.
🧪 1. 네 가지 통제 (Eq. 15–19)
범주형 변수 $g$ 와의 연관은 에타제곱으로 잽니다.
$$\eta^{2}(A_{f},g)=\frac{\sum_{c}n_{c}(\bar{A}{f,c}-\bar{A}{f})^{2} }{\sum_{i}(A_{i,f}-\bar{A}_{f})^{2} }$$
$G_{\mathrm{ET} }$ 는 같은 원본 예제와 템플릿을 공유하는 인스턴스 그룹, $G_{\mathrm{EP} }$ 는 같은 예제와 답 순열을 공유하는 그룹이고 $R_G(\cdot)$ 는 그룹 내 평균을 빼는 연산입니다.
| 통제 | 정의 | 잡아내는 것 |
|---|---|---|
| 선택지 글자 $s_f^{\mathrm{letter} }$ | $\eta^{2}(R_{G_{\mathrm{ET} } }(A_f),\,y)$ | 같은 예제·템플릿의 답 순열 사이에서 활성이 정답 글자를 따라가는가 (예: 정답이 A일 때 늘 더 켜짐) |
| 프롬프트 $s_f^{\mathrm{prompt} }$ | $\eta^{2}(R_{G_{\mathrm{EP} } }(A_f),\,\mathrm{template})$ | 예제·답 순서를 고정했을 때 템플릿 민감성 |
| 순열 $s_f^{\mathrm{perm} }$ | $1-\eta^{2}(A_f,G_{\mathrm{ET} })$ | 예제–템플릿 그룹으로 설명되지 않는 분산, 즉 답 순서 불안정성 |
| 텍스트 $s_f^{\mathrm{text} }$ | $\max{\max_j|\mathrm{corr}(A_f,c_j)|,\ \max_k\eta^{2}(A_f,g_k)}$ | 텍스트 길이·토큰 수·선택지 수·답 텍스트 TF-IDF 유사도·최대 8개 TF-IDF/SVD 성분($c_j$), 질문 범주($g_k$, CommonSenseQA·MMLU)와의 최대 연관 |
🚦 2. 위험 점수와 자격 요건 (Eq. 8, 20)
네 백분위의 최댓값이 아티팩트 위험입니다.
$$a_{f}=\max{q_{f}^{\mathrm{letter} },q_{f}^{\mathrm{prompt} },q_{f}^{\mathrm{perm} },q_{f}^{\mathrm{text} }}$$
예컨대 $q_f^{\mathrm{letter} }=.90$ 은 그 설정에서 검사된 피처의 90%보다 선택지 글자 의존이 강하다는 뜻입니다. 최댓값을 쓰는 것은 교란 하나만 강해도 고위험으로 보기에 충분하다는 판단입니다. 저자들은 이것이 상대 점수이지 오염 확률이 아니라고 강조합니다.
집계 후 피처 단위(모델–레이어–SAE 폭–피처)는 다음을 모두 만족해야 자격이 있습니다.
| 요건 | 임계 |
|---|---|
| 최대 아티팩트 위험 | $\leq 0.80$ |
| 최대 활성 빈도 | $< 0.95$ (모든 기여 설정에서) |
| 활성 지지 | 한 설정에서 최소 100개 인스턴스 |
| 데이터셋 범위 | 최소 2개 데이터셋에서 증거 |
| 계수 부호 일관성 | $\bar{c}_f\geq 0.60$ |
부호 일관성은 위치 안에서
| $$c_{f}=\frac{\left | \sum_{r}s_{f,r}\right | }{\sum_{r} | s_{f,r} | }$$ |
로 정의되고($s_{f,r}$ 은 프로브 계수에서 유도한 부호 있는 검증 가중 증거), 기여 위치들에 대해 평균합니다. 활성 지지·밀도·데이터셋 범위·부호 일관성은 아티팩트 위험 점수의 구성 요소가 아니라 별도 자격 요건입니다. 자격 있는 단위를 아티팩트 패널티가 적용된 증거로 순위 매겨 비오라클·오라클 풀 각각 상위 300개를 유지합니다.
💡 Key Takeaway 핵심 설계는 “예측 증거”와 “아티팩트 위험”을 별도 축으로 두는 것입니다. 부록 Figure 2가 보여주듯 강한 비패널티 예측 증거는 위험 게이트 위쪽에도 많이 존재합니다. 예측력만으로 고르면 아티팩트 피처가 대거 섞여 들어옵니다.
대조 직접 로짓 귀인(DLA) 기반 선택
아티팩트 인식 top-$k$ 선택 뒤, 개입 전 마지막 휴리스틱으로 대조 직접 로짓 귀인(contrastive Direct Logit Attribution) 을 씁니다. 피처가 오답 인스턴스에서 더 활성이더라도 그 디코더 방향이 정답–오답 로짓 대비와 거의 정렬되지 않을 수 있습니다. 그런 피처는 오류를 예측하지만 모델을 어느 쪽 답으로도 직접 밀지 않습니다.
📐 1. 정의 (Eq. 10)
$d_f$ 를 피처 $f$ 의 디코더 방향, $u_\ell$ 을 답 글자 $\ell$ 의 유효 토큰 변형들의 평균 언임베딩 방향이라 하면
$$C^{\mathrm{DLA} }{i,f}=A{i,f}\,d_{f}^{\top}(u_{y_{i} }-u_{w_{i} })$$
입니다. 양수는 정답 대 최강 오답 마진을 지지, 음수는 최강 오답을 지지하며 크기는 정렬 강도입니다.
🧭 2. 선택 규칙 (Appendix B)
데이터셋·모델·레이어·SAE 폭·응답 모드·활성 위치의 각 조합이 하나의 설정이고, 발견·검증 인스턴스의 모든 DLA 요약을 씁니다.
| 범주 | 조건 |
|---|---|
| 정답 지향(correct-directed) | 최대 정답−최강오답 DLA $\geq 1.0$, 그 방향의 평균 DLA $>0.02$, 매칭된 설정의 75% 이상에서 방향 일치, 최소 한 설정에서 정답 지향 DLA 상위 5%, 최강 정답 지향 점수 > 최강 오답 지향 점수 |
| 오답 지향(top-wrong-directed) | 위의 대칭 규칙 |
| 혼합 방향 진단(mixed-direction) | 최대 절대 DLA가 해당 후보 목록 상위 10%, 양방향 모두 상위 5%, 두 방향 규칙 모두 불만족 |
한 모델 구성이 지배하지 않도록 범주당 최대 5개, 모델–레이어–SAE 폭 그룹당 최대 25개 고유 피처로 제한합니다. 방향성 피처라도 아티팩트 위험 $\geq 0.70$, 설명이 의미·형식 패턴을 가리킴, 전역적으로 조밀함 중 하나면 아티팩트 통제 라벨을 추가로 받습니다.
🔢 3. 결과 후보 수
600개 후보(비오라클 300 + 오라클 300)에 DLA 규칙을 적용해 55개 비오라클, 22개 오라클 고유 피처 단위를 개입 대상으로 얻습니다. DLA 선택은 발견·검증 인스턴스만 쓰고 개입은 테스트 인스턴스에서만 평가합니다.
💡 Key Takeaway DLA는 “활성이 답 로짓에 직접 기여하는가”만 봅니다. 하류 레이어를 거친 간접 효과는 잡지 않으므로, 여기서 걸러진 피처 중에도 간접 경로로 답을 바꾸는 것이 있을 수 있습니다. 저자들도 이를 휴리스틱으로 위치시킵니다.
Phase 2: 피처 개입 설계와 기준선
🔧 1. 디코더 벡터 갱신 (Eq. 11)
선택된 피처 $f$ 와 개입 구간 $P_i$ 에 대해 목표 활성 $\tau_{i,t,f}$ 를 정하고 잔차 스트림을 갱신합니다.
$$r^{\prime}{i,t}=r{i,t}+(\tau_{i,t,f}-a_{i,t,f})d_{f},\quad t\in P_{i}$$
$r_{i,t}$ 는 개입 레이어에서 인스턴스 $i$ 의 토큰 $t$ 잔차 벡터입니다.
| 개입 | $\tau_{i,t,f}$ | 출처 |
|---|---|---|
| 영 치환 | $0$ | — |
| 평균 치환 | $\mu_f$ | Marks et al. (2025) |
| 상향 조향 | $a_{i,t,f}+\lambda\sigma_f$, $\lambda\in{1,2,4}$ | O’Brien et al. (2025) |
$\mu_f$, $\sigma_f$ 는 같은 데이터셋–모델–레이어–SAE 폭–응답 모드–위치 구성 안에서 행 수준 최대 풀링 활성 $A_{i,f}$ 의 평균과 표준편차입니다.
🧷 2. 인스턴스 선택과 결과 변수 (§4.5)
강제 글자 실행에서 한 번에 SAE 피처 하나에 개입합니다. 각 데이터셋–모델–레이어–SAE 폭–피처–위치 조합에서 저장된 토큰 활성을 인스턴스 안에서 최대 풀링하고, 풀링 값이 가장 큰 최대 10개 활성 테스트 인스턴스를 고릅니다. 편집은 FP·Q·O(비오라클) 또는 C·TW(오라클) 구간의 모든 토큰에 적용됩니다.
GR 구간은 피처 발견과 DLA 선택에는 쓰이지만 개입 구간은 아닙니다. LTR 모드에서는 답 뒤에 나오고, RF 모드에서는 자기회귀 생성 중 온라인 개입이 필요한데 현재 고정 구간 구현이 지원하지 않기 때문입니다.
| 기호 | 정의 |
|---|---|
| $\Delta x=x^{\mathrm{int} }-x^{\mathrm{base} }$ | 개입 − 무개입 |
| $\Delta m$ | 마진 변화. 양수면 정답 쪽 이동 |
| $\Delta z_y,\ \Delta z_w$ | 정답·최강 오답 로짓 변화 |
| $\Delta p_y,\ \Delta p_w$ | 그 확률 변화 |
| $\Delta H$ | 답 글자 엔트로피 변화 |
🎲 3. 두 기준선 (§4.6)
| 기준선 | 구성 |
|---|---|
| 무작위 활성 대조군 | 각 강제 글자 FP·Q·O 실행마다 테스트 분할에서 활성인 자격 있는 피처 5개를 표본. 피처당 최고 활성 테스트 인스턴스 최대 10개에 같은 개입 적용 |
| 적응된 HalluSAE (Chen et al. 2026) | 각 데이터셋–모델–SAE 폭 설정의 발견 인스턴스에서 FP 위치 DLA를 계산하고 두 레이어에 걸쳐 총 100개 피처 선택. 클래스 균형 $L_1$ 로지스틱 오답-대-정답 분류기를 5겹 교차검증으로 정규화 선택해 적합. 레이어는 HalluSAE의 Stage-I 전층 국소화를 재현하지 않고 1B 17/22, 4B 22/29 사용. 추가로 100개 피처씩 무작위 활성 선택 10회 반복 |
인과 FP 비교에서는 각 데이터셋–모델–레이어–SAE 폭 안에서 HalluSAE와 선택 피처의 실행별 피처 테스트 수를 맞춥니다.
💡 Key Takeaway 비교 단위는 “피처–인스턴스 쌍당 다섯 가지 개입 사건”입니다. 무작위 대조군은 활성 빈도나 편집 크기를 정확히 맞춘 것이 아니라 같은 실행 안에서 뽑은 것이어서, 뒤에 섭동 크기 보정 분석이 따로 필요해집니다.
통계 감사 결과: SAE 활성은 오답을 예측하는가
📊 1. FP 위치 테스트 성능 (Table 3)
192개 실행(8개 데이터셋 × 8개 모델–레이어–SAE 구성 × 3개 응답 모드)에 대한 결과입니다. 이진 지표는 평균, 회귀 $R^2$ 와 Pearson $r$ 은 중앙값입니다.
| 목표 | 지표 | 테스트 요약 |
|---|---|---|
| WvC | AUROC / F1 | .715 / .644 |
| LMvHM | AUROC / F1 | .739 / .711 |
| WHC | AUROC / F1 | .739 / .688 |
| WLM | AUROC / F1 | .706 / .805 |
| Margin | $R^2$ / $r$ | .117 / .357 |
| Entropy | $R^2$ / $r$ | .285 / .541 |
LMvHM과 WHC의 평균 AUROC가 .739로 가장 높고 WvC .715, WLM .706이 뒤따릅니다. WLM은 AUROC가 낮은데 F1(.805)이 높은데, 저마진 인스턴스로 과제를 제한하면서 생긴 클래스 불균형 때문입니다. 엔트로피가 마진보다 예측하기 쉽습니다(중앙값 $R^2$ .285 vs .117).
📍 2. 위치별 성능 (Table 8–9)
| 위치 | WvC | LMvHM | WHC | WLM | Margin $R^2$/$r$ | Entropy $R^2$/$r$ |
|---|---|---|---|---|---|---|
| FP | .715/.644 | .739/.711 | .739/.688 | .706/.805 | .117/.357 | .285/.541 |
| Q | .569/.522 | .558/.572 | .573/.553 | .567/.779 | −.138/.102 | −.066/.176 |
| O | .662/.591 | .720/.687 | .722/.662 | .638/.821 | .059/.353 | .054/.302 |
| GR | .740/.660 | .749/.738 | .782/.732 | .784/.820 | .104/.360 | .106/.373 |
| C | .746/.652 | .836/.774 | .839/.760 | .645/.825 | .239/.550 | −.020/.189 |
| TW | .694/.617 | .801/.750 | .804/.735 | .595/.800 | .185/.480 | −.021/.196 |
이진 셀은 평균 AUROC/F1, 회귀 셀은 중앙값 $R^2$/Pearson $r$ 입니다. FP·Q·O·C·TW는 192개 실행, GR은 강제 글자 실행에 생성 근거가 없어 128개 실행입니다.
- 질문 구간(Q) 모델이 전반적으로 가장 약합니다. 두 회귀 목표의 중앙값 $R^2$ 가 음수로, 상수 예측기보다 못합니다.
- GR과 오라클 구간(C·TW) 은 여러 이진 목표에서 더 강합니다. 오라클 C의 LMvHM·WHC AUROC가 .836/.839로 최고입니다.
- 마진 회귀는 오라클 C에서 $R^2$ .239로 가장 좋지만, 엔트로피는 FP에서만 뚜렷하게 예측됩니다(.285).
🗂️ 3. 데이터셋별 편차 (Table 10–11 발췌)
| 데이터셋 | FP WvC AUROC | FP WHC AUROC | FP Margin $R^2$ | FP Entropy $R^2$ | 특징 |
|---|---|---|---|---|---|
| HaluEval | .865 | .905 | .504 | .124 | 가장 예측하기 쉬움 |
| Med-HALT | .809 | .857 | .506 | .350 | 마진·엔트로피 모두 높음 |
| SciQ | .735 | .760 | .299 | .344 | |
| TruthfulQA | .722 | .730 | .101 | .209 | |
| MMLU | .665 | .675 | .095 | .257 | Q 위치 마진 $R^2$ −.714 |
| CSQA | .652 | .670 | .062 | .369 | |
| Wiki-FACTOR | .642 | .662 | .056 | .216 | |
| FEVER | .630 | .653 | .068 | .363 | 오라클 C에서 AUROC .910–.965, 마진 $R^2$ .752 |
FEVER는 FP에서는 약하지만 오라클 C·TW에서 매우 강하게 예측됩니다. 이는 정답/오답 선택지 텍스트 자체(Supported·Refuted·NEI 라벨)가 피처 활성에 직접 반영된다는 뜻으로, 오라클 구간의 높은 성능을 “모델이 답을 안다”로 읽으면 안 되는 이유를 보여줍니다.
💡 Key Takeaway 첫 번째 질문 “SAE 활성이 오답을 예측하는가”의 답은 그렇다, 다만 중간 정도로입니다. FP에서 AUROC .7 초반, 엔트로피 $R^2$ .3 미만입니다. 예측 신호는 분명하지만, 그것이 어디서 오는지는 이 단계로는 알 수 없습니다.
피처 선택 결과
🔽 1. 깔때기 (Table 4)
| 풀 | 순위 매긴 단위 | 자격 통과 | 선택 | 평균 $a_f$ |
|---|---|---|---|---|
| 비오라클 | 81,304 | 2,205 | 300 | .712 |
| 오라클 C/TW | 48,888 | 1,100 | 300 | .724 |
집계는 81,304개 비오라클, 48,888개 오라클 피처 단위를 만들었고, 깨끗한 후보 필터 뒤 각각 2,205개와 1,100개만 남았습니다. 거기서 상위 300개씩을 유지했는데 평균 아티팩트 위험이 .712와 .724로, 게이트(0.80) 아래이긴 하지만 낮지 않습니다.
📍 2. 가장 강한 증거의 위치
| 풀 | 위치 | 단위 수 |
|---|---|---|
| 비오라클 top 300 | FP | 99 |
| O | 93 | |
| Q | 56 | |
| GR | 52 | |
| 오라클 top 300 | C | 151 |
| TW | 149 |
비오라클 후보는 FP와 선택지 블록(O)에서 주로 나오고, 질문 구간(Q)은 상대적으로 적습니다. 통계 감사에서 Q가 가장 약했던 것과 일치합니다.
🧮 3. DLA 이후
600개 후보 전부에 대해 발견·검증 인스턴스에서 DLA를 계산하고, 고정된 방향·크기·순위 기준을 적용해 일관되게 정답 또는 오답 쪽으로 정렬된 피처와 크지만 방향이 섞인 피처를 유지합니다. 최종 55개 비오라클, 22개 오라클 고유 피처 단위입니다.
결론부에서 저자들은 모든 최종 후보가 사전 지정 게이트를 통과했음에도 55개 비오라클 단위 중 26개가 아티팩트 또는 의미 태그를 유지한다고 밝힙니다.
💡 Key Takeaway 8만 개 이상에서 55개로 좁혀도 절반 가까이가 아티팩트·의미 태그를 달고 있습니다. “깨끗한 오류 피처”는 이 파이프라인의 기준으로도 찾기 어렵습니다.
인과 개입 결과: 선택 피처 vs 무작위 vs 오라클
단일 피처 개입은 측정 가능하지만 드문 변화를 일으키고 방향은 섞여 있습니다. W2C·C2W·W2W는 각각 오답→정답, 정답→오답, 오답→다른 오답 전환입니다.
📊 1. 최종 테스트셋 개입 결과 (Table 5)
$N$ 은 피처–인스턴스–개입 사건 수, $U$ 는 실행별 피처 테스트 수이고 피처–인스턴스 쌍 하나가 다섯 개입 사건을 기여합니다.
| 집합 | 위치 | $N$ | $U$ | W2C | C2W | W2W | $\overline{\Delta m}$ | $\overline{|\Delta m|}$ | $\overline{|\Delta p_y|}$ |
|---|---|---|---|---|---|---|---|---|---|
| 선택 | FP | 2,500 | 73 | 2 | 9 | 9 | +.016 | .154 | .0031 |
| 무작위 | FP | 9,950 | 320 | 18 | 22 | 19 | +.007 | .237 | .0039 |
| HalluSAE | FP | 3,650 | 73 | 5 | 9 | 3 | −.275 | 1.760 | .0052 |
| 선택 | Q | 21,110 | 425 | 16 | 17 | 8 | +.002 | .158 | .0010 |
| 무작위 | Q | 15,150 | 320 | 1 | 9 | 10 | −.001 | .135 | .0011 |
| 선택 | O | 20,170 | 415 | 19 | 19 | 23 | −.005 | .216 | .0021 |
| 무작위 | O | 13,395 | 320 | 7 | 4 | 3 | −.004 | .159 | .0016 |
| 오라클 | C | 6,805 | 145 | 6 | 9 | 4 | −.003 | .132 | .0012 |
| 오라클 | TW | 7,790 | 160 | 0 | 5 | 0 | −.002 | .135 | .0009 |
수만 개 개입 사건 중 답이 뒤집힌 사건은 각 행에서 수십 개 이하입니다. 평균 부호 있는 마진 변화 $\overline{\Delta m}$ 은 모두 0 근처이고, 평균 정답 확률 변화는 .005 미만입니다.
🆚 2. 선택 vs 무작위, 풀링 Q/O (Table 16)
5,000회 부트스트랩(모델–레이어–폭–피처 단위 재표본)의 점 추정과 95% 백분위 구간입니다.
| 지표 | 선택 Q/O | 무작위 Q/O | 선택 − 무작위 | 오라클 C/TW |
|---|---|---|---|---|
| W2C율 (%) | .189 [.090, .308] | .058 [.021, .101] | +.132 [+.024, +.257] | .101 [.000, .307] |
| C2W율 (%) | .158 [.074, .253] | .089 [.014, .179] | +.069 [−.055, +.191] | .162 [.024, .330] |
| $\overline{|\Delta m|}$ | .187 [.164, .212] | .146 [.136, .160] | +.041 [+.014, +.067] | .134 [.114, .154] |
| $\overline{|\Delta p_y|}$ | .00152 | .00133 | +.00019 [−.00018, +.00059] | .00105 |
- Q·O를 풀링하면 선택 피처가 무작위보다 큰 절대 마진 변화(.187 vs .146)와 높은 W2C율(.189% vs .058%)을 내고, 두 구간 모두 0 위에 있습니다.
-
반면 C2W율과 $ \Delta p_y $ 의 구간은 0을 포함해 뚜렷한 차이가 없습니다. - FP에서는 반대입니다. 선택 피처의 평균 절대 마진 변화가 무작위보다 작습니다(.154 vs .237, 차이 −.083 [−.118, −.047]).
- 저자들은 이 구간이 테스트된 피처 단위 간 변동을 기술할 뿐, 행 수준 검정이나 무작위화 기반 $p$ 값이 아니라고 못 박습니다.
📈 3. 조향 강도 반응과 단조성 (Figure 3, Table 14)
| 집합 | 쌍 수 | 단조 증가 비율 |
|---|---|---|
| 선택 Q/O | 8,256 | 51.8% |
| 무작위 Q/O | — | 46.6% |
| 오라클 C/TW | — | 48.6% |
| 선택 Q/O의 $ | \Delta m | $ 은 $+1\sigma_f$ 에서 .164, $+4\sigma_f$ 에서 .268로 집계 수준에서는 가장 뚜렷한 강도 반응을 보이지만, 쌍 단위로 보면 절반 남짓만 단조 증가합니다. 더 세게 밀수록 더 많이 움직이는 피처가 절반에 그친다는 뜻입니다. |
Table 14의 쌍 수준 결과를 보면, 선택 FP는 73개 실행별 단위가 전역적으로 20개 피처에 해당하고(500쌍), 선택 Q·O는 각각 55개 전역 피처(4,222·4,034쌍), 무작위는 320개 실행별 단위가 거의 다 서로 다른 피처(311–319)입니다. W2C%는 초기 오답 기준 조건부 비율입니다.
⚖️ 4. 개입 크기·문맥 보정 (Table 17)
개입 크기는 피처를 얼마나 움직였는지와 몇 토큰을 편집했는지에 의존하므로, 편집 토큰들에 걸친 원래–목표 피처 활성의 $L_2$ 변위(피처 표준편차로 정규화)를 재고, 변위·구간 길이·개입 변형·기준 마진과 정답 여부·활성 빈도·토큰 위치·데이터셋·모델 구성을 통제하는 피처 동등 회귀로 선택–무작위 차이를 다시 추정합니다.
| 범위 | 토큰 수 S/R | 표준화 편집 S/R | 원 차이 | 보정 차이 [95% CI] |
|---|---|---|---|---|
| Q/O | 33/34 | 11.49/14.19 | .041 | .021 [−.006, .048] |
| Q | 32/35 | 11.62/14.39 | .023 | .008 [−.001, .017] |
| O | 33/33 | 11.38/13.94 | .058 | .049 [.014, .084] |
무작위 피처의 표준화 편집 크기가 더 큽니다(14.19 vs 11.49). 보정 후 선택–무작위 차이는 O 구간에서만 구간이 0을 벗어나고, Q와 풀링 Q/O에서는 사라집니다. 구간은 피처와 원본 질문으로 군집화했고, 표준화 잠재 크기는 디코더 노름을 포함하지 않습니다.
🔄 5. 표면 형식에 걸친 방향 안정성
매칭된 순열과 템플릿에 걸친 부호 일치의 선택–무작위 차이도 구간이 0을 포함합니다. 즉 같은 피처·같은 질문이라도 답 순서나 템플릿이 바뀌면 개입 효과의 방향이 일관되지 않습니다. 오라클 C/TW 개입은 수리(6 W2C)와 손상(14 C2W)을 모두 포함하며 매칭된 무작위 대조군이 없습니다.
💡 Key Takeaway 두 번째·세 번째 질문의 답입니다. 개입은 답 선호에 국소적 영향을 주며 Q·O 구간에서 무작위보다 낫습니다. 그러나 (1) 뒤집힘이 드물고, (2) 강도 반응이 쌍의 절반에서만 단조이며, (3) 편집 크기를 보정하면 O에서만 남고, (4) 형식 변화에 방향이 흔들립니다. 일반적 교정 이점은 입증되지 않았습니다.
HalluSAE 기준선 비교: 큰 로짓 이동 ≠ 깨끗한 기제
🔍 1. 예측·아티팩트 감사 (Table 13)
| 감사 | 수량 | 결과 |
|---|---|---|
| 예측 | 데이터셋–모델–폭 그룹 | 32 |
| HalluSAE 테스트 AUROC / F1 | .775 / .674 | |
| 무작위 대조 테스트 AUROC / F1 | .761 / .659 | |
| 아티팩트 | 비영 피처–설정 레코드 | 3,020 |
| $a_f=0.80$ 게이트 초과 레코드 | 2,987 (98.9%) | |
| 고유 비영 피처 단위 | 711 | |
| 모든 설정에서 게이트 초과 단위 | 679 (95.5%) | |
| 모든 설정에서 게이트 미만 단위 | 9 (1.3%) | |
| 설정에 따라 게이트를 넘나드는 단위 | 23 (3.2%) | |
| 전용 아티팩트 플래그 단위 | 578 (81.3%) | |
| 중복 | 본 연구 top-300 / Phase 2 단위와의 겹침 | 0 / 0 |
HalluSAE는 예측적입니다(AUROC .775, 무작위 대조 .761). 그러나 711개 비영 계수 단위 중 679개(95.5%)가 선택된 모든 강제 글자 FP 설정에서 아티팩트 위험 0.80을 넘고, 본 연구의 top-300 후보와는 겹침이 전혀 없습니다. 두 방법은 거의 서로소인 피처 집합을 고릅니다.
⚡ 2. 매칭 예산 인과 비교 (Table 15)
42개 데이터셋–모델–레이어–SAE 폭 층 안에서 HalluSAE FP 피처 테스트 73개를 선택 피처 예산에 맞춥니다. 구간은 10,000회 부트스트랩입니다.
| 지표 | 선택 FP | 무작위 FP | HalluSAE FP | H − 선택 [95% CI] | H − 무작위 [95% CI] |
|---|---|---|---|---|---|
| 실행별 피처 테스트 | 73 | 320 | 73 | – | – |
| 피처–인스턴스 쌍 | 500 | 1,990 | 730 | – | – |
| 중앙값 활성 빈도 | .00133 | .00131 | .580 | – | – |
| W2C율 (%) | .159 | .347 | .332 | +.173 [−.294, .745] | −.015 [−.458, .557] |
| C2W율 (%) | .723 | .462 | .420 | −.303 [−1.489, .566] | −.043 [−.483, .412] |
| $\overline{|\Delta m|}$ | .154 | .237 | 1.760 | +1.606 [1.327, 1.902] | +1.524 [1.245, 1.818] |
| $\overline{|\Delta p_y|}$ | .00305 | .00392 | .00517 | +.00212 [−.00110, .00567] | +.00125 [−.00169, .00462] |
- HalluSAE 피처는 선택·무작위 FP 피처보다 한 자릿수 큰 절대 마진 변화(1.760 vs .154/.237)를 만듭니다.
- 그러나 W2C율은 어느 기준선보다 검출 가능하게 높지 않고, DLA 정렬 마진의 구간도 0을 포함합니다.
- 결정적으로 HalluSAE 피처는 훨씬 조밀합니다. 중앙값 활성 빈도 .580 vs 약 .0013. 즉 절반 이상의 인스턴스에서 켜지는 피처입니다. 비교는 피처 테스트 예산을 맞췄을 뿐 활성 밀도는 맞추지 못했습니다.
🧷 3. 해석
HalluSAE는 조밀하고 아티팩트에 취약하며 로짓 영향력이 큰 방향을 찾아냅니다. 그것이 오류를 더 안정적으로 교정하는 피처는 아닙니다. 이 결과가 보여주는 것은 예측 성능과 큰 로짓 이동이 함께 있어도 아티팩트 독립적 인과 기제가 성립한다는 보장이 없다는 점입니다.
💡 Key Takeaway “마진을 크게 움직인다”는 것은 인상적이지만, 거의 모든 입력에서 켜지는 조밀한 방향을 밀면 당연히 로짓이 크게 흔들립니다. 그 이동이 정답 방향으로 일관되게 가지 않는다면 오류 기제라고 부를 수 없습니다.
결론과 한계
📝 1. 저자의 결론 (§6)
| 질문 | 답 |
|---|---|
| SAE 활성이 오답을 예측하는가 | 그렇다. 8개 데이터셋에서 정답성·신뢰도·불확실성에 대한 예측 정보를 담고 있다 |
| 개입이 선호를 바꾸는가 | Q/O 개입이 무작위보다 마진을 더 움직이고 초기 오답 사건을 더 많이 교정한다 |
| 오류를 고치는가 | 뒤집힘은 드물고 동등한 프롬프트 형식·답 순서에 걸쳐 효과가 안정적이지 않다. 답 선호에 영향을 주지만 신뢰할 수 있는 오류 수리는 제공하지 않는다 |
아티팩트 얽힘이 주된 문제로 남습니다. 모든 최종 후보가 게이트를 통과했지만 55개 중 26개가 아티팩트·의미 태그를 유지하고, HalluSAE는 비영 단위의 95.5%가 임계를 넘으면서도 교정률을 높이지 못합니다. 저자들은 이 결과가 희소성이 저차원 표면 단서를 선호하는 반면 고수준 행동은 피처들에 분산되어 있다는 Ma et al. (2026)의 관찰과 일치한다고 봅니다. 식별된 피처는 오답 기제가 아니라 문맥 의존적 답 경쟁을 반영합니다.
⚠️ 2. 명시된 한계
| 영역 | 한계 |
|---|---|
| 모델·레이어 | Gemma 3 1B·4B, 중후반 잔차 레이어 4개, 16K/65K Gemma Scope SAE로 제한. 처리 능력의 제약이며 큰 모델은 다르게 행동할 수 있으나 분석·개입 비용이 크게 증가 |
| 대조군 매칭 | 무작위 활성 대조군은 활성 실행 안에서 매칭했을 뿐 활성 빈도나 편집 크기를 정확히 맞추지 않음. 섭동 보정 분석을 보고하지만 디코더 노름은 미포함. 부트스트랩 구간은 고정된 후보 목록을 조건으로 함 |
| HalluSAE 비교 | 전층 국소화 단계를 반복하지 않고 같은 분석 레이어에 피처 선택법을 적용한 매칭 레이어 적응 |
| 과제 범위 | 제약된 답 공간이 정밀 측정을 가능하게 하므로 다지선다 오류에 집중. 자유 형식 오답으로의 확장은 향후 과제 |
| 계산 | V100 SXM2 GPU 20장, 약 500 GPU 시간 |
🔎 3. 읽을 때 유의할 점
- 아티팩트 위험 $a_f$ 는 같은 설정 안 피처들 사이의 백분위입니다. .712라는 평균은 “71% 확률로 오염”이 아니라 “다른 피처의 71%보다 어느 한 교란과의 연관이 강하다”는 뜻입니다.
- 오라클 구간(C·TW)의 높은 예측 성능은 정답 텍스트 자체를 읽는 것이므로 모델의 지식 상태로 해석하면 안 됩니다. FEVER의 C 위치 AUROC .96이 그 예입니다.
- 본문 §5.3에 오라클 후보 위치 분포를 서술한 문장이 “nearly 151 for C and 149 for TW 149”로 어색하게 끝납니다. 두 수의 합은 300으로 표와 맞습니다.
- 부록 Table 12 캡션에 “Phase 0 runs”라는 표현이 나오지만 본문에는 Phase 1·2만 정의되어 있습니다.
💡 Key Takeaway 이 논문의 가치는 긍정 결과보다 부정 결과의 정밀함에 있습니다. 예측력, 큰 로짓 이동, 사전 등록된 아티팩트 게이트를 모두 통과해도 “깨끗한 오류 피처”에 닿지 못했다는 사실은, SAE 피처 수준의 오류 설명을 주장하려면 조향 방향의 안정성과 아티팩트 독립성을 별도로 입증해야 함을 보여줍니다.