0. Summary

  • 기본 정보 : ArXiv,2026.10.21, VLMProbe: An Open-source Library for VLM Probing and Interpretation
  • 연구 배경 : 시각-언어 모델(VLM)은 질문에 답하고 이미지를 묘사하지만, 그 출력만으로는 시각 정보가 어떻게 인코딩되고 운반되며 답 선택에 쓰이는지 알 수 없다. Tuned Lens·Patchscopes 같은 렌즈(lens), attention rollout·relevance propagation 같은 어텐션 귀속(attribution), activation/path patching·attention knockout 같은 인과 개입(causal intervention), ReLU/TopK 사전 같은 희소 오토인코더(SAE)는 서로 보완적인 증거를 주지만, 아키텍처가 다른 모델에 이들을 함께 적용하려면 입력 규약·활성 위치(site)·보정(calibration)·사전 결합(binding)·목표 점수를 일관되게 맞춰야 한다. 출력 형식이 비슷하다고 측정이 동등해지는 것은 아니다.
  • 제안 방법 : 네 방법군(렌즈·어텐션·인과·SAE)을 하나의 공통 모델 인터페이스 위에 통합한 오픈소스 라이브러리 vlmprobe 를 제안한다. 사용자는 모델을 한 번 결합(bind)하고 호환 가능한 방법과 관찰 위치를 고른 뒤, 결과 텐서를 분석 설정과 함께 보존한다. 모델 어댑터는 각 모델 고유의 활성 위치와 이미지·텍스트 토큰 배치를 그대로 유지한다. 이 틀 위에서 다섯 VLM(SmolVLM-500M, InternVL3-1B, Qwen3-VL-2B, Pixtral-12B, LLaVA-1.5-7B)에 같은 입력을 주는 매칭 사례 연구와, GPT-2·ViT 에서의 보완 연구, 그리고 고정된 사전학습 SAE 18개(언어)·12개(시각)·5개(디코더)에 대한 통제 평가를 수행한다.
  • 발견 사실 : (1) 표현 리드아웃(readout)과 공간 설명은 분석 목적과 관찰 위치에 따라 달라진다. 같은 IOI 결정에서 Logit/Tuned/Jacobian Lens 는 서로 다른 레이어에서 정답 이름을 뽑고, 같은 입력에 대한 7가지 어텐션 설명은 공간 강조가 크게 다르다. (2) 국소 귀속 추정은 실제 개입 효과와 어긋날 수 있다. SmolVLM 의 레이어 5 시각 상태 교체는 $\log P(\text{Yellow})$ 를 $-0.498$ 만큼 바꾸지만 attribution patching 추정은 $-0.067$ 이고, LLaVA 는 $-1.646$ 대 $+0.100$ 으로 부호마저 뒤집힌다. ViT 삭제 실험에서 rollout 으로 196 패치 중 39개를 지워도 cat 확률은 65.1% 로 남지만 Beyond-C 로 지우면 0.27% 가 된다. (3) SAE 평가에서는 재구성 충실도·개념 리드아웃·공간 국소화가 서로 다른 트레이드오프를 보인다. 활성 피처 약 80개 조건에서 BatchTopK 의 FVU 0.0648·$\Delta$NLL 0.1945 nats 대 ReLU 의 0.1078·0.5796 nats 로 재구성은 BatchTopK 가 낫지만, 활성 약 20개 조건의 개념 리드아웃 AUROC 는 Matryoshka 0.9065 가 TopK 0.8412 를 앞선다. 5개 PCA 성분(0.9481)은 모든 5-피처 SAE 프로브(최대 0.9380)를 넘는다.
  • 핵심 기여 :
    1. 통합 분석 라이브러리 : 하나의 모델 인터페이스가 렌즈·어텐션·인과·SAE 네 방법군을 보정·체크포인트 처리·평가·시각화와 함께 연결하며, 지원되는 VLM·언어·시각 아키텍처에 걸쳐 동작한다.
    2. 비교 평가 워크플로 : 매칭 사례와 통제된 사전학습 SAE 연구가 입력·분석 단위·목표·대조군을 명시적으로 드러내, 호환 가능한 방법끼리의 비교를 가능하게 한다.
    3. 방법 거동에 대한 증거 : 리드아웃과 공간 설명이 목적·관찰 위치에 의존하고, 국소 귀속 추정이 측정된 개입 효과와 어긋날 수 있으며, SAE 의 재구성·개념 리드아웃·공간 유용성이 서로 다른 트레이드오프를 보인다는 것을 보여, 여러 측정을 결합하고 설명 가설을 모델 행동으로 검증할 것을 제안한다.

Abstract 쉬운 설명(claude)

이 논문은 AI가 사진을 볼 때 머릿속에서 무슨 일이 일어나는지 들여다보는 도구 모음을 만들었다는 내용입니다.

사진을 보여주면 “고양이가 소파에 앉아 있어요”라고 답하는 AI를 시각-언어 모델(VLM)이라고 합니다. 이런 AI는 답을 잘 내놓아도 왜 그렇게 답했는지는 만든 사람조차 알기 어렵습니다. 그래서 AI가 정말 고양이를 보고 판단했는지, 아니면 엉뚱한 단서를 따라간 것인지 확인할 방법이 필요합니다.

이걸 알아내는 방법은 이미 여러 가지가 있습니다. 환자를 진단할 때 쓰는 검사에 비유하면 이렇습니다.

  • 렌즈 판독: 뇌 사진을 찍듯이 AI 내부 상태를 읽어봅니다.
  • 어텐션 분석: 시선 추적처럼 AI가 사진의 어디를 주목했는지 봅니다.
  • 인과적 개입: 사진이나 AI 내부의 일부를 바꿔 보고 답이 달라지는지 직접 실험합니다. 고양이를 가렸는데도 답이 그대로라면 다른 단서를 본 것입니다.
  • 희소 오토인코더(SAE): 복잡한 내부 신호를 ‘귀’, ‘털’처럼 사람이 이해하기 쉬운 개념 단위로 풀어봅니다.

문제는 이 검사들이 따로따로 쓰여서 서로 비교하기 어려웠다는 점입니다. 연구진은 여러 검사 장비를 한 병원에 모으듯, 이 방법들을 한 프로그램에서 쓸 수 있게 묶고 누구나 쓸 수 있도록 공개했습니다.

실제로 비교해 보니 검사 결과가 서로 다를 때가 있었습니다. 예를 들어 “AI가 여기를 봤다”는 분석이 나와도, 막상 그 부분을 바꿔 보면 답에 예상만큼 영향이 없을 수 있습니다. 시선이 머문 곳이 꼭 판단의 근거는 아닌 셈입니다.

그래서 연구진의 결론은 의사가 검사 하나로 확진하지 않듯, AI를 해석할 때도 여러 방법의 결과를 함께 봐야 한다는 것입니다.

관련 개념

라이브러리 설계: 공통 계약과 네 방법군

vlmprobe 의 핵심은 입력–설정–출력의 공통 계약(contract) 입니다. 입력은 모델 고유의 텐서와 그 텍스트/이미지 좌표를 담고, 설정은 방법·활성 위치·위치(position)·목표 점수를 지정하며, 필요하면 짝지어진 입력과 보정된 산출물을 함께 넘깁니다. 출력은 이 선택들을 디코딩된 토큰·귀속 맵·개입 효과와 나란히 보존합니다. 덕분에 내부 아키텍처가 같다고 가정하지 않고도 입력 준비 단계와 시각화를 여러 방법이 공유할 수 있습니다.

🧩 1. 네 방법군과 매칭 비교 (Table 3)

방법군 구현된 방법 매칭 비교
Lens Logit, Tuned, Jacobian, Attention Lens; EmbedLens 리드아웃; Patchscope IOI 에서 잔차/헤드 디코딩; GQA 에서 시각 토큰·전이 리드아웃
Attention Rollout, Grad-CAM, ATTATTR, TAM, Beyond-H/C, generic relevance 다섯 VLM 에서 GQA 에 7개 귀속 방법; 네이티브 ViT 맵과 삭제 테스트
Causal Activation/attribution patching, knockout, path patching, EAP/EAP-IG, VSV steering 정확 교체 대 근사; attention knockout; 통제된 송신 경로; 간선 보존; 세 VLM 생성 변화
SAE ReLU, TopK, Gated, JumpReLU, BatchTopK, Matryoshka; RA-SAE·SAE++ 리드아웃 고정 Pythia 사전; 9개 시각/VLM 백본의 원천 고유 공간 리드아웃; 5개 디코더 구성의 이미지–질문 귀속과 피처 제거

어텐션 프로파일링, 헤드 로짓 검사, 온도 스케일링, 재가중(reweighting)도 설정 가능한 유틸리티로 제공되지만 별도의 논문 재현 연구로 세지는 않습니다.

🧑‍💻 2. API 의 모습

논문은 표현 읽기, 어텐션 기울기로 답 설명, 정확 잔차 교체와 1차 근사 비교를 한 예제로 보여 줍니다. 핵심은 Prober(model, processor) 로 모델을 한 번 결합한 뒤 probe.lens.logit(...), probe.attention.grad_cam(...), probe.causal.patch(...), probe.causal.attribute(...) 처럼 방법군별 네임스페이스에서 설정을 고르고 .run(inputs, metric=..., source=...) 로 실행하는 구조입니다. 입력에는 teacher-forced 채점용 고정 답이 들어 있고, answer_mask 가 그 토큰 조각을 선택하며, reference 는 정렬된 원천 활성을 제공합니다. probe.describe() 는 위치·도구 선택에 관련된 모델 역량을 노출합니다. 실행된 노트북이 이 압축 예제에서 생략된 모델별 전처리와 위치 선택 단계를 제공합니다.

📐 3. 공유 점수와 비교 규칙

고정 답 $a=(a_1,\ldots,a_m)$ 에 대해 공유 점수는

$$ S(x,a)=\sum_{j=1}^{m}\log P(a_j \mid x, a_{<j}),\qquad \Delta S = S(x\ \text{with intervention}, a) - S(x,a) $$

입니다. 모든 네이티브 답 조각을 포함하고 EOS 는 제외하며, 음수 $\Delta S$ 는 그 답에 대한 지지가 줄었음을 뜻합니다. 네이티브 생성은 따로 표시해서, 강제된 답에 대한 설명과 모델의 실제 응답에 대한 설명을 구분합니다. 토큰화가 다르므로 절대 점수는 모델 간 보정 순위로 쓰기에 부적합합니다. 모델 내부 비교는 토큰 위치를 고정하고, 모델 간 비교는 의미 목표를 보존합니다(서브워드와 시각 그리드가 다르기 때문).

💡 Key Takeaway 라이브러리의 설계 원칙은 “같은 출력 형식 ≠ 같은 측정” 입니다. 입력·관찰 위치·보정 산출물·목표 점수를 결과와 함께 보존하는 공통 계약이 네 방법군을 묶는 접착제이며, 모델별 요구 사항은 숨기지 않고 어댑터에 명시적으로 남깁니다.

실험 설정: 다섯 VLM 과 여덟 고정 입력

매칭 사례 연구는 디코더 아키텍처·시각 토큰 압축·모델 크기가 다른 다섯 VLM 을 쓰고, 추론 전에 미리 고른 여덟 입력을 공유합니다.

🖼️ 1. 모델 (Table 1)

모델 이미지 그리드 아키텍처 특징
SmolVLM-500M-Instruct $8\times 8$ 압축 이미지 토큰 + Llama 디코더
InternVL3-1B-hf $16\times 16$ InternVL 시각 경로 + Qwen2 디코더
Qwen3-VL-2B-Instruct $14\times 14$ 정규화된 Q/K 와 DeepStack 시각 추가
Pixtral-12B $16\times 16$ Pixtral 패치 인코더 + Mistral 디코더
LLaVA-1.5-7B $24\times 24$ CLIP 시각 피처를 Llama 디코더로 투영

Qwen3.5-4B 도 부록에서 평가했지만, 32개 디코더 블록 중 24개가 Gated DeltaNet 이고 8개만 full attention 이어서 표준 rollout(모든 전파 단계에 어텐션 행렬이 있다고 가정)이나 IOI 식 path patching(모든 구성 요소의 출력 동결 계약 필요)을 그대로 적용할 수 없습니다. 본 비교는 전체 스택 방법을 모든 열에 유지하기 위해 Pixtral 을 씁니다.

🗂️ 2. 입력 (Table 2)

출처 공개 식별자 분석 질문
GQA 07302654 / 19225230 셔츠가 검은색인가 노란색인가?
MMVP 이미지 1 / 2 나비 날개가 펼쳐졌나 접혔나?
VSR zero-shot 테스트 행 0 / 1 가방 뒤의 차; 배낭 아래의 고양이
VisOnlyQA real 두 분할의 행 0 연결된 삼각형; 차트 값 추출

각 출처가 두 사례씩 기여하고, 별도 COCO 분할의 이미지 캡션이 VLM Tuned Lens 를 보정합니다. 같은 사진과 의미 질문이 각 VLM 에 들어가되 채팅 템플릿과 토크나이저는 모델별로 유지됩니다. 이미지는 전처리 전에 정사각형으로 패딩하고, 표시되는 맵은 원래 사진(종횡비·박스 좌표 포함)으로 되돌립니다. GQA 이미지 ID 는 2341576 과 2342134, 박스는 $(x,y,w,h)$ 기준 $(264,33,57,89)$ 와 $(76,147,124,134)$ 입니다. 생성 스티어링 비교는 별도로 COCO 검증 이미지 310196 을 세 VLM 에 씁니다.

⚙️ 3. 실행 환경

공유 VLM 실행은 Torch 2.6, Transformers 5.3, BF16 가중치, eager attention, 캐시 없는 전체 시퀀스 forward 를 씁니다. Pixtral 은 최장 변 256 픽셀과 Transformers 의 Mistral 정규식 보정을 씁니다. 모든 체크포인트는 리비전 해시로 고정되어 있습니다(Table 5). GPT-2 와 ViT 연구는 보정 산출물이나 감사된 계산 그래프가 다섯 VLM 모두에 아직 없는 도구를 위해 원래의 텍스트·시각 설정을 유지하며, 하나의 보편적 방법 리더보드를 만들지 않고 공유 사례를 보완합니다.

💡 Key Takeaway 모든 사례는 추론 전에 고정되고, 모든 체크포인트는 해시로 고정되며, 모델 내 비교와 모델 간 비교의 규칙이 다릅니다. 이 설정은 “어떤 방법이 최고인가” 가 아니라 “같은 입력에 대해 각 방법이 어떤 증거를 주는가” 를 묻기 위한 것입니다.

렌즈 방법: 잔차 리드아웃과 헤드 리드아웃

Logit Lens 는 모델의 최종 정규화와 unembedding 을 중간 잔차에 적용하고, Tuned Lens 는 먼저 학습된 아핀 변환기(translator)를 적용해 그 표현을 최종 예측 기저에 정렬합니다. 레이어 $\ell$, 위치 $t$ 에서

$$ p^{\mathrm{logit} }{\ell,t}=\mathrm{softmax}\big(W_U\,\mathrm{Norm}(h{\ell,t})\big),\qquad p^{\mathrm{tuned} }{\ell,t}=\mathrm{softmax}\big(W_U\,\mathrm{Norm}(A\ell h_{\ell,t}+b_\ell)\big). $$

🔍 1. 다섯 VLM 의 레이어별 어휘 리드아웃 (Figure 2)

노란 셔츠 GQA 질문에 대해 행은 디코더 레이어, 열은 선택된 프롬프트·답 위치입니다. 셀 텍스트는 네이티브 토크나이저로 디코딩한 최상위 어휘 조각이고 색은 고정된 다음 토큰의 순위입니다. top-1 탐색은 언어를 제한하지 않고 전체 어휘를 덮으므로 영어 입력에서 비영어 조각이 나올 수 있는데, 이는 중간 어휘 투영일 뿐 생성된 답이나 특정 내부 추론 언어의 증거가 아닙니다. 답 열에서 구체적인 불일치가 드러납니다. Qwen3-VL 은 최종 리드아웃에서 Yellow 를 2위로 두고 Black 을 생성하며, 다른 모델들은 Yellow 를 생성합니다. 이른 레이어의 디코딩 조각은 진화하는 어휘 투영을 묘사하지만, 그것만으로 셔츠가 인식됐는지나 시각 정보가 인과적으로 어디서 손실됐는지를 확정할 수는 없습니다.

🧮 2. 네 렌즈의 GPT-2 IOI 비교 (Figure 3)

Jacobian Lens 는 최종 잔차 기저로의 보정된 인과 전송(causal transport)을 써서 언어화 가능한 내용을 노출하고, Attention Lens 는 개별 헤드의 투영 출력에 대한 어휘 디코더를 학습합니다. 둘은 다른 단위와 목적을 가집니다. 헤드 리드아웃은 잔차에 결합된 구성 요소를 분해하고, Jacobian 리드아웃은 다음 토큰 예측 분포를 나타낼 필요가 없습니다.

“Andrew gave a computer to” 로 끝나는 IOI 프롬프트에서 정답은 Danielle 이고 네이티브 다음 토큰 확률은 Danielle 0.842, Andrew 0.003 입니다.

레이어 Logit Lens Tuned Lens Jacobian Lens
7 Danielle 순위 1,880 순위 897 순위 457 (“kids” 디코딩)
8 482 365 35
9 이후 Danielle 선택 Danielle 선택 Danielle 선택

Attention Lens 는 레이어 10 안의 변이를 드러냅니다. 헤드 0, 2, 6, 10 은 Danielle 을 디코딩하고 나머지 여덟 헤드는 그렇지 않습니다. 잔차 렌즈는 예측이 어떻게 떠오르는지를 추적하고, 헤드 렌즈는 테스트할 더 세밀한 구성 요소를 지명합니다. 디코딩된 이름 하나가 헤드의 필요성이나 기능적 역할을 확정하지는 않으며, 보정된 헤드·잔차 확률을 가산적 인과 기여처럼 비교하면 이 차이가 가려집니다. 세 렌즈의 목적이 다르므로 하나의 충실도 지표가 정의되지 않고, 논문은 작은 사례의 분포 발산을 방법 순위로 취급하지 않습니다.

🏷️ 3. EmbedLens: 어휘 이웃은 연상이지 객체 라벨이 아니다 (Figure 4)

EmbedLens 는 디코더 앞의 투영된 시각 토큰 임베딩을 조사합니다. 시각 토큰 $v_i$ 와 어휘 임베딩 $e_w$ 에 대해 $\cos(v_i,e_w)=v_i^\top e_w/(\lVert v_i\rVert\lVert e_w\rVert)$ 로 이웃을 순위화합니다. LLaVA-1.5-7B 에서 검은 셔츠 패치는 “black” 과 연상되지만 노란 셔츠 패치는 “Blue” 같은 무관한 조각도 냅니다. 성공적인 이웃과 모호한 이웃이 같은 리드아웃 아래 공존하며, 코사인 유사도나 큰 노름은 보정된 객체 예측이 아닙니다. 원 논문의 sink/dead/alive 분류와 가지치기 분석은 구현 범위 밖입니다.

🔁 4. Patchscope: 전이 리드아웃은 디코딩 프롬프트에 의존한다 (Figure 5)

LLaVA 에서 GQA 원천의 답 위치 잔차를 color-copy 프롬프트(“red -> red, blue -> blue, green -> green, x ->”)의 placeholder 잔차에 identity 매핑으로 대체합니다. 같은 목표 위치의 0 벡터 주입을 기준으로 완전 단어 로그 확률 변화를 봅니다. 레이어 15 의 노란 원천은 Yellow 의 완전 단어 로그 확률을 0.419 올리지만 최상위 예측은 “is” 입니다. 두 원천 모두 레이어 7, 15, 23 에서 “is”, 레이어 31 에서 “->” 를 냅니다. 원천 계산은 정답을 맞히는데도 이 구성은 색을 언어화하지 못합니다. 전이 리드아웃은 새 디코딩 맥락을 쓸 수 있지만 원천 위치·매핑·목표 프롬프트의 검증이 필요하며, 가능도 변화만으로 정보 전이 성공을 확정할 수 없습니다.

🛠️ 5. 렌즈 보정 세부 (Appendix A.3, Table 6)

두 VLM Tuned Lens 는 COCO2014 학습 이미지 1,024장과 별도 검증 이미지 256장을 쓰고, 이미지당 8개 캡션 예측 위치로 학습 8,192·검증 2,048 위치를 얻습니다. 레이어 7, 15, 23 에서 FP32 아핀 변환기가 Adam(학습률 $3\times 10^{-4}$, 배치 64, 최대 12 에폭, patience 3, 개선 임계 $10^{-4}$, 시드 20261007)으로 교사 분포 KL 을 최소화합니다.

모델 레이어 초기 KL 선택된 KL 에폭
SmolVLM 7 14.3279 1.9050 11
SmolVLM 15 11.4524 1.4967 12
SmolVLM 23 6.0436 0.7889 11
LLaVA 7 7.8680 1.3609 12
LLaVA 15 5.9005 0.9137 12
LLaVA 23 4.5529 0.3782 11

이는 held-out 캡션 위치에서의 보정 품질이지 정답 정확도나 렌즈 목적 간 비교가 아닙니다. GPT-2 Tuned Lens 는 저자 공개본을 post-block 위치에 매핑했고, Attention Lens 는 BookCorpus 4,096 문맥(96 토큰, 마지막 위치 감독)으로 학습하고 WikiText-2 512 문맥으로 교차 도메인 검증했으며, Jacobian Lens 는 WikiText-2 학습 문맥 256개로 GPT-2 잔차 12개 레이어 전부를 보정했습니다.

💡 Key Takeaway 네 렌즈는 서로 다른 질문에 답합니다. 잔차 렌즈는 예측의 출현 과정을, 헤드 렌즈는 테스트 후보를, Jacobian 렌즈는 인과 전송을, Patchscope 는 새 맥락에서의 가독성을 봅니다. 같은 IOI 결정에서 Danielle 이 뽑히는 레이어가 다르고(Jacobian 이 레이어 8 에서 35위, Logit 은 482위), Patchscope 가 가능도는 올리면서 색을 말하지 못하는 것은 “리드아웃은 목적과 위치의 함수” 라는 논문의 첫 주장을 뒷받침합니다.

어텐션 설명: 전파 규칙이 맵을 바꾼다

같은 노란 셔츠 GQA 입력에 대해 raw attention 과 7개 설명 방법을 다섯 VLM 에 적용합니다(Figure 6). 행을 가로지르면 방법이 고정되고 열을 내려가면 모델이 고정됩니다. 목표 조건부 맵은 Yellow 를 설명하며, 네이티브 답이 Black 인 Qwen3-VL 도 포함됩니다.

🗺️ 1. 일곱 방법의 규칙

방법 규칙
Rollout (Abnar & Zuidema 2020) 잔차 증강 어텐션 연결을 따라감; 목표 무관
attention Grad-CAM (Selvaraju et al. 2017) 어텐션을 국소 목표 기울기로 가중; 마지막 디코더 어텐션 레이어
ATTATTR (Hao et al. 2021) 어텐션 확률 경로를 따라 민감도를 적분; 부호 있음
TAM (Yuan et al. 2021) 기울기·값 기반 전파
Beyond Intuition-H/C (Chen et al. 2023) 전파 규칙 변형
generic relevance (Chefer et al. 2021) 관련성 전파
raw attention 추가 참조

공통 출력 형태는 맵을 시각적으로 비교 가능하게 하지만 점수를 동등하게 만들지는 않습니다. 각 맵은 독립 정규화되므로 강도는 맵 안의 위치끼리 비교하는 것이지 맵 간 점수 크기 비교가 아닙니다.

📊 2. 관찰

  • 공간 차이가 크다. 표시된 각 모델에서 generic relevance 는 셔츠 영역 안에 rollout 보다 강하게 집중하고, rollout 은 맵의 상당 부분을 객체 밖에 퍼뜨립니다. 그러나 더 날카로운 맵이 더 충실한 설명을 확정하지는 않습니다. 박스 분율은 이 한 입력을 묘사하고 각 맵은 자기 척도를 가집니다.
  • ATTATTR 의 부호. 네 모델에서 결과가 대체로 음수이고 InternVL 에서 더 혼합적입니다. 부호를 버리면 양수 전용 맵에서 이 차이가 숨겨집니다.
  • 0 국소 맵과 시각 의존의 공존. SmolVLM, Qwen3-VL, Pixtral 은 마지막 레이어 Grad-CAM 맵이 0 이지만 TAM, Beyond Intuition, generic relevance 맵은 0 이 아닙니다. 이 방법들은 다른 경로를 조사하거나 다른 clipping 규칙으로 연결을 집계합니다. 실제 잔차 교체(5.1절)도 SmolVLM 의 답 점수를 바꾸므로, 0 인 국소·정류 히트맵은 이미지가 무관하다는 증거가 아닙니다.

어댑터는 지원되는 eager 디코더에서 실제로 값에 곱해지는 어텐션 확률을 노출하므로 ATTATTR 이 Llama, Qwen2, Qwen3-VL, Mistral 에서 아키텍처별 사용자 훅 없이 같은 공개 호출을 씁니다. 측정된 0 은 사용 불가 방법이 아니라 결과입니다.

✂️ 3. 삭제 테스트: 그럴듯한 히트맵이 숨기는 불일치 (Figure 7)

원래의 시각 구조에서 방법을 점검하기 위해 사전학습 ViT-B/16 과 저자 공개 cat–dog 이미지를 씁니다(시각 분류기이지 VLM 열이 아님). 설명 대상 클래스를 cat 에서 dog 로 바꾸면 목표 무관 rollout 은 그대로이고 목표 조건부 도구는 객체를 분리할 수 있습니다. 상위 패치를 학습 평균 RGB 로 교체하며 클래스 확률을 측정합니다.

조건 결과
원래 cat 확률 68.6%
rollout 으로 196 중 39 패치 삭제 cat 65.1%
Beyond-C 로 39 패치 삭제 cat 0.27%
dog Grad-CAM 맵은 알아볼 만함 삭제 시 dog 확률 2.99% → 29.3% 로 상승

시각 설명과 선택 영역 제거 효과는 이렇게 어긋날 수 있습니다. 삭제는 맵 선택을 위한 개입 기반 진단을 주지만 교체 기준선과 경쟁 객체 제거에 민감합니다. 부록 B.1 은 elephant–zebra 이미지에서 같은 프로토콜을 반복합니다.

🔧 4. 구현 세부 (Appendix A.4)

단일 레이어 Grad-CAM 과 ATTATTR 은 마지막 네이티브 어텐션 레이어를 쓰고, 디코더 전파 방법은 레이어 0 에서 시작해 연속 스택이 필요합니다. Qwen3-VL 전파는 비전 인코더·프로젝터·DeepStack 주입을 별도 그래프 간선으로 포함하지 않습니다. TAM 과 Beyond 입력 적분은 $\alpha=1/20,\ldots,1$ 의 right-Riemann 20 샘플을 쓰는데, SmolVLM 이 처리 픽셀 0 을 패딩 이미지 감시값으로 해석하므로 그 끝점을 제외합니다. ATTATTR 은 공식 코드의 left-sample 관례 20 샘플, TAM 은 $1/2$ 잔차 정규화를 씁니다. 표시 변환은 지수 0.4 의 단조 거듭제곱으로 약한 공간 변이를 보이게 하지만 보관된 점수는 바꾸지 않습니다. ViT 는 timm/JAX 체크포인트를 무손실 변환한 12 레이어 $14\times 14$ 패치 분류기이며, 삭제는 선택된 처리 패치를 0 으로 설정(학습 평균 RGB 와 동등)하고 시드된 무작위 순서 10개가 표시 봉투를 정의합니다.

💡 Key Takeaway 일곱 방법은 “같은 모양의 맵” 을 내지만 서로 다른 경로·전파·clipping 규칙을 씁니다. 0 Grad-CAM 이 시각 의존과 공존하고, rollout 맵으로 삭제해도 cat 확률이 거의 안 떨어지며, 알아볼 만한 dog 맵을 지우면 dog 확률이 오히려 오르는 것은, 공간적 날카로움이 충실도의 충분 증거가 아니고 삭제 같은 개입 진단이 필요하다는 뜻입니다.

인과 개입 1: Attribution Patching 은 큰 교체 효과를 놓친다

Activation patching 은 선택된 활성을 참조 입력의 값으로 바꾸고 하류 행동을 다시 계산합니다. Attribution patching 은 같은 교체를 국소 기울기로 추정합니다. 토큰 집합 $S$ 의 잔차 $h_{\ell,S}$ 와 정렬된 참조값 $d_{\ell,S}$ 에 대해

$$ \Delta_{\ell,S}=S\big(x;\,h_{\ell,S}\leftarrow d_{\ell,S}\big)-S(x),\qquad \widehat{\Delta}{\ell,S}=\Big\langle \nabla{h_{\ell,S} }S(x),\; d_{\ell,S}-h_{\ell,S}\Big\rangle . $$

🧪 1. 설정

참조 입력은 같은 크기·프롬프트·답 접두사의 회색 이미지(RGB $(128,128,128)$)입니다. 모든 시각 상태 교체와 답 예측 상태 교체를 별도 실행으로 구분합니다. 이미지와 텍스트는 고정된 채 은닉 상태만 개입합니다. 답 예측 상태는 채점되는 답의 각 조각을 예측하는 데 쓰인 잔차 벡터이고, 여러 조각 답은 여러 위치를 포함할 수 있습니다. 실제 효과는 SmolVLM/LLaVA 의 레이어 0, 5, 10, 16, 21, 26, 31 에서 측정하고 1차 추정은 32개 레이어 전부를 덮습니다. 네 매칭 실행에 658 forward 와 132 activation backward 가 필요하고 최대 할당은 18.17 GiB 입니다.

📉 2. 결과 (Figure 8)

모델 레이어 5 시각 교체의 실제 $\Delta\log P(\text{Yellow})$ Attribution 추정
SmolVLM $-0.498$ $-0.067$
LLaVA $-1.646$ $+0.100$ (부호 반전)

큰 빈 이미지 교체는 국소 기울기가 묘사하는 이웃을 벗어납니다. Attribution patching 은 후보 위치를 싸게 지명할 수 있지만, 이 결과는 중요한 후보를 실제 교체로 테스트해야 함을 보여 줍니다. 모든 더 작은 헤드·토큰 수준 추정이 실패한다는 뜻은 아닙니다.

📍 3. 개입 단위가 의존의 겉보기 위치를 결정한다 (Figure 9)

이미지 슬롯 교체는 노란 셔츠 사례에서 이른 레이어에 가장 강하고, 예측 슬롯 교체는 늦은 레이어 효과가 큽니다. 마지막 시각 슬롯 효과가 0 인 것은 남은 디코더 레이어가 변화를 답 위치로 운반하지 못하기 때문이지, 모델이 이미지를 무시했다는 증거가 아닙니다.

한 번에 하나의 네이티브 텍스트 위치만 교체하면(행 = 레이어, 열 = 질문 또는 assistant 경계 서브워드), 중간 레이어에서 질문 단어 “yellow” 를 교체하는 것이 두 모델 모두의 답 점수를 바꿉니다. 가장 큰 늦은 효과는 최종 예측 위치에서 나타나는데 그 역할상 예상되는 민감도입니다. 이것이 질문 토큰 위치의 민감도와 답 리드아웃 자체의 교란을 구분합니다.

검은 셔츠 입력(Figures 20, 21)은 유용한 대조를 줍니다. LLaVA 의 가장 큰 예측 슬롯 효과는 $-0.172$ 에 불과하며 Yellow 의 $-1.646$ 과 대비됩니다. 따라서 맵은 지정된 입력과 교란을 묘사하는 것이지, 두 예시나 비슷한 레이어 패턴이 보편적 경로나 모델 수준 강건성 순위를 세우지는 않습니다.

💡 Key Takeaway 1차 근사는 작은 교란의 도구입니다. 회색 이미지 교체처럼 큰 반사실(counterfactual)에서는 추정이 7배 작거나(SmolVLM) 부호가 뒤집히며(LLaVA), 어디서 효과가 0 으로 보이는지도 개입 단위(시각 슬롯 vs 예측 슬롯 vs 단일 토큰)가 결정합니다.

인과 개입 2: Knockout, Path Patching, 회로 복구, 스티어링

🚧 1. Attention knockout 은 정보 경로를 테스트한다 (Figure 10)

Attention knockout 은 softmax 전에 선택된 key→query 연결을 막고 하류 계산이 다시 계산되게 둡니다. 노란 셔츠 GQA 입력에서 image→question, image→prediction, question→prediction 경로를 최대 9 레이어 창으로 비교합니다. 이 데모는 공유 완전 답 점수가 아니라 단일 단어/구 지시와 첫 서브워드 지표(토큰 ID 612 의 $P(Y)$)를 씁니다.

개입 (LLaVA-1.5-7B) Yellow 첫 서브워드 확률
기준 0.753
레이어 8–16 에서 image→question 차단 0.119 (다음 토큰 예측이 Black 으로)
셔츠 key 차단 0.076

image→question 경로가 직접 image→prediction 경로보다 더 파괴적이며, 다른 영역 차단은 오히려 답 지지를 높일 수 있습니다. Knockout 은 참조 입력 없이 경로 의존을 테스트하지만 어텐션 정규화를 바꾸고 마스크/창에 의존합니다. 목표 영역은 20 key, 밖은 556 key 이므로 차이를 grounding 에 귀속하려면 크기 매칭 대조군이 필요합니다. 각 중심 $c$ 는 $[\max(0,c-4),\min(31,c+4)]$ 의 모든 헤드를 함께 마스킹하며, 두 번째 사례는 기준 $P(\text{Black})=0.9982$ 에 image→question 감소 최대 9.43% 입니다.

🔀 2. Path patching 은 송신자를 분리한다 (Figure 11)

IOI 식 path patching 은 더 좁은 질문을 던집니다. 통제된 기준 실행이 송신 헤드를 참조 입력 출력으로 바꾸되 다른 어텐션 헤드 출력은 기준값으로 동결하고, MLP 와 정규화는 다시 계산하며, 새 기준 실행이 결과 수신자 활성만 재생합니다. 짝지어진 MMVP 날개 상태 입력에서 최종 예측 위치 잔차를 수신자로 두고 다섯 VLM 의 송신 헤드를 모두 훑습니다(SmolVLM 480, InternVL 336, Qwen3-VL 448, Pixtral 1,280, LLaVA 1,024 경로).

모델 가장 큰 음의 효과
Qwen3-VL L23.H6 ($-0.054$)
Pixtral L34.H12 ($-0.080$)
LLaVA L14.H3 ($-0.064$)

이 히트맵은 이 수신자와 동결 규칙 아래 영향력 있는 송신자를 식별하지만, 자동 발견된 완전한 회로도, “name mover” 같은 기능 라벨도 아닙니다. Path patching 은 무제한 잔차 교체보다 선택된 경로를 더 엄밀히 통제하지만 더 많은 forward 와 수신자 의존적 질문이라는 비용이 듭니다.

🕸️ 3. 회로 귀속에는 측정된 복구가 필요하다 (Figure 12)

EAP 와 EAP-IG 는 명시적 계산 그래프에서 독립적으로 교체 가능한 연결을 순위화합니다. EAP-IG 는 입력 임베딩 경로를 따라 기울기를 적분합니다(5개 left 샘플 $0,0.2,0.4,0.6,0.8$). 논문 정렬 GPT-2 IOI 그래프(32,491 간선)를 유지하고, 두 순위를 실제 간선 보존 개입으로 평가합니다. 제외된 간선은 참조 메시지를 받고 보존된 간선은 살아 있습니다. 복구는

$$ R(E)=\frac{m(E)-m(\mathrm{reference})}{m(\mathrm{clean})-m(\mathrm{reference})} $$

로 측정하며 $m$ 은 Danielle-minus-Andrew 로짓 마진입니다(원본/참조 마진 6.1643/3.2137). 이 양은 0 아래나 1 위로 갈 수 있고 확률도 귀속 점수의 합도 아닙니다.

184개 간선을 보존했을 때 EAP 는 원래–참조 마진 차의 0.258 을 복구하지만 EAP-IG 는 0.045 입니다. 기울기 적분이 매 사례에서 더 나은 회로를 보장하지는 않습니다. 이 비교의 실용적 이점은 순위화와 검증의 분리입니다. 높은 귀속 점수는 연결을 제안하고, 간선 보존이 제안된 부분 그래프를 테스트합니다. 그래프 특정 개입 계약과 단일 쌍 평가가 일반적 회로 품질에 대한 추론을 제한합니다.

🎚️ 4. 스티어링은 모델과 강도 모두에 의존한다 (Figures 13, 14)

VSV(VISTA 의 시각 스티어링 구성 요소)는 생성 중 이미지 유래 잔차 방향을 더합니다. COCO 이미지 310196 과 “Please help me describe the image in detail.” 요청을 LLaVA, SmolVLM, Qwen3-VL 에 고정하고, 방향은 이미지 있는 입력과 없는 입력의 마지막 문맥 블록 잔차 차이로 잡습니다. 보존된 스케일은 0, 0.005, 0.01, 0.02, 0.05, 0.10, 0.17 이고, 모든 생성은 탐욕적·캐시 없는 전체 접두사 재생, 128 토큰 제한, 반복 페널티 없음입니다.

모델 기준 스티어링 후
LLaVA 트랙을 언급하되 슬로프의 잦은 사용을 추론 0.02: 보이는 바위 언급; 0.05: 다른 사람들을 지어냄; 0.17: 눈 관련 텍스트 반복
SmolVLM 상세한 장비 묘사 동작 묘사로 바뀜; 보이는 빨강·검정 옷 추가하되 근거 없는 공중 자세·보드 들기 주장
Qwen3-VL 단일 라이더 단일 라이더 유지, 공간 프레이밍과 트랙 묘사 변경

같은 raw 스케일이 모델마다 다른 주장을 바꾸며, 추가된 시각 세부와 새로 지어낸 내용이 한 묘사 안에 공존할 수 있습니다. 상대 가산 변위는 $\lambda\lVert v_\ell\rVert/\lVert h_\ell\rVert$ 에 의존하므로 동일 스케일이 모델 간 동등한 교란을 만들지 않습니다. 공개 VISTA 코드는 정규화된 MLP 출력 방향과 추가 방향 처리를 쓰므로 그 수치 스케일은 이 구현으로 옮길 수 없고, SLA 구성 요소가 없으므로 완전한 VISTA 재현이 아닙니다.

고정 접두사 아래 국소 증거를 보면(Figure 14), 같은 80개 기준 접두사에서 person/car 토큰 순위를 재고, “The image captures a snowboarder skillfully riding” 접두사를 고정해 첫 서브워드 로짓 변화를 측정합니다. 강도 0.17 에서 person 로짓은 4.19 오르고 car 는 4.38 내리지만 자유 생성은 반복적입니다. 유리한 객체 토큰 반응이 접지된(grounded) 유창한 묘사를 보장하지 않으므로, 강도는 grounding 과 디코딩 품질 모두에 대해 평가해야 합니다.

🧾 5. 개입군 요약

개입 테스트하는 것
잔차 교체 반사실 활성
Knockout 차단된 경로
Path patching 송신자 영향의 통제
간선 보존 제안된 회로
스티어링 생성 변화

매칭 비교는 이 질문들 안에서의 차이를 명확히 하고, 별도 연구는 호환되지 않는 개입을 가진 방법의 의미를 보존합니다. 같은 입력 교체와 post-hook 기준선 복원은 정확하며, 최종 위치 리드아웃은 BF16 네이티브 로짓과 최대 0.125 차이(선택 위치 행렬 반올림), FP32 그래프 패리티는 $1.26\times 10^{-4}$ 이내입니다. 이는 실행을 검증하지 해석의 유일성을 검증하지는 않습니다.

💡 Key Takeaway 다섯 종류의 개입은 서로 다른 반사실을 묻습니다. image→question 차단이 직접 경로보다 파괴적이고, EAP-IG 가 184 간선에서 EAP 보다 복구가 낮으며(0.045 vs 0.258), 같은 스티어링 스케일이 모델마다 다른 환각을 만드는 결과는 하나의 “인과 점수” 로 환원되지 않습니다. 귀속은 제안이고 개입이 검증입니다.

SAE 1: 언어 사전의 분리된 트레이드오프

SAE 는 네이티브 활성 $h$ 를 확장된 피처 사전으로 표현합니다.

$$ z=E(h),\qquad \widehat{h}=D(z). $$

인코더가 희소 피처 벡터를 고르고 디코더가 원래 표현을 재구성합니다. 피처 인덱스는 독립 입력에서의 측정으로 해석을 얻으며 미리 정의된 개념 라벨이 아닙니다.

📚 1. 여섯 패밀리

패밀리 희소화 방식
ReLU + L1 (Bricken et al. 2023) 정류 활성에 L1 페널티
TopK (Gao et al. 2024) 토큰마다 가장 큰 양의 활성 유지
Gated (Rajamanoharan et al. 2024a) 피처 선택과 크기 추정을 분리
JumpReLU (Rajamanoharan et al. 2024b) 활성 임계값 학습
BatchTopK (Bussmann et al. 2024) 학습 예시 전체에 희소성 예산 배분, 추론 시 저장된 임계값 사용
Matryoshka BatchTopK (Bussmann et al. 2025) 중첩 사전 접두사를 여러 피처 예산에서 재구성하도록 학습

모든 실험은 공개 가중치를 쓰며 백본도 SAE 도 학습·재보정하지 않습니다.

📏 2. 평가 프로토콜

SAEBench 사전 18개(패밀리당 세 희소성 설정, 모두 Pythia-160M 블록 8, 입력 폭 768, 사전 폭 4,096)에 Pile 테스트 파일의 별도 1,024 토큰 문맥 512개에서 뽑은 같은 524,288 활성을 줍니다. 독립 128 문맥 보정 부분집합이 고정 참조 평균 $\mu_{\mathrm{cal} }$ 을 줍니다.

$$ \mathrm{FVU}{\mu{\mathrm{cal} } }=\frac{\sum_i \lVert h_i - D(E(h_i))\rVert_2^2}{\sum_i \lVert h_i-\mu_{\mathrm{cal} }\rVert_2^2},\qquad \overline{L}0=\frac{1}{N}\sum_i\sum_j \mathbf{1}[z{ij}\neq 0]. $$

비율은 선택된 모든 위치를 집계한 뒤 계산합니다(배치별 FVU 평균은 배치 분할에 따라 지표가 달라짐). 행동 충실도는 고정 테스트 문맥 64개의 65,472 개 shifted 다음 토큰 예측에서 측정합니다. SAE 재구성이 선택된 네이티브 잔차를 대체하고 나머지 모델이 다시 계산되며, NLL 증가($\Delta$NLL), 분포 KL, 0 잔차 대조군 대비 복구 손실을 기록합니다. 원래 NLL 은 예측당 2.3461 nats, 0 잔차 NLL 은 11.9161 이며

$$ R_{\mathrm{loss} }=\frac{L_{\mathrm{zero} }-L_{\mathrm{rec} } }{L_{\mathrm{zero} }-L_{\mathrm{orig} } }. $$

개념 리드아웃은 AG News(학습 4,000·개발 1,000·공식 테스트 1,000 문서)에서 비패딩 토큰 피처를 문서 안에서 평균(최대 128 토큰)하고, 클래스별 one-versus-rest 로 학습 라벨만 써서 1, 2, 5개 피처를 점 이연 상관(point-biserial)의 절대값으로 고릅니다. 학습 통계로 표준화하고 개발 AUROC 로 liblinear 로지스틱 회귀의 $C\in{0.01,0.1,1,10}$ 을 고릅니다. 원시 잔차 뉴런(768), 학습 적합 PCA(128), 고정 무작위 투영(4,096)이 같은 분할·예산을 씁니다.

📊 3. 전체 결과 (Table 8)

방법 설정 $\overline{L}_0$ FVU $\Delta$NLL AUROC@1 AUROC@5
ReLU + L1 $\lambda=0.012$ 468.80 0.0399 0.1145 0.9120 0.9329
ReLU + L1 $\lambda=0.020$ 227.06 0.0690 0.2493 0.9073 0.9362
ReLU + L1 $\lambda=0.040$ 77.71 0.1078 0.5796 0.8869 0.9270
TopK $k=20$ 20.00 0.1081 0.5751 0.8412 0.9247
TopK $k=80$ 80.00 0.0659 0.2080 0.9002 0.9318
TopK $k=320$ 320.00 0.0182 0.0341 0.9239 0.9370
Gated $\lambda=0.012$ 464.43 0.0063 0.0106 0.9050 0.9351
Gated $\lambda=0.024$ 215.58 0.0375 0.0804 0.9050 0.9351
Gated $\lambda=0.060$ 46.33 0.0843 0.3219 0.9038 0.9232
JumpReLU target $L_0=20$ 20.25 0.1148 0.6236 0.8685 0.9216
JumpReLU target $L_0=80$ 80.81 0.0657 0.1998 0.9088 0.9294
JumpReLU target $L_0=320$ 321.67 0.0192 0.0331 0.9029 0.9337
BatchTopK $k=20$ 19.84 0.1074 0.5512 0.8671 0.9254
BatchTopK $k=80$ 79.37 0.0648 0.1945 0.9106 0.9289
BatchTopK $k=320$ 319.13 0.0218 0.0380 0.9208 0.9380
Matryoshka $k=20$ 19.88 0.1166 0.6178 0.9065 0.9230
Matryoshka $k=80$ 79.80 0.0736 0.2196 0.9060 0.9294
Matryoshka $k=320$ 320.62 0.0262 0.0455 0.8962 0.9349

대조군(Table 9):

표현 AUROC@1 AUROC@2 AUROC@5 Macro F1@5
원시 뉴런 (768) 0.8506 0.8929 0.9249 0.8038
PCA (128) 0.8511 0.9105 0.9481 0.8363
무작위 투영 (4,096) 0.8773 0.9105 0.9286 0.7952

🔍 4. 읽기

  • 재구성과 하류 예측. 활성 약 80개에서 BatchTopK 는 FVU 0.0648·$\Delta$NLL 0.1945 nats, $\overline{L}_0=77.71$ 의 ReLU 는 0.1078·0.5796 nats 입니다. 짝지은 NLL 증가 차이는 $-0.3851$ nats, 95% 문서 부트스트랩 구간 $[-0.4192,-0.3569]$ 입니다. TopK 320 은 FVU 0.0182·NLL 증가 0.0341 nats 에 이릅니다. L1 페널티는 TopK 예산과 같은 활성 개수를 강제하지 않습니다.
  • 개념 리드아웃은 다른 순서를 준다. 활성 약 20개에서 Matryoshka 의 1-피처 AUROC 는 0.9065 로 TopK 의 0.8412 를 앞서지만 FVU 는 0.1166 대 0.1081 로 더 높습니다(차이 0.0427 nats, 구간 $[0.0216,0.0635]$). 분류기 피처 수를 늘리면 비교가 또 바뀝니다. 클래스당 PCA 5 성분이 AUROC 0.9481 로 모든 5-피처 SAE 프로브(최대 0.9380)를 넘습니다.
  • 결론. 재구성 우위가 개념 리드아웃 우위를 확정하지 않고, 유용한 희소 피처가 모든 분류기 예산에서 그 사전이 최선의 표현임을 확정하지도 않습니다. 이 분리가 SAE 품질을 하나의 벤치마크 점수로 뭉개지 말고 여러 측정 행동을 보고해야 하는 이유입니다.

변환 검증: 18개 Pythia 사전과 3개 CLIP ViT-L/14-336 사전은 체크포인트당 64개 실제 활성에서 저자 텐서 방정식의 독립 구현과 비교해 인코딩 상대 L2 오차 최대 $2.45\times 10^{-7}$, 재구성 $2.29\times 10^{-7}$, 절대 오차 최대 $2.44\times 10^{-4}$ 입니다. 선택된 설정은 희소성 설정이지 독립 학습 시드 반복이 아니며(시드 0), 구간은 SAE 학습 시드 변동성을 추정하지 않습니다.

💡 Key Takeaway 같은 백본·레이어·사전 폭에서도 “누가 더 좋은 SAE 인가” 는 축마다 답이 다릅니다. 재구성은 BatchTopK/TopK 큰 $k$, 1-피처 개념 리드아웃은 Matryoshka 작은 $k$, 5-피처 리드아웃은 SAE 가 아닌 PCA 가 이깁니다. 하나의 점수로 SAE 를 순위화하는 벤치마크는 이 구조를 지웁니다.

SAE 2: 시각 피처의 공간 구조

압축된 SAE 피처가 유용한 객체 연관 공간 구조를 보존하는지, 그리고 좋은 재구성이 신뢰할 만한 국소화도 주는지 묻습니다. 9개 백본·7개 레시피를 덮는 12개 사전학습 구성을 평가합니다. ReLU 와 TopK 는 CLIP-B/32 와 DINO-B/16 안에서 블록 11 잔차 관찰을 공유해 가장 가까운 백본 내 비교를 줍니다. 11개는 시각 인코더를 관찰하고 Qwen2.5 는 디코더 레이어 34 의 시각 토큰을 관찰합니다. CLIP Gated SAE 는 블록 9 MLP 출력, Qwen3 는 비전 레이어 23 SAE++ 피처, RA-SAE 는 레지스터가 있는 DINOv2 를 씁니다.

📐 1. 지표 정의

네이티브 공간 표현 $h_{u,v}$ 에 대해 맵은 $M_j(u,v)=[E(h_{u,v})]_j$ 를 실제 시각 토큰 그리드로 reshape 한 것입니다. 재구성은 부호 있는 계수를 포함한 전체 피처 벡터를 쓰고, 선택과 국소화는 $M_j^+=\max(M_j,0)$ 를 씁니다. 모든 모델이 같은 COCO2017 학습 500·검증 1,000 원천 이미지를 받습니다. 사전·범주 $c$·피처 $j$ 마다 보정 선택은

$$ A_{cj}=\frac{\overline{z^+}^{\,\mathrm{inside} }{cj}-\overline{z^+}^{\,\mathrm{outside} }{cj} }{\sqrt{\mathbb{E}_{\mathrm{cal} }[z_j^2]} } $$

를 최대화합니다. 범주는 보정 이미지 10장 이상이 필요하고, 후보 피처는 범주 양성 이미지 $\max(3,0.1n_c)$ 장 이상에서 양의 증거와 양의 대비를 가져야 합니다. CLIP-B/32 보정 선택에서 가장 빈번한 20개 범주가 확장 코호트의 고정 범주 목록을 정의합니다.

지표 정의
Coverage 양의 반응이 있는 적격 쌍의 비율
Point@1 가장 강한 위치가 범주 박스 안에 들어가면 적중; 비활성 맵은 실패로 셈
Shuffled Point@1 피처 값을 보존하며 공간 위치를 순열(시드 17)
Mass 반응한 쌍에서만, 박스 안 양의 증거 비율의 평균

📊 2. 결과 (Table 4)

모델 레시피 $\overline{L}_0$ FVU↓ $N$ Coverage Point@1 Shuffled Mass
CLIP B/32 ReLU 1,413.14 0.0152 1,534 100.0 54.5 19.2 39.4
CLIP B/32 TopK 64.00 0.2163 1,534 66.5 44.7 16.2 58.8
CLIP B/32 Gated 107.80 0.1261 1,534 69.4 47.1 16.3 57.8
DINO B/16 ReLU 1,083.63 0.0063 1,534 97.9 52.7 18.6 38.6
DINO B/16 TopK 1,023.82 0.0085 1,534 65.4 35.5 15.6 44.4
CLIP L/14-336 Matryoshka 23.09 0.1378 1,534 83.1 62.5 18.5 64.9
CLIP B/16 BatchTopK 17.05 0.3525 1,534 52.7 41.1 15.1 70.8
SigLIP B/16 BatchTopK 252.68 0.2634 1,636 90.6 51.8 17.0 44.8
DINOv2 B/14 BatchTopK 995.02 6.6730 1,471 98.2 66.8 23.8 52.3
Qwen2.5-VL-3B decoder L34 TopK 100.00 0.2078 1,636 70.7 45.2 15.0 53.6
Qwen3-VL-4B vision L23 SAE++ L1 6.21 0.0087 1,636 86.3 55.5 16.1 54.3
DINOv2 B/14 + registers RA-SAE 10.30 0.2977 1,471 36.4 29.0 9.9 70.6

🔍 3. 읽기

  • 압축–커버리지 트레이드오프 (CLIP-B/32). TopK 는 위치당 64개 활성 피처(ReLU 는 1,413)를 쓰지만 FVU 가 0.0152 에서 0.2163 으로 오르고 Point@1 은 54.5% 에서 44.7% 로 떨어집니다. 박스 안 활성 맵 질량은 더 크지만(58.8% vs 39.4%) 반응 커버리지는 낮습니다(66.5% vs 100%). TopK 는 활성일 때 더 집중된 반응을 내고, ReLU 는 더 잘 재구성하고 더 안정적으로 반응합니다.
  • 활성 전용 점수는 누락 반응을 숨긴다 (DINO-B/16). 두 사전의 활성은 비슷하지만(1,084 vs 1,024) ReLU 의 Point@1 은 52.7%, TopK 는 35.5% 입니다. 반응 조건부 적중률은 거의 같고(53.8% vs 54.3%) 전체 차이는 주로 커버리지(97.9% vs 65.4%)를 따릅니다. Gated 는 MLP 훅이 달라 게이팅 효과를 분리할 수 없습니다.
  • 압축된 공간 리드아웃은 가능하다. CLIP-L/14 Matryoshka 는 23.09 활성 피처로 커버리지 83.1%, Point@1 62.5% 입니다.
  • 재구성과 국소화는 일치할 필요가 없다. DINOv2 BatchTopK 는 FVU 6.6730 으로 고정 보정 평균 기준선보다 나쁘지만 Point@1 66.8%(셔플 23.8%)에 이릅니다. RA-SAE 의 70.6% 활성 맵 질량은 커버리지 36.4%·전체 Point@1 29.0% 와 공존합니다.
  • 모든 12개 구성이 셔플 대조군을 넘지만 커버리지는 36.4% 에서 100% 까지 분포합니다. 압축되고 공간적으로 연관된 피처가 넓은 커버리지나 충실한 재구성을 보장하지 않습니다.

CLIP-L/14-336 코호트에서 real-minus-shuffled Point@1 차이는 44.0 포인트(구간 41.5–46.4), 활성 전용 질량 차이는 42.1 포인트(40.5–43.6)이며, 구간은 1,534 쌍에 기여하는 774 원천 이미지를 재표본해 한 이미지의 범주 쌍을 독립 관측으로 취급하지 않습니다.

🗃️ 4. 범주별 결과 (Table 11, CLIP ViT-L/14-336 Matryoshka)

범주 피처 $N$ Coverage Point@1 Mass (active)
Backpack 370 40 92.5 62.5 42.4
Bench 3276 45 68.9 60.0 77.8
Bottle 2167 79 64.6 41.8 56.8
Bowl 574 56 89.3 71.4 67.4
Car 2499 97 100.0 75.3 52.5
Cell phone 1195 36 72.2 50.0 59.2
Chair 1848 113 100.0 70.8 51.2
Clock 2105 37 86.5 64.9 56.5
Cup 553 71 71.8 52.1 60.8
Dining table 2557 92 65.2 42.4 61.6
Dog 119 45 97.8 88.9 82.2
Handbag 6720 47 91.5 57.4 48.9
Knife 266 35 88.6 34.3 45.5
Motorcycle 2456 25 96.0 88.0 77.3
Person 420 533 84.2 68.9 77.4
Pizza 115 26 96.2 96.2 92.6
Sink 1420 44 100.0 77.3 49.1
Surfboard 2507 31 96.8 54.8 49.5
Tie 4301 35 8.6 0.0 0.0
Truck 2606 47 70.2 40.4 51.5

Pizza·Dog·Motorcycle 처럼 거의 완벽한 범주와 Tie 처럼 선택된 피처가 테스트에서 거의 반응하지 않는 범주가 한 사전 안에 공존합니다. 헤드라인 지표는 이미지–범주 쌍을 풀링하므로 흔한 범주(Person 533 쌍)가 더 많이 기여합니다.

🧷 5. CLS 사전과 체크포인트 세부

같은 CLIP-L/14-336 블록 22 백본의 16,384 피처 CLS 사전 두 개(ImageNet 학습)는 1,000 held-out COCO 이미지에서 BatchTopK $\overline{L}_0$ 24.35·FVU 0.2816·최종 투영 임베딩 코사인 0.9709, Matryoshka 23.76·0.2956·0.9696 입니다(Table 12). 이는 표현 보존이지 분류 정확도가 아닙니다.

백본 레시피 $d$ $m$ 네이티브 관찰 / 입력 정규화
CLIP B/32 ReLU 768 49,152 블록 11 잔차; raw
CLIP B/32 TopK 768 49,152 블록 11 잔차; 토큰별 표본 정규화
CLIP B/32 Gated 768 49,152 블록 9 MLP 출력; raw
DINO B/16 ReLU / TopK 768 49,152 블록 11 잔차; 토큰별 표본 정규화
CLIP L/14-336 Matryoshka 1,024 65,536 블록 22 잔차; raw
CLIP B/16 / SigLIP B/16 BatchTopK 768 24,576 블록 11 잔차; raw
DINOv2 B/14 BatchTopK 768 24,576 최종 정규화된 블록 11 패치
Qwen2.5-VL-3B TopK 2,048 65,536 디코더 블록 34 시각 토큰; raw
Qwen3-VL-4B SAE++ L1 1,024 20,000 비전 블록 23 병합 전 패치; raw
DINOv2 B/14 + registers RA-SAE 768 32,000 최종 정규화된 블록 11 패치; 비선형 인코더

각 원천의 추론 방정식을 그대로 보존합니다. 예컨대 Qwen2.5 는 $q=W_e(h-b_d)+b_e$ 의 가장 큰 100개 값을 정류 없이 유지하고(값 순위 선택, 절대값 아님), Qwen3 SAE++ 레벨 1 은 정류 후 학습 임계 9.30319691 을 쓰며, RA-SAE 는 32,000 피처 사전 활성에 LayerNorm 을 적용하고 임계 0.829 로 정류한 뒤 완화된 archetypal 디코더 $D=e^{s}(UC+R’)$ 를 구체화합니다. ViSAEBench 사전의 저장 임계값은 CLIP 0.54186058, DINOv2 0.63923049, SigLIP 0.66128719 로 고정되어 학습 목표 $k=64$ 가 모든 COCO 패치에 64개 활성을 강제하지 않습니다. 백본 검증은 네 실제 COCO 이미지의 12개 블록 출력 전부에서 상대 L2 차이 $1.55\times 10^{-6}$ 미만, SAE 변환은 피처 상대 L2 오차 $6.93\times 10^{-8}$ 미만입니다.

💡 Key Takeaway 시각 SAE 에서 낮은 FVU 도, 집중된 활성 맵도 단독으로는 신뢰할 만한 객체 연관 피처를 확정하지 못합니다. DINOv2 BatchTopK 는 재구성이 기준선보다 나쁜데 국소화는 최고이고, RA-SAE 는 질량 70.6% 인데 커버리지가 36.4% 입니다. 재구성·커버리지·국소화를 함께 보고 구성을 골라야 합니다.

SAE 3: 디코더 피처와 질문 조건부 답 증거

다섯 디코더 구성(Qwen2.5-VL-3B-Instruct, Qwen3.5-4B, LLaVA-NeXT Llama3-8B, LLaVA-v1.6-Mistral-7B, PaliGemma2-3B mix448)을 각각 공개 SAE 의 네이티브 인코딩 방정식과 활성 경계로 조사합니다. 모든 가중치는 고정이고, Qwen3.5 와 PaliGemma 의 텍스트 위치 SAE 는 이미지 토큰 상태로 전이됩니다.

🧭 1. 관찰 경계 (Table 13)

VLM / 경계 은닉 피처 원천 활성
Qwen2.5-VL-3B, L34 출력 2,048 65,536 Raw TopK, $k=100$
Qwen3.5-4B, L27 출력 2,560 65,536 JumpReLU export
LLaVA-NeXT Llama3-8B, L24 출력 4,096 131,072 ReLU + TopK, $k=256$
LLaVA-v1.6-Mistral-7B, L24 입력 4,096 32,768 ReLU, scale 8
PaliGemma2-3B mix448, L23 출력 2,304 16,384 JumpReLU

Mistral 과 LLaVA-Llama3 는 각각 8, 7개의 완전한 디코더 블록을 하류에 남기고 Qwen2.5, Qwen3.5, PaliGemma 는 1, 4, 2개를 남깁니다. 공통 레이어 번호나 상대 깊이는 강제하지 않습니다.

❓ 2. 고정 질문 (Table 14)

세 COCO 사진에 객체 중심 질문 여덟 개(VQAv2 원본 2개, 보이는 속성으로 구성한 6개)를 짝지었습니다.

이미지 질문 정답 / 대안(foil) 출처
14439 큰 연 오른쪽 전경 아이의 재킷 색은? black / white C
14439 같은 아이의 바지 색은? blue / red C
263463 개의 반사를 둘러싼 차 부분은? side mirror / windshield C
263463 전경 사이드 미러 프레임 색은? black / white C
263463 사이드 미러에 비친 동물은? dog / cat C
532575 개 목걸이 태그 모양은? heart / circle V
532575 어떤 종류의 개인가? german shepherd / poodle V
532575 하트 모양 태그 색은? red / blue C

모든 입력에 “Answer with a short phrase in lowercase only. Do not write a full sentence.” 를 붙이고, 이미지는 표시하지 않으며, 자유 생성에는 정답·대안·박스 좌표를 주지 않습니다. 개 품종 질문의 VQAv2 답은 “german shepherd” 8개, “shepherd” 1개, “doberman” 1개로 그 불일치를 그대로 둡니다.

🧮 3. 점수와 개입

이미지 $I$·질문 $Q$ 의 공통 채점 접두사 $P(I,Q)$ 에 대해 후보 답 $B$ 의 점수와 정답–대안 대비는

$$ \ell(B)=\frac{1}{|B|}\sum_{t=1}^{|B|}\log p\big(b_t \mid P(I,Q), b_{<t}\big),\qquad S=\ell(A)-\ell(F). $$

길이 정규화로 $S$ 는 완전 답 로그 오즈가 아니라 평균 로그 확률의 대비입니다. 히트맵은 고정 대비에 대한 국소 기울기×피처 기여를 합산하고, 객체 박스를 쓰지 않고 그 예시에서 양의 기여로 최대 8개 피처 ID 를 고릅니다.

편집된 희소 벡터 $z’$ 에 대한 잔차 보존 개입은

$$ h’=h+D(z’)-D(z) $$

로, 원래 재구성 오차를 유지합니다. 그룹 $\mathcal{J}$ 를 모든 유효 공간 이미지 토큰 위치에서 제거하고 $\Delta_8=S_{\mathrm{base} }-S_{\mathrm{ablated} }$ 로 효과를 잽니다. 늦은 훅에서는 이미 텍스트 위치로 전이된 시각 정보가 보존되므로 삭제는 이미지 토큰 상태에서 남은 하류 경로를 테스트합니다. 시드된 무작위 대조군 세 개는 피처 ID 개수를 맞추지만 편집 좌표 수나 교란 노름은 맞추지 않습니다.

📊 4. 피처 삭제 결과 (Table 16, 발췌)

모델 질문 $S$ $\Delta_8$ $\overline{\Delta}_{\mathrm{rnd} }$
Qwen2.5-VL-3B Child trousers 4.314 0.787 0.0006
Qwen2.5-VL-3B Mirror frame 5.274 0.713 $-0.0001$
Qwen2.5-VL-3B Tag shape† 2.452 0.572 0.0004
Qwen3.5-4B Child jacket 5.601 0.217 $-0.0020$
Qwen3.5-4B Dog breed† 5.037 0.215 0.0033
LLaVA-NeXT Llama3-8B Child jacket 0.334 0.551 0.0006
LLaVA-NeXT Llama3-8B Child trousers 7.405 4.868 0.0003
LLaVA-NeXT Llama3-8B Tag color 9.743 0.604 0.0066
LLaVA-NeXT Mistral-7B Child jacket 0.649 0.901 $-0.0001$
LLaVA-NeXT Mistral-7B Tag color 7.776 0.534 $-0.0019$
PaliGemma2-3B Child jacket 0.083 0.786 $-0.0017$
PaliGemma2-3B Child trousers 6.306 1.352 $-0.0010$
PaliGemma2-3B Tag color 8.524 1.484 0.0011

재킷 질문에서 선택 그룹을 지우면 대비가 LLaVA-Mistral 에서 0.649 → $-0.252$, PaliGemma 에서 0.083 → $-0.703$ 으로 바뀌지만 둘 다 자유 생성에서는 채점 기준 “black” 이 아니라 “brown” 을 냅니다(Table 17). 반대로 Qwen2.5 는 양의 blue-vs-red 대비에도 바지 질문에 “black” 을 생성합니다. 고정 답 쌍의 민감도와 무제한 생성은 이렇게 분리됩니다. 국소 기울기 귀속과 유한 삭제도 크기가 다를 수 있습니다. Qwen2.5 의 태그 모양 그룹은 부호 있는 1차 기여 0.261 대 측정된 점수 하락 0.572 입니다.

🧪 5. 재구성과 픽셀 대조군 (Tables 15, 18, 19)

모델 이미지 내 FVU 상대 오차 평균 $L_0$
Qwen2.5-VL-3B 0.221–0.228 0.253–0.256 100.0
Qwen3.5-4B 0.407–0.489 0.534–0.563 118.0–124.9
LLaVA-NeXT Llama3-8B 0.105–0.111 0.273–0.281 256.0
LLaVA-NeXT Mistral-7B 0.357–0.385 0.496–0.518 36.0–39.3
PaliGemma2-3B 2.341–3.040 1.336–1.488 176.0–183.1

PaliGemma 의 전이 사전은 여덟 질문에서 FVU 1.814–3.040 으로 이미지 내 분산 기준선을 넘습니다. 네이티브 원천 방정식 검사는 통과하지만, 0 이 아닌 귀속·삭제 효과가 이미지 상태의 충실한 희소 분해를 확정하지는 않습니다. 무작위 ID 대조군은 피처 수는 맞추지만 교란 예산이 훨씬 작습니다. LLaVA-Llama3 재킷 사례에서 선택 삭제는 $\lVert\delta h\rVert_2=160.62$, 무작위 집합 평균은 5.82 이므로 무작위 대조군의 작은 점수 하락이 의미적 특이성을 확정하지 않습니다. 픽셀 대조군은 목표 COCO 박스를 원 이미지 평균 RGB 로 채우고 같은 면적의 평행이동 세 개와 비교하는데, 큰 차·개 박스가 이미지의 약 70.8%·65.1% 를 덮어 평행이동 마스크가 목표와 겹칠 수밖에 없으므로(최대 겹침 0.854–0.942) 배경 전용 대조군이 아니며 객체 배타적 인과 의존을 확정할 수 없습니다.

🔍 6. 읽기 (Figure 18)

같은 이미지가 디코더 구성과 답 목적에 따라 다른 공간 패턴을 지지합니다. Qwen2.5 의 재킷 맵은 목표 아이 박스 밖의 연에서 강한 피크를 가지고, 개 태그 맵은 목걸이와 태그 근처에서 피크를 가집니다. 이 맵은 질문된 객체를 분할하는 것이 아니라 답 민감 SAE 방향을 찾습니다. Qwen 과 LLaVA 에서 인과적 이미지 접두사 상태는 뒤의 질문을 읽을 수 없으므로 질문 조건화는 하류 답 목적을 통해 들어옵니다. 이 사례 진단은 목적 의존적 SAE 방향을 드러내지 방법 순위가 아닙니다.

💡 Key Takeaway 디코더 SAE 귀속은 “답에 민감한 방향” 을 보여 주지 “객체” 를 보여 주지 않습니다. 삭제가 대비 부호를 뒤집어도 자유 생성은 그대로이고(brown), 기울기 추정이 삭제 효과의 절반이며(0.261 vs 0.572), 전이된 사전은 재구성이 분산 기준선보다 나쁠 수 있습니다(PaliGemma FVU 최대 3.040). 귀속·삭제·재구성·생성을 모두 봐야 합니다.

재현성과 공개 자원

논문은 기술 보고서답게 재현 세부를 매우 상세히 기록합니다.

🔐 1. 고정과 검증

  • 모든 백본·사전은 HF 리비전 해시와 가중치 SHA256 으로 고정됩니다. 예컨대 Pythia 백본은 EleutherAI/pythia-160m-deduped 리비전 582159a…, 언어 사전은 adamkarvonen/saebench_pythia-160m-deduped_width-2pow12_date-0108 입니다.
  • 네이티브 훅 캡처는 캐시된 HF hidden state 와 32개 실제 입력에서 일치합니다(Pythia 블록 8 = hidden_states[9], CLIP 블록 22 = hidden_states[23]).
  • 다운로드 매니페스트가 파일 크기·원천 LFS SHA256 을 검증하고, 고정 계약이 로컬 가중치·코드 스냅샷·질문·이미지·답 형식 정책을 묶어 체크포인트가 조용히 대체되지 않게 합니다.
  • Pile 평가는 monology/pile-uncopyrighted 의 val/test 파일을 쓰되, 백본이나 SAE 학습 문서와의 역사적 겹침은 확립되지 않았으므로 같은 코퍼스의 held-out 파일 평가이지 검증된 미학습 데이터 테스트가 아닙니다.

🔁 2. 재생 파이프라인

SAE 보고서는 experiments/sae_report_v1 의 공개 vlmprobe.evaluation.sae API 로 데이터 준비 → 언어 캡처 → 캐시 검증 → 언어 평가 → 시각 캡처 → 시각 평가 → 요약 → 불확실성 추정(2,000 재표본, 시드 17)의 단계로 재생됩니다. 교차 백본 비교(sae_visual_comparison_v2~v7)와 디코더 QA(sae_decoder_qa_v1, v2)도 같은 원시 COCO 선택을 유지하며, 렌더링 단계는 측정된 맵과 미리 선언된 사례만 읽고 모델을 로드하거나 테스트 점수로 피처를 고르거나 이미지를 재정렬하지 않습니다. 각 질문은 완전한 네이티브 프롬프트, 토큰별 점수, 생성 답, 좌표별 부호 있는 귀속, 재구성·피처 개입 효과, 마스크 기하, 원천 해시를 저장하며 약하거나 음의 효과도 보존합니다.

💡 Key Takeaway 이 논문의 재현성 기준은 “스크립트 공개” 를 넘어 “측정 단계와 표시 단계의 분리” 입니다. 렌더링이 추론을 다시 돌리거나 피처를 고르지 못하게 막고, 모든 수치 검사가 “실행의 정확성” 을 확인하지 “해석의 유일성” 을 확인하지 않는다고 반복해서 선을 긋습니다.

한계와 범위

논문 스스로 각 연구의 범위를 좁게 한정합니다.

⚠️ 1. 저자가 명시한 범위 제한

영역 제한
매칭 사례 두 GQA 예시나 비슷한 레이어 패턴이 보편적 경로나 모델 강건성 순위를 세우지 않음
렌즈 세 렌즈의 목적이 달라 공통 충실도 지표가 없음; Jacobian/Attention Lens 는 텍스트 연구만 지원; EmbedLens 의 sink/dead/alive 분류와 가지치기는 미구현
어텐션 Qwen3.5 의 DeltaNet 블록에서는 표준 rollout 과 path patching 이 정의되지 않음; Qwen3-VL 전파는 비전 인코더·프로젝터·DeepStack 을 별도 간선으로 포함하지 않음
인과 공개 attribution API 는 레이어당 기울기 forward 를 재생하며 최적화된 2-forward/1-backward 캐시를 주장하지 않음; knockout 은 크기 매칭 대조군이 없음; EAP 비교는 단일 프롬프트 쌍
스티어링 SLA 없는 raw 잔차 규칙이라 완전한 VISTA 재현이 아니며 공개 코드의 스케일은 옮길 수 없음
SAE 희소성 설정이지 학습 시드 반복이 아니라 시드 변동성을 추정하지 않음; Pile 겹침 미확립; 시각 표 전체는 백본·훅을 고정한 채 SAE 알고리즘을 분리하지 않음; Gated 의 MLP 훅이 게이팅 효과 분리를 막음
디코더 SAE PaliGemma 사례는 독립 held-out VQAv2 평가가 아님; 픽셀 대조군은 배경 전용이 아님; 무작위 대조군은 교란 예산을 맞추지 않음

🧭 2. 설계 선택이 주는 교훈

이 보고서는 “어떤 해석 방법이 최고인가” 라는 질문을 의도적으로 거부합니다. 대신 (1) 같은 출력 형태가 같은 측정을 뜻하지 않고, (2) 국소 귀속은 제안이며 개입이 검증이고, (3) SAE 품질은 재구성·개념 리드아웃·공간 유용성의 서로 다른 축을 가진다는 세 주장을 다섯 VLM·GPT-2·ViT·35개 사전에서 반복해서 보여 줍니다. 라이브러리의 가치는 새 방법이 아니라, 이 세 주장을 검증할 수 있도록 입력·위치·보정·점수를 결과와 함께 보존하는 계약에 있습니다.

💡 Key Takeaway vlmprobe 는 VLM 해석의 “방법 리더보드” 가 아니라 “증거 결합 워크플로” 입니다. 렌즈·어텐션·인과·SAE 가 각각 다른 질문에 답하므로, 하나의 해석을 받아들이기 전에 여러 측정을 결합하고 설명 가설을 모델 행동(개입·삭제·생성)에 대해 검증해야 한다는 것이 논문의 결론입니다.