You know maize mean?
Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
0. Summary
기본 정보 : ArXiv,2026.10.15, Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
연구 배경
흉부 X-ray 분류기가 폐의 병변 대신 이미지 구석에 찍힌 병원 코드를 읽어 예측한다는 지름길 학습(shortcut learning)은 행동 수준에서는 이미 잘 알려진 실패 양식이다. DeGrave et al.(2021)은 COVID-19 분류기가 병원 획득 아티팩트를 학습함을, Zech et al.(2018)은 폐렴 탐지기에서 같은 패턴을 보였다. 그러나 어떤 내부 구성요소가 그 지름길을 구현하는지, 그리고 그것을 제거하면 도움이 되는지 아니면 성능만 떨어지는지 는 어느 연구도 답하지 못했다. Grad-CAM, attention rollout, LIME 같은 기존 설명 도구는 모델이 “어디를” 보았는지는 보여 주지만 “어떤 구성요소가 그것을 일으켰는지”를 식별하지 못하고 인과를 세우지도 못한다. 찾아내지 못한 메커니즘은 고칠 수 없다. 이 문제는 고자원 병원에서 사전학습된 ViT 분류기가 장비·PACS·주석 관행이 다른 지역 병원과 이동 검진 장비로 재감사 없이 이식되는 저자원 임상 환경에서 특히 심각하다.
제안 방법
언어 모델용으로 발전한 기계론적 해석(mechanistic interpretability) 도구를 의료 ViT에 적용해, 식별 → 특성 규명 → 인과 검증 의 3단계 파이프라인(Figure 1)을 구성한다. ImageNet-21k로 사전학습된 ViT-Base/16의 144개 어텐션 헤드 전부에 대해 CLS 토큰의 196개 패치 어텐션을 엔트로피, 평균 어텐션 거리, 최대 단일 패치 어텐션, 코너/폐 비율의 네 지표로 훑어 이상 헤드를 찾는다. 찾아낸 L8H10(8번째 레이어 10번째 헤드)이 실제로 주석 텍스트의 내용 에 반응하는지, 밝기나 경계 밀도 같은 상관 속성에 반응하는지를 평균값 마스킹과 OpenCV Telea 인페인팅이라는 두 가지 개입으로 인과적으로 검증한다. 이어 NIH ChestX-ray14 데이터셋, DeiT-Base, ViT-Large/16에서 같은 파이프라인을 재현하고, 부분·전체 미세조정이 이 행동을 억제하는지, 단일·다중 헤드 제거가 출력 수준 성능에 영향을 주는지를 시험한다.
발견 사실
L8H10은 최대 단일 패치 어텐션 0.346으로, 144개 헤드 중 다음으로 높은 L6H12(0.124)의 2.8배이며 엔트로피 2.88 nats, 평균 어텐션 거리 6.18이라는 “극단적 집중 + 주변부 위치”의 유일한 조합을 보인다(Figure 3). COVID-19 흉부 X-ray 200장 중 123장(62%)에서 코너/폐 어텐션 비율이 2를 넘는 가짜(spurious) 행동을 보였고, 두 집단의 평균 비율은 57.5배 대 0.77배로 사분위 범위가 겹치지 않는 이봉 분포였다(Table 1, Mann-Whitney $p<0.0001$). 가짜 행동을 예측하는 것은 코너의 밝기가 아니라 국소 대비(픽셀 표준편차) 였고 경계 밀도는 무관했다($p=0.622$). Telea 인페인팅으로 주석을 지우자 200장 중 158장(79%)에서 코너 어텐션이 줄었고, 가짜 이미지에서는 폐 어텐션이 1.52배 늘어난 반면 정상 이미지에서는 0.99배로 변화가 없었다(Figure 6). 이 현상은 NIH ChestX-ray14에서 79%, DeiT-Base(L9H2)에서 88%, ViT-Large/16(L8H8)에서 80%의 비율로 재현되었다(Table 4–5). 전체 미세조정 뒤에도 원래 가짜였던 123장 중 121장(98.4%)이 그대로 가짜였고 가짜 비율은 61.5%에서 62.5%로 오히려 소폭 올랐다(Table 6). 그런데 L8H10 단일 제거는 예측 변화 5.0%에 가짜/정상 집단 차이 $p=0.340$, 식별된 세 헤드(L8H10, L7H2, L9H3) 동시 제거는 예측 변화 10.0%에 $p=0.532$ 로, 인과적으로 검증된 주석 읽기 회로가 출력 수준 평가에서는 전혀 보이지 않았다(Table 3).
핵심 기여
- 144개 헤드의 체계적 스윕과 L8H10 식별 : 엔트로피·거리·집중도 지표로 ViT-Base/16의 모든 헤드를 훑어, 최대 단일 패치 어텐션이 다른 어떤 헤드보다 2.8배 높고 공간적으로 먼 패치를 보는 L8H10을 주석 전담 헤드로 지목했다. 어텐션 특화는 1–6층에 없다가 7–9층에서 급격히 나타나며, 이는 언어 모델에서 관찰되는 중간 깊이 회로 출현과 닮았다(Figure 2).
- 두 가지 보완적 개입에 의한 인과 검증 : 평균값 마스킹의 교란 요인(균일 회색 패치가 대비 민감 헤드를 끌어당김)을 Telea 인페인팅으로 제거해, 밝기나 경계 밀도가 아니라 주석 내용 이 행동을 일으키며 주석 제거가 가짜 이미지에서만 임상 어텐션을 부분 복원함을 보였다.
- 교차 데이터셋·교차 아키텍처 재현 : NIH ChestX-ray14(79%), DeiT-Base(88%), ViT-Large/16(80%)에서 다수 비율로 재현되어, 가짜 주석 어텐션 헤드가 특정 데이터셋이나 모델의 문제가 아니라 ViT 계열의 일관된 성질임을 확립했다.
- 두 수준의 음성 결과 : 단일 헤드 제거($p=0.340$)와 다중 헤드 제거($p=0.532$) 모두 출력 수준에서 차별적 효과가 없었다. 신호가 약해서가 아니라 중복 인코딩 때문이며, 전체 미세조정도 이 행동을 억제하지 못하고 오히려 강화할 수 있다. 기계론적 감사가 행동 시험으로는 잡을 수 없는 것을 잡는다는 것이 중심 주장이다.
관련 개념
비전 트랜스포머(Vision Transformer)와 지름길 학습
비전 트랜스포머(Vision Transformer, ViT) 는 자연어 처리의 트랜스포머 아키텍처를 이미지에 성공적으로 이식한 모델입니다(Dosovitskiy et al., 2021). 합성곱 신경망(CNN)과 패러다임이 다르며, 최근 대형 멀티모달 모델의 시각 인식부로 널리 쓰입니다. 이 논문의 분석 대상이자, 지름길 학습이 어디에 자리 잡는지를 이해하기 위한 배경입니다.
🧱 1. ViT의 핵심 동작 원리
| 단계 | 동작 | 이 논문의 설정 |
|---|---|---|
| 패치 분할 | 이미지를 격자 형태의 작은 조각으로 쪼갭니다 | $224\times224$ 입력, $16\times16$ 패치 196개 |
| 선형 투영 | 패치를 평탄화해 임베딩 공간으로 보냅니다 | ViT-Base 은닉 차원 |
| 위치 임베딩 | 각 패치에 위치 벡터를 더합니다 | — |
| CLS 토큰 | 전체 이미지를 요약하는 특수 토큰을 맨 앞에 둡니다 | CLS 토큰의 어텐션 이 분석 대상 |
| 셀프 어텐션 | 모든 패치가 서로를 참조합니다 | 12층 × 12헤드 = 144개 헤드 |
🆚 2. CNN과의 차이와 귀납적 편향
| 비교 항목 | CNN | ViT |
|---|---|---|
| 기본 연산 | 국소 필터 슬라이딩 | 전체 패치 간 전역 셀프 어텐션 |
| 초기 수용 영역 | 국소적. 깊어져야 넓게 봄 | 전역적. 첫 층부터 이미지 전체를 비교 |
| 귀납적 편향 | 강함(인접성, 이동 불변성 내장) | 약함. 데이터에서 규칙을 스스로 학습 |
| 데이터 요구량 | 비교적 적음 | 대규모 사전학습 필수 |
⚠️ 3. 전역 어텐션이 지름길이 되는 길
ViT는 첫 층부터 이미지 전체를 자유롭게 조망할 수 있으므로, “폐 안의 병리 패턴을 찾는 어려운 길” 대신 “구석의 작은 글자를 읽는 쉬운 길” 을 아무 구조적 제약 없이 학습할 수 있습니다. Geirhos et al.(2020)이 일반적 경향으로 보인 지름길 학습이 ViT에서는 특정 헤드 의 형태로 응축될 수 있다는 것이 이 논문의 가설이며, 실제로 L8H10이 그 사례로 식별됩니다.
💡 Key Takeaway ViT의 전역 어텐션은 강력한 표현력의 원천이자, 구석의 텍스트 같은 가짜 신호를 하나의 헤드 가 전담해 읽어내는 지름길의 통로이기도 합니다.
어텐션 헤드 스윕: 네 지표로 이상 헤드 찾기
어텐션 헤드 분석(Section 3.2) 은 모델 전체 144개 헤드에서 CLS 토큰이 196개 패치에 두는 어텐션 분포를 추출하고, 헤드마다 네 가지 지표를 계산해 네트워크 전체 분포에서 벗어난 헤드를 찾는 식별 단계 입니다. 모델은 HuggingFace의 google/vit-base-patch16-224(ImageNet-21k 사전학습)이고, 주 데이터셋은 실제 환자 식별자·병원 라벨·획득 메타데이터가 찍힌 COVID-19 Chest X-ray Dataset(Cohen et al., 2020) 200장입니다.
📐 1. 네 가지 헤드 지표
| 지표 | 정의 | 역할 |
|---|---|---|
| 엔트로피 | $H=-\sum_i a_i\log(a_i+\varepsilon)$ | 낮을수록 집중된 어텐션 |
| 평균 어텐션 거리 | 어텐션 가중 평균 공간 거리 | 국소 vs 전역 행동 구분 |
| 최대 단일 패치 어텐션 | 한 패치에 대한 softmax 가중치의 최댓값 | 주요 이상 신호 |
| 코너/폐 비율 | 좌상단 $3\times3$ 패치 영역 평균 어텐션 ÷ 중앙 $6\times6$ 영역 평균 어텐션 | 비율 > 2 이면 가짜(spurious) 로 분류 |
비율 임계값 2는 보수적입니다. 가짜/정상 집단 평균이 57.5배 대 0.77배로 사분위 범위가 전혀 겹치지 않는 이봉 분포이므로, 임계값을 2~10 범위 어디로 잡아도 집단 소속이 바뀌지 않습니다. 임계값 민감도가 교란 요인이 아니라는 뜻입니다.
📊 2. 층별 특화의 급격한 출현 (Figure 2, Section 4.1)
엔트로피 3.0 nats 미만의 특화된 어텐션은 1–6층에서는 전혀 없고(평균 엔트로피 5.0–5.2) 7–9층에서 갑자기 나타납니다. 임계값을 만족하는 헤드는 셋뿐입니다.
| 헤드 | 엔트로피 (nats) | 평균 거리 | 최대 어텐션 |
|---|---|---|---|
| L7H2 | 2.97 | 2.00 | 0.094 |
| L9H3 | 2.91 | 2.28 | 0.090 |
| L8H10 | 2.88 | 6.18 | 0.346 |
엔트로피만으로는 L8H10이 구별되지 않습니다. 집중도 가 가릅니다. L8H10은 총 어텐션의 34.6%를 한 패치에 두며, 144개 헤드 중 다음으로 높은 L6H12의 0.124보다 2.8배 집중되어 있습니다(Figure 3). L7H2와 L9H3의 최대 어텐션은 약 0.09로 많은 비특화 헤드와 비슷합니다. 여기에 L8H10은 특화 헤드 중 평균 어텐션 거리가 가장 길어(6.18) 중앙에서 먼 패치를 봅니다. 극단적 집중과 주변부 위치의 결합이 가짜 헤드 후보의 표지입니다.
🔎 3. 한 장의 이미지에서 (Figure 4, Section 4.2)
좌상단에 “D CLINO”라는 주석이 있는 X-ray에서 L8H10은 그 패치에 0.346의 가중치를 둡니다. 196개 패치의 균일 기준선은 패치당 0.0051이므로 68배 집중입니다. 어텐션 맵은 좌상단 한 점만 밝고 나머지는 거의 검으며, 폐는 사실상 아무것도 받지 못합니다. 논문은 이를 “미묘한 편향이 아니라 임상적으로 관련된 해부학으로부터의 완전한 기능적 전환”이라고 표현합니다.
💡 Key Takeaway 이상 헤드 식별의 열쇠는 엔트로피가 아니라 최대 단일 패치 집중도와 어텐션 거리의 조합 입니다. 이 두 지표는 주석 위치를 가정하지 않으므로 방법 자체는 데이터셋의 주석 관행과 무관하게 일반화됩니다.
200장에 걸친 통계적 특성 규명
특성 규명 단계(Section 4.3) 는 한 장에서 본 행동이 데이터셋 전체에서 안정적으로 나타나는지, 그리고 무엇이 가짜 행동을 예측하는지 를 묻습니다. 통계 검정은 집단 비교에 Mann-Whitney U, 전후 쌍대 비교에 Wilcoxon 부호 순위 검정을 쓰고, 양측 $p$ 값($\alpha=0.05$)과 집단 평균 비율을 효과 크기로 보고합니다(Section 3.4).
📋 1. 가짜 집단과 정상 집단 (Table 1)
| 지표 | 가짜 ($n=123$) | 정상 ($n=77$) | 유의성 |
|---|---|---|---|
| 비율 | 62% | 38% | — |
| 평균 코너/폐 비율 | 57.5× | 0.77× | $p<0.0001$ |
| 집단 분리 | 74.8× | Mann-Whitney U | |
| 평균 코너 어텐션 | 0.0164 | 0.0028 | $p<0.0001$ |
| 관측된 최대 비율 | 311.4× | 1.93× | — |
| 균일 기준선 / 패치 | 0.0051 |
Figure 5의 로그 척도 상자그림에서 두 집단은 사분위 범위가 겹치지 않고, 코너/폐 비율 대 엔트로피 산점도에서 가짜 집단은 정상 분포의 꼬리가 아니라 완전히 별개의 영역 을 이룹니다.
🔬 2. 무엇이 가짜 행동을 예측하는가
| 후보 속성 | 결과 |
|---|---|
| 코너 원시 밝기 | 예측하지 못함. 가짜 이미지의 평균 밝기가 오히려 낮음 |
| 코너 국소 대비 (픽셀 표준편차) | 예측함. 가짜 이미지에서 유의하게 높음 ($p<0.0001$) |
| 코너 경계 밀도 | 유의하지 않음 ($p=0.622$) |
텍스트 주석은 밝은 배경 위의 어두운 글자로서 전체 휘도와 무관하게 높은 국소 대비 를 만듭니다. 62%/38%의 분할은 모델의 임의적 변동이 아니라 데이터셋 내 주석 존재 여부 를 반영합니다.
🧩 3. 왜 이 단계가 필요한가
식별 단계는 “이 헤드가 이상하다”를, 특성 규명 단계는 “이 헤드가 무엇에 반응하는지에 대한 상관적 가설”을 줍니다. 그러나 국소 대비와의 상관은 주석 내용 이 원인이라는 것까지는 말해 주지 않습니다. 대비가 높은 다른 무언가가 원인일 수 있기 때문입니다. 이것이 다음 단계인 개입 실험이 필요한 이유이며, 논문이 “각 단계가 필요한 이유는 상관만으로는 개입을 뒷받침할 수 없기 때문”이라고 Figure 1에서 강조하는 바입니다.
💡 Key Takeaway L8H10의 가짜 행동은 200장에서 이봉으로 깔끔하게 갈리며, 밝기가 아니라 국소 대비 와 함께 움직입니다. 그러나 상관은 인과가 아니므로 개입이 필요합니다.
인과 검증: 평균값 마스킹과 Telea 인페인팅
인과 검증 단계(Section 3.3, 4.4) 는 주석 영역을 직접 바꾸는 두 가지 개입으로 “주석 내용이 행동을 일으킨다”는 가설을 시험합니다. 두 번째 개입은 첫 번째 개입의 교란 요인을 제거하기 위해 설계되었습니다.
🩹 1. 평균값 마스킹과 그 교란 요인
좌상단 $56\times56$ 픽셀 주석 영역을 평균 픽셀 강도로 대체하고 추론을 다시 돌려 L8H10의 어텐션을 전후 비교합니다. 폐 어텐션은 0.0026에서 0.0202로 7.8배 증가합니다. 그러나 코너 어텐션도 함께 증가 합니다. 균일한 회색 패치 자체가 주변 조직과 높은 대비를 이루어 대비 민감 헤드를 끌어당기기 때문입니다(Fong & Vedaldi, 2017). 이 교란 요인 때문에 더 깨끗한 개입이 필요합니다.
🖌️ 2. 이미지 인페인팅(inpainting)이란
인페인팅 은 이미지의 손상되거나 비어 있는 영역을 주변 맥락으로 자연스럽게 채우는 기술입니다. 최근에는 ViT 기반 자가지도 학습(MAE처럼 패치의 75%를 가리고 복원하는 방식)이나 CNN-ViT 하이브리드가 고화질 복원에 쓰이지만, 이 논문이 쓰는 것은 고전적인 Telea 알고리즘 (Telea, 2004)입니다. 빠른 행진법(fast marching method)으로 경계에서 안쪽으로 주변 픽셀의 가중 평균을 전파해 영역을 채우는 OpenCV 구현이며, 학습이 필요 없고 결과가 결정론적입니다. 여기서 인페인팅의 역할은 “복원 품질”이 아니라 주석만 제거하고 대비 아티팩트는 남기지 않는 대조군 생성 입니다. 주석 영역이 주변의 어깨뼈나 빈 배경 질감으로 채워지므로, 바뀐 것은 오직 텍스트의 유무가 됩니다.
📈 3. 인페인팅 결과 (Figure 6)
| 측정 | 결과 |
|---|---|
| 코너 어텐션 감소 | 200장 중 158장(79%), Wilcoxon $p<0.0001$ |
| 폐 어텐션 증가 | 200장 중 140장(70%), 평균 1.34배, Wilcoxon $p=0.021$ |
| 가짜 이미지의 폐 어텐션 변화 | 1.52배 ($n=123$) |
| 정상 이미지의 폐 어텐션 변화 | 0.99배 ($n=77$), 집단 차이 Mann-Whitney $p<0.0001$ |
인과를 세우는 것은 마지막 행의 특이성(specificity) 입니다. 주석을 지우면 주석이 문제였던 이미지에서만 어텐션이 폐로 돌아오고, 애초에 주석에 반응하지 않던 이미지에서는 아무 변화가 없습니다. Figure 6의 오른쪽 패널은 인페인팅이 평균값 마스킹의 교란 요인을 제거했음을 방법 간 비교로 보여 줍니다.
🧭 4. 두 개입이 함께 말해 주는 것
- 평균값 마스킹: 주석이 사라지면 폐 어텐션이 크게 오른다. 그러나 대체 패치 자체가 자극이 된다.
- 인페인팅: 대체 패치가 자극이 되지 않을 때도 코너 어텐션이 줄고, 가짜 이미지에서만 폐 어텐션이 복원된다.
따라서 L8H10을 움직이는 것은 밝기도, 경계 밀도도, 임의의 고대비 영역도 아니라 주석 텍스트의 내용 입니다. 논문은 L8H10을 “전담 코너 대비 탐지기(dedicated corner-contrast detector)” 로 부르며, 이는 “텍스트 전담 리더”로 요약할 수 있습니다.
💡 Key Takeaway 인페인팅의 가치는 “주석만 지우고 다른 것은 바꾸지 않는” 깨끗한 반사실(counterfactual)을 만드는 데 있습니다. 가짜 이미지에서만 1.52배의 어텐션 재분배가 일어난다는 특이성 이 상관을 인과로 끌어올립니다.
교차 데이터셋·교차 아키텍처 재현
재현 실험(Section 4.7–4.8) 은 L8H10이 한 데이터셋의 주석 관행이나 한 모델의 우연한 산물인지를 묻습니다. 데이터셋을 바꾸고, 모델을 바꾸어 같은 식별 파이프라인을 돌립니다.
🗂️ 1. 교차 데이터셋: NIH ChestX-ray14 (Table 4)
NIH ChestX-ray14(Wang et al., 2017)는 30,805명 환자의 112,120장 정면 방사선 사진으로, 여러 기관에서 주 데이터셋과 다른 획득 프로토콜 로 수집되었습니다. 여기서 200장을 뽑아 전체 분석을 반복했습니다.
| 데이터셋 | 가짜 비율 | 분리 | 가짜 평균 비율 | 정상 평균 비율 |
|---|---|---|---|---|
| COVID-19 ($n=200$) | 62% | 74.8× | 57.5× | 0.77× |
| NIH CXR14 ($n=200$) | 79% (158/200) | 37.9× | 34.9× | 0.92× |
두 데이터셋 모두 Mann-Whitney $p<0.0001$ 이고, Figure 8에서 가짜/정상 집단은 사분위 범위가 겹치지 않는 완전한 분리를 보입니다. 한 데이터셋의 주석 관행이 만든 아티팩트가 아닙니다.
🏗️ 2. 교차 아키텍처: DeiT-Base, ViT-Large/16 (Table 5)
같은 200장의 흉부 X-ray에 동일한 헤드 식별 파이프라인을 적용했습니다.
| 모델 | 식별된 헤드 | 가짜 비율 | 분리 | 가짜 평균 비율 | 정상 평균 비율 |
|---|---|---|---|---|---|
| ViT-Base/16 | L8H10 | 62% | 74.8× | 57.5× | 0.77× |
| DeiT-Base | L9H2 | 88% | 10.6× | 11.8× | 1.11× |
| ViT-Large/16 | L8H8 | 80% | 30.5× | 16.2× | 0.53× |
세 아키텍처 모두 Mann-Whitney $p<0.0001$ 이며, 모두 과반 비율 로 가짜 주석 어텐션 헤드를 발달시킵니다. ViT-Base/16은 비율로는 셋 중 가장 낮지만 분리 계수는 가장 큽니다. 흥미롭게도 세 모델 모두 식별된 헤드가 8–9층 에 있어, 중간 깊이에서의 기능적 회로 출현이라는 패턴이 아키텍처를 넘어 반복됩니다.
🌍 3. 재현이 뜻하는 것
- 가짜 주석 어텐션 헤드는 특정 아키텍처나 규모의 문제가 아니라 ViT 계열의 일관된 성질 입니다.
- 식별 방법은 최대 단일 패치 집중도와 어텐션 거리만 쓰므로 모델이 바뀌어도 수정 없이 작동했습니다.
- 논문은 Swin, BEiT, 다른 의료 영상 양식, 다른 사전학습 체제로의 확장을 열린 질문으로 남깁니다(Section 5.2).
💡 Key Takeaway 두 데이터셋과 세 아키텍처에서 모두 과반 비율로 재현된다는 것은, 주석 읽기 헤드가 “우연히 생긴 한 헤드”가 아니라 자연 이미지로 사전학습된 ViT를 임상 영상에 옮길 때 예상해야 할 기본값 이라는 뜻입니다.
미세조정은 지름길을 지우지 못한다
미세조정 실험(Section 4.9) 은 임상 배포에서 가장 중요한 질문을 다룹니다. 표준 파이프라인인 “ImageNet 사전학습 → 지역 임상 데이터로 미세조정”이 L8H10의 주석 읽기를 억제하는가? 두 가지 체제를 시험했습니다.
⚙️ 1. 두 미세조정 체제와 결과 (Table 6)
| 조건 | 설정 | 가짜 비율 | 평균 비율 | 여전히 가짜 |
|---|---|---|---|---|
| 사전학습 | — | 61.5% | 35.6× | — |
| 부분 미세조정 | 마지막 2개 트랜스포머 층 + 분류 헤드, 5 에폭, AdamW, lr $2\times10^{-5}$ | 61.0% | 34.8× | 99.2% (122/123) |
| 전체 미세조정 | 12개 층 전부, 15 에폭, 층별 학습률 감쇠(기본 lr $2\times10^{-5}$, 입력 방향으로 층당 0.85), 코사인 어닐링, 그래디언트 클리핑 1.0 | 62.5% | 29.2× | 98.4% (121/123) |
부분 미세조정은 200장 중 한 장의 변화에 그쳤습니다. 전체 미세조정은 평균 코너/폐 비율을 35.6배에서 29.2배로 줄였고 이것은 통계적으로 유의하지만(Wilcoxon $p=0.009$), 29배는 36배와 마찬가지로 파국적인 주석 지배 입니다. 가짜 비율은 오히려 61.5%에서 62.5%로 소폭 올랐습니다.
🧠 2. 왜 억제되지 않는가
미세조정 목적함수는 코너 읽기에 반대하는 그래디언트 신호를 제공하지 않습니다. 학습 데이터에서 주석 텍스트가 기관별 질병 유병률과 상관되어 있으므로, 지름길은 미세조정 내내 예측력을 유지하고 손실 함수에 의해 한 번도 벌점을 받지 않습니다. 전체 미세조정은 과제 관련 표현을 강화하는데, 주석 관행이 일관된 데이터셋에서는 코너 읽기가 과제 관련 이므로 억제되는 대신 강화 됩니다. 가짜 비율의 소폭 상승은 이 해석과 일치합니다.
🏥 3. 실무적 함의
표준 ViT 배포 파이프라인은 가짜 주석 읽기를 제거하지 못하며 오히려 고착시킬 수 있습니다. 자기 기관의 흉부 X-ray로 사전학습 ViT를 미세조정한 뒤 다른 기관으로 이식하는 실무자는 미세조정이 지름길을 정리했다고 가정해서는 안 됩니다. 논문이 제시하는 신뢰할 만한 완화책은 데이터 수준 뿐입니다.
- 주석을 제거한 이미지로 학습해 지름길이 애초에 학습되지 않게 하기
- 식별된 가짜 헤드를 명시적으로 겨냥하는 학습 시 정규화
둘 다 어느 헤드를 겨냥할지 먼저 알아야 하며, 바로 그것을 기계론적 감사가 제공합니다.
💡 Key Takeaway 지름길이 학습 데이터에서 예측력을 유지하는 한 미세조정은 그것을 벌하지 않습니다. 전체 미세조정은 지름길을 지우기는커녕 과제 관련 특징으로 간주해 강화 할 수 있습니다.
제거 실험의 음성 결과와 중복 인코딩
제거(ablation) 실험(Section 4.5–4.6) 은 이 논문의 중심 발견을 담고 있습니다. 인과적으로 검증된 가짜 헤드를 제거해도 출력 수준에서는 아무것도 보이지 않는다는 두 수준의 음성 결과 입니다.
🔪 1. 단일 헤드 제거 (Table 2)
CheXpert(Irvin et al., 2019)로 미세조정된 5클래스 분류기(codewithdark/vit-chest-xray, 클래스: 심비대, 부종, 경화, 폐렴, 이상 없음)에서 L8H10을 제거했습니다.
| 모델 | 전체 예측 변화 | 가짜 이미지 | 정상 이미지 | $p$ |
|---|---|---|---|---|
| codewithdark (CheXpert) | 5.0% (10/200) | 4.9% | 5.2% | 0.340 |
| lxyuan (폐렴 이진 분류) | 0.5% | 0.8% | 0.0% | 0.435 |
평균 신뢰도 변화는 $-0.0098$ 이고, 가짜/정상 집단 간 차이는 없습니다. 모델 특이적 아티팩트를 배제하기 위해 다른 데이터셋으로 독립적으로 미세조정된 두 번째 분류기에서도 반복했는데, 기준 민감도가 크게 달라도(0.5% 대 5.0%) 음성 결과는 유지됩니다. 총 어텐션의 34.6%를 주석 패치에 두는, 두 개입으로 인과 검증된 헤드가 출력 수준에서는 아무 신호도 내지 않습니다.
🔪🔪 2. 다중 헤드 제거 (Table 3, Figure 7)
단일 헤드 음성 결과에는 두 가지 상반된 해석이 가능합니다. (a) L8H10의 가짜 신호가 실제로 약하고 임상적으로 무의미하다, 또는 (b) 신호가 중복 인코딩 되어 있어 한 운반자를 제거해도 나머지가 남는다. 안전 측면에서 함의가 정반대이므로 구분이 필요합니다. 식별된 세 가짜 헤드(L8H10, L7H2, L9H3)를 동시에 0으로 만들었습니다.
| 조건 | 전체 | 가짜 | 정상 | $p$ |
|---|---|---|---|---|
| 기준선 | 0.0% | 0.0% | 0.0% | — |
| 단일 헤드 (L8H10) | 5.0% | 4.9% | 5.2% | 0.340 |
| 다중 헤드 (3개) | 10.0% | 9.8% | 11.7% | 0.532 |
전체 예측 변화가 5%에서 10%로 늘어 제거 자체는 작동하고 있습니다. 그러나 효과는 비특이적 입니다. 정상 이미지가 가짜 이미지보다 오히려 더 자주 바뀌었고(11.7% 대 9.8%), 집단 비교는 $p=0.532$ 입니다. 식별된 운반자를 모두 제거해도 가짜 이미지에 대한 차별적 효과는 없습니다.
🧬 3. 해석: 신호는 약하지 않다, 분산되어 있다
이 결과는 해석 (a)를 배제합니다. 신호는 두 개의 독립적 개입으로 인과 검증되어 분명히 존재합니다. 따라서 가짜 주석 신호는 어텐션 집중도 지표가 식별할 수 있는 것보다 더 많은 구성요소에 걸쳐 인코딩되어 있습니다. 찾아낸 세 헤드는 가장 눈에 띄는 운반자일 뿐 유일한 운반자가 아닙니다. 이론적 배경은 Elhage et al.(2021)이 보인 트랜스포머의 다중 헤드 정보 인코딩과, Elhage et al.(2022)의 중첩(superposition) 입니다. 용량 근처에서 작동하는 트랜스포머는 각 특징을 여러 구성요소에 분산해 인코딩하므로, 단일 헤드 제거는 구성요소 수준 행동의 나쁜 탐지기입니다.
🚨 4. 출력 수준 평가의 구조적 맹점 (Section 5.1)
출력 수준 평가(정확도, 신뢰도, 예측 변화율)는 네트워크의 집계 행동을 측정합니다. 개별 구성요소의 행동은 그 구성요소가 비중복적이면서 출력의 인과적 상류 에 있을 때만 보입니다. 분산 표현을 가진 네트워크에서는 대부분의 구성요소가 두 조건 모두를 만족하지 않습니다. 따라서 한 헤드가 명백히 가짜인 계산을 구현해도, 제거 시 네트워크가 남은 중복 인코딩에서 같은 출력을 재구성하므로 출력 수준 신호가 없습니다.
위험은 L8H10이 한 장의 이미지에서 분류기를 실패시키는 것이 아닙니다. 가짜 주석 읽기 구성요소 전체 가족 이 분포 이동 아래서 조용히 활성화되는 잠재적 취약점이라는 것입니다. 다른 주석 관행을 가진 기관에 배포되면 이 분산된 가짜 신호가 갑자기 지배할 수 있고, 학습 기관에서 수행한 어떤 출력 수준 평가도 그것을 탐지하지 못했을 것입니다. 논문은 이것이 더 나은 제거 방법으로 풀 수 있는 측정 문제가 아니라 아키텍처 자체의 결과 라고 주장합니다. 표준 평가는 “이 데이터에서 모델이 올바르게 수행하는가”에 답하고, 기계론적 감사는 “어느 구성요소가 책임지며, 잘못된 이유로 그렇게 하는 것이 있는가”에 답합니다. 두 질문은 교환 가능하지 않습니다.
💡 Key Takeaway 인과적으로 검증된 지름길 회로가 단일 제거($p=0.340$)에도 다중 제거($p=0.532$)에도 출력에서 보이지 않는다는 것은, 신호가 약해서가 아니라 중복 인코딩 때문입니다. 행동 시험은 구조적으로 이 실패 유형에 눈이 멀어 있습니다.
한계와 열린 방향
한계(Section 5.3) 와 후속 연구(Section 5.4) 는 저자들이 스스로 적은 것이며, 여기에 이 글의 관점에서 본 몇 가지를 덧붙입니다.
⚠️ 1. 저자들이 명시한 한계
- 코너 영역 정의와 임계값의 데이터셋 의존성 : 좌상단 $3\times3$ 패치와 코너/폐 비율 > 2 라는 기준은 사용된 데이터셋의 주석 관행에 맞춘 것입니다. 주석이 다른 위치에 있는 데이터셋에서는 영역 정의를 조정해야 합니다. 다만 헤드 식별 자체는 최대 단일 패치 집중도와 평균 어텐션 거리만 쓰므로 주석 위치를 가정하지 않습니다.
- 미세조정 실험의 규모 : 200장은 임상 학습 집합에 비해 작습니다. 억제가 실패하는 이론적 논거는 주석 관행이 일관되기만 하면 데이터셋 크기와 무관하게 성립하지만, 결정적 실험은 같은 크기의 주석 일관 데이터셋과 주석 제거 데이터셋 으로 미세조정을 비교하는 것이며, 저자들은 이를 가장 중요한 후속 과제로 꼽습니다.
🔭 2. 후속 연구 방향
| 방향 | 내용 |
|---|---|
| 주석 제거 이미지로 미세조정 | 학습 중 가짜 신호를 억제하면 인코딩 자체가 방지되는지 직접 시험 |
| 자동 가짜 헤드 탐지 | 비정상적으로 높은 최대 어텐션 집중도를 가진 헤드를 배포 전 선별 단계로 자동 표시 |
| 다른 양식으로 확장 | 망막 영상, 피부경 영상, CT에서도 같은 현상이 나타나는지 확인 |
| 다른 아키텍처·사전학습 체제 | Swin, BEiT 등으로의 확장 |
🤔 3. 이 글의 관점에서 본 추가 논점
- “전담 리더”의 정확한 의미 : 논문은 L8H10을 “corner-contrast detector”라고 부르며, 인페인팅 실험은 주석 내용 이 원인임을 보이지만, 그것이 글자를 “읽는” 것인지 글자 모양의 고대비 패턴에 반응하는 것인지는 구분하지 않습니다. 같은 위치에 무의미한 고대비 기호를 넣는 통제 실험이 이를 가를 수 있습니다.
- 분석 모델과 제거 모델의 분리 : 헤드 식별은 ImageNet-21k 사전학습 ViT에서, 제거 실험은 별도로 미세조정된 CheXpert/폐렴 분류기에서 수행됩니다. 미세조정 뒤에도 L8H10이 같은 역할을 유지한다는 Table 6의 결과가 이 간극을 메우지만, 제거 실험 모델에서 직접 헤드를 재식별한 결과는 보고되지 않습니다.
- 출력 수준 평가의 범위 : 제거 실험은 동일 분포 데이터에서의 예측 변화만 봅니다. 논문의 주장대로 위험이 분포 이동에서 발현된다면, 주석 관행이 다른 기관 데이터에서의 제거 효과가 더 직접적인 시험이 될 것입니다.
- 통계적 검정력 : $n=200$ 에서 가짜 집단 4.9%와 정상 집단 5.2%의 차이를 검출하는 것은 어렵습니다. 음성 결과가 “효과 없음”의 증거인지 “검출 못 함”인지는 효과 크기 추정과 함께 읽어야 합니다. 다만 다중 제거에서도 방향이 역전된다는 점(정상 이미지가 더 많이 바뀜)은 차별적 효과가 없다는 해석을 지지합니다.
- 기계론적 감사의 비용 : 144개 헤드 스윕과 인페인팅 검증은 모델당 수동 검사를 요구합니다. 저자들이 제안한 자동 탐지가 실현되어야 배포 전 감사로 실용화됩니다.
💡 Key Takeaway 이 논문의 가장 강한 주장은 “기계론적 감사가 행동 시험이 놓치는 것을 찾는다”이며, 가장 중요한 미완의 실험은 주석을 제거한 데이터로 미세조정했을 때 지름길이 사라지는가 입니다. 안전 평가가 출력 지표에만 의존하는 한, 중복 인코딩된 지름길은 분포 이동 전까지 보이지 않습니다.