0. Summary

  • 기본 정보 : ArXiv,2026.10.15, Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
  • 연구 배경 : 의료 영상 분석에 사용되는 비전 트렌스포머(ViT)는 종종 가짜 상관관계(Spurious Correlation)를 악용하여 예측하는 경향이 있지만, 모델 내부 작동 기작이 정확히 무엇인지 밝혀지지 않아 이를 근본적으로 해결하는 데 어려웠음.
  • 발견 사실 : ViT 모델에 Mechanistic Interpretability 방법론을 사용하여, 앞선 현상을 야기하는 L8H10(8번째 레이어의 10번째 헤드)를 찾아내었고, 이 헤드는 흉부 X-ray 영상에서 실제 폐의 병변을 보는 대신, 이미지 구석에 적힌 텍스트(주석 및 표시)만을 전문적으로 읽어내는 ‘텍스트 전담 리더’ 역할을 수행하고 있었음을 알아냄.
  • 핵심 기여 :
    • 단순한 명암 대비나 경계선 때문이 아니라, 글자의 ‘내용(텍스트 정보)’ 자체 때문에 유발된다는 것을 인페인팅(Inpainting, 텍스트 영역을 지우고 메우는 기술)을 통한 인과적 검증을 통해 확인함.
    • 특정 데이터셋이나 단일 모델에만 국한되지 않음을 알아내고, “의도치 않게 주석(글자)에 편향되어 반응하는 어텐션 헤드”의 존재가 ViT 계열 아키텍처 전반에서 공통적으로 나타나는 일관된 특성임을 규명함.
    • 더욱 심각한 문제는, 모델을 전체 미세조정(Full Fine-tuning)하는 기존의 표준적인 학습 방식으로는 이 편향된 행동을 억제하지 못하며, 오히려 악화시킬 수 있음.

연구 방향

  1. 문제 인식
    • AI 모델이 가짜 상관관계를 악용하는 문제 경험
  2. 가설 설정
    • AI가 가짜 상관관계를 야기하는 문제가 모델 내부에서 발생할 것이다.
  3. 문제 실험
    • 의료 영상 분석에 사용되는 ViT 모델 내부 메커니즘을 규명하기 위해 3단계 파이프라인(식별 → 성질 규명 → 인과적 검증)을 구축하고, Mechanistic Interpretability 방법론(Circuit), ViT-Prisma 툴킷을 사용하여 실험을 수행

  4. 결과 분석

  5. 논문 작성

관련 개념

비전 트렌스포머(Vision Transformer)

비전 트랜스포머(Vision Transformer, ViT)는 자연어 처리(NLP) 분야를 뒤흔든 트랜스포머(Transformer) 아키텍처를 이미지 처리 분야에 최초로 성공적으로 이식한 기념비적인 모델입니다.

기존 컴퓨터 비전의 지배자였던 CNN(합성곱 신경망)과 패러다임이 완전히 다르며, 최근 대형 멀티모달 모델(LMM/VLM)의 시각 인식 두뇌로 널리 쓰이고 있습니다.

🧱 1. 비전 트랜스포머(ViT)의 핵심 동작 원리

트랜스포머는 본래 ‘문장(텍스트 토큰의 시퀀스)’을 입력받도록 설계되었습니다. ViT는 “이미지도 한 편의 글처럼 잘라서 읽으면 어떨까?”라는 아이디어에서 출발합니다.

단계 동작 방식 비유
1. 패치 분할 (Patch Extraction) 고해상도 이미지를 격자 형태의 작은 조각(Patch, 보통 $16\times16$ 크기)들로 쪼갭니다. 긴 문장을 단어 단위로 쪼개는 과정
2. 선형 투영 (Linear Projection) 쪼갠 패치들을 1차원 벡터로 평탄화(Flatten)한 뒤, 선형 변환을 거쳐 고차원 임베딩 공간으로 보냅니다. 단어를 벡터(Word Embedding)로 변환하는 과정
3. 위치 임베딩 추가 (Position Embedding) 트랜스포머는 위치 정보를 스스로 알지 못하므로, 각 패치 임베딩에 ‘이 조각이 이미지의 몇 번째 칸에 있는지’ 위치 벡터를 더해줍니다. 단어들의 어순(Word Order)을 알려주는 과정
4. CLS 토큰 삽입 (Classification Token) 전체 이미지의 통합적인 특징을 요약하기 위해 특수 토큰인 [CLS]를 맨 앞에 추가합니다. 최종 분류는 이 토큰의 출력값을 바탕으로 수행됩니다. 문장 전체의 감정이나 주제를 담는 마스터 키
5. 셀프 어텐션 (Self-Attention) 모든 패치들이 서로를 바라보며 “내가 이 이미지를 이해하는 데 어떤 조각들이 서로 깊은 연관이 있는가?”를 계산합니다. 문맥 속에서 단어 간의 관계를 파악하는 과정

🆚 2. CNN vs ViT 차이점 비교

가장 직관적인 차이는 우리가 세상을 바라보는 시야의 크기(Receptive Field)와 선입견(Inductive Bias)에 있습니다.

비교 항목 CNN (Convolutional Neural Network) ViT (Vision Transformer)
기본 연산 지역적인 필터 슬라이딩 (Local Filter) 이미지 전체 패치 간의 글로벌 셀프 어텐션
초기 시야 (Receptive Field) 국소적 (Local). 처음에는 주변 픽셀들만 보고, 레이어가 깊어져야 넓게 봅니다. 전역적 (Global). 첫 번째 레이어부터 이미지 전체 조각들을 다 같이 비교합니다.
귀납적 편향 (Inductive Bias) 매우 강함. “가까운 픽셀끼리는 서로 밀접하고, 위치가 바뀌어도 패턴은 같다”는 선입견을 모델에 내장함. 매우 약함. 이미지 구조에 대한 아무런 선입견 없이 데이터 속에서 스스로 규칙을 배웁니다.
데이터 요구량 적은 양의 데이터로도 비교적 학습이 잘 됨. 선입견이 없기 때문에, 모델을 제대로 학습시키려면 막대한 양의 초거대 데이터셋이 필수적입니다.

⚠️ 3. ViT의 한계와 앞선 논문(Spurious Attention)과의 연결고리

ViT는 데이터가 엄청나게 많을 때 CNN을 아득히 뛰어넘는 성능을 보여주지만, 치명적인 약점도 안고 있습니다.

  • 학습 효율성 저하: 이미지 구조(공간적 대칭성, 인접성 등)에 대한 선입견이 전혀 없다 보니, “이것이 격자 모양의 이미지다”라는 기초적인 개념마저도 데이터 학습을 통해 밑바닥부터 깨우쳐야 합니다. 이 때문에 연산 자원 소모가 극심합니다.
  • 지름길 학습(Shortcut Learning)과 가짜 상관관계 편향: 앞서 질문하신 논문이 정확히 이 지점을 꼬집고 있습니다. ViT는 첫 레이어부터 이미지 전체 영역을 자유롭게 조망할 수 있는 강력한 글로벌 어텐션을 가지고 있습니다. 이 자유도가 너무 높은 나머지, “폐 안의 질병 패턴을 찾는 어려운 길” 대신 “이미지 구석에 박혀 있는 작은 글자 텍스트(주석)를 보고 환자 정보를 읽어 판정하는 손쉬운 꼼수(Shortcut)”를 필터링 없이 그대로 학습해 버리는 기형적인 어텐션 헤드(L8H10 등)가 생겨나게 되는 것입니다.

비전 트렌스포머 기반 인페인팅(ViT Inpainting)

비전 트랜스포머 기반의 이미지 인페인팅(ViT Inpainting)은 이미지의 손상되거나 빈 영역(Masked Region)을 주변의 맥락 정보(Context)를 활용하여 자연스럽게 채워 넣는 컴퓨터 비전 기술입니다.

기존에는 이 분야에서 CNN(합성곱 신경망)이나 GAN(생성적 적대 신경망)이 주로 쓰였으나, 최근에는 이미지의 ‘글로벌 문맥 파악’ 능력이 압도적으로 우수한 ViT가 인페인팅의 패러다임을 혁신하고 있습니다.

🧠 1. CNN 인페인팅 vs ViT 인페인팅의 차이점

인페인팅에서 가장 중요한 것은 “비어 있는 공간 주변뿐만 아니라, 멀리 있는 배경 지식까지 종합해서 자연스러운 픽셀을 채워 넣는 것”입니다.

  • CNN 방식의 한계 🚫
    • CNN은 필터가 좁은 영역(Local)만 순차적으로 훑는 특성상, 구멍이 아주 크게 뚫려 있으면 구멍 한가운데를 메울 때 전체 맥락과 뚱딴지같은 어색한 패턴을 그려 넣거나 이미지가 뭉개지는 경향이 있습니다.
  • ViT 방식의 강점 🌟
    • ViT는 이미지 전체의 모든 패치를 한눈에 조망하는 글로벌 셀프 어텐션(Self-Attention)을 사용합니다.
    • 구멍이 아무리 커도 이미지 반대편에 있는 패턴, 질감, 조명 정보를 다각도로 참조하여 “전체 구도와 완벽하게 맥락이 일치하는 정교한 채우기”가 가능합니다.

🛠️ 2. ViT 인페인팅의 대표적 아키텍처 및 기법들

ViT를 활용한 인페인팅은 크게 자가학습(MIM) 모델, 하이브리드(CNN+ViT) 모델, 그리고 앞선 논문처럼 전처리용/원인 검증용 마스킹 등의 형태로 응용됩니다.

① 가면을 쓰고 복원하며 배우는: MAE (Masked Autoencoders) 🎭

비전 분야에서 인페인팅을 가장 효과적으로 대중화한 대표적인 ViT 기반 자가학습(Self-Supervised Learning) 프레임워크입니다.

  • 동작 방식: 입력 이미지의 패치 중 무려 75% 이상을 무작위로 제거(Masking)합니다. 그 후 남은 25%의 눈에 보이는 패치들만 거대한 ViT 인코더에 통과시킵니다. 마지막으로 가벼운 디코더(Lightweight Decoder)를 통해 가려진 75%의 영역을 원래 이미지대로 감쪽같이 복원해냅니다.
  • 의의: AI가 사물의 고차원적인 기하학적 구조와 의미(Semantic)를 이해하지 못하면 75%나 빈 이미지를 완벽히 복원할 수 없습니다. 인페인팅을 ‘AI 학습 방법론’ 그 자체로 승화시킨 사례입니다.

② 최강의 조합: CNN-ViT Hybrid 아키텍처 🤝

근래의 고화질 이미지 복원 타깃 모델들은 단독 ViT보다는 하이브리드 구성을 선호합니다.

  • CNN 역할: 이미지의 선명한 선, 정교한 텍스처, 미세한 경계 같은 국소적인 세부 정보(Local Details)를 디테일하게 추출합니다.
  • ViT 역할: 이미지 전체 구조의 일관성, 거대한 형태의 대칭 등 글로벌 컨텍스트(Global Context)를 파악하여 어색하지 않은 뼈대를 잡습니다.
  • 결과: 이 조합에 GAN(적대적 신경망)의 판별기까지 더해 고화질 사진 복원에서 최고 수준(SOTA)의 화질을 구현합니다.

🏥 3. 앞선 흉부 X-ray 논문에서의 “ViT Inpainting” 역할

질문하신 논문([2610.21638])에서도 이 인페인팅 기술이 결정적인 역할을 했습니다.

  • 인페인팅을 활용한 이유: 의료 AI 모델이 이미지 우측 상단의 주석(글씨)을 힐끔거리며 예측 결과를 내놓는 편향(Bias)이 발견되었습니다.
  • 해결 및 증명 방식: 연구진은 주석이 있는 미세한 영역에 인페인팅 기술을 적용해 글씨를 완전히 지워버리고 주변 배경(환자의 어깨뼈나 빈 허공 텍스처)으로 감쪽같이 메워버렸습니다.
  • 결과 검증: 글자가 인페인팅으로 지워지자, 그간 글자만 뚫어지게 보던 편향된 헤드(L8H10)의 어텐션이 비로소 정상적인 폐 영역으로 돌아왔습니다. 즉, “모델이 글자라는 콘텐츠를 보고 꼼수를 부리고 있었던 게 맞다”는 인과관계를 실험적으로 입증하기 위한 정교한 대조군 생성 도구로 인페인팅이 쓰인 것입니다.