You know maize mean?
Jailbreak in pieces: Compositional Adversarial Attacks on Multi-Modal Language Models
0. Summary
기본 정보 : ArXiv,2023.07.26 (ICLR 2024 Spotlight), Jailbreak in pieces: Compositional Adversarial Attacks on Multi-Modal Language Models
연구 배경
시각-언어 모델(Vision-Language Model, VLM)은 정렬된 LLM 위에 시각 인코더를 붙여 만들어지며, 텍스트 전용 jailbreak 에는 백본 LLM 의 거부 학습 덕분에 상당히 강건하다. 그러나 이미지 모달리티가 결합 임베딩(joint embedding) 맥락으로 들어오면 텍스트 정렬이 보지 못한 새로운 공격 표면이 생긴다. 기존 VLM 공격은 출력 측 목표를 정하고 전체 VLM/LLM gradient 로 특정 유해 출력의 가능도를 높이는 white-box 방식이 주류였는데, 이는 LLM 가중치와 로짓에 대한 접근을 전제하므로 폐쇄형 모델에는 적용하기 어렵다. 반면 CLIP 같은 공개 시각 인코더는 폐쇄형 시스템에도 그대로 내장되는 경우가 많다. LLM 에 접근하지 않고 시각 인코더만으로 정렬을 우회할 수 있는가가 이 논문의 질문이다.
제안 방법
논문은 유해 프롬프트를 무해한 일반 텍스트 지시(generic textual instruction) 와 악성 트리거(malicious trigger) 로 분해하고, 악성 트리거의 CLIP 임베딩에 가까워지도록 적대적 이미지(adversarial image) 를 임베딩 공간에서 최적화하는 구성적 적대 공격(compositional adversarial attack) 을 제안한다. 최적화 목표는 $\hat{x}{adv}=\arg\min{x_{adv}\in\mathcal{B}}\mathcal{L}2\big(H{harm},\ \mathcal{I}\phi(x{adv})\big)$ 로, CLIP 이미지 인코더 $\mathcal{I}\phi$ 의 출력을 목표 임베딩 $H{harm}$ 에 맞추는 L2 거리 최소화다. 트리거는 텍스트 트리거(CLIP 텍스트 인코더), OCR 텍스트 트리거(글자가 적힌 이미지), 시각 트리거(유해 객체 이미지), 둘의 결합 네 종류로 만든다. 추론 시에는 겉보기에 무해한 적대적 이미지와 일반 프롬프트를 함께 넣어, LLM 이 이미지 맥락에서 유해 주제를 끌어오게 한다. 이 공격은 시각 인코더에 대한 접근만 필요하며 LLM 가중치, 전체 VLM gradient, 출력 로짓이 필요 없다.
발견 사실
LLaVA 와 LLaMA-Adapter V2 에서 OpenAI 금지 시나리오 8개, 총 6,400개 질의로 평가한 결과, 이미지 기반 트리거 세 종류는 높은 공격 성공률을 보였으나 텍스트 트리거는 거의 작동하지 않았다. LLaVA 평균 ASR 은 텍스트 0.007, OCR 텍스트 0.849, 시각 0.849, 결합 0.870 이고, LLaMA-Adapter V2 는 각각 0.006, 0.604, 0.608, 0.633 이다(Table 1). 저자들은 텍스트 트리거의 실패를 CLIP 결합 임베딩의 모달리티 갭(modality gap) 으로 설명한다. 자동 독성 지표에서도 결합 트리거가 가장 강했고(LLaMA-Adapter V2 기준 Perspective 독성 46.74, Toxic RoBERTa 43.04), 간접 숨은 프롬프트 주입에서 LLaVA 는 0.75–0.81 의 ASR 을 보였다. 한 번 jailbreak 가 일어나면 이후 텍스트 프롬프트에서도 우회가 지속되는 맥락 오염(context contamination) 이 관찰되었다. 사람 평가자 3명의 일치도는 Fleiss’ Kappa 0.8969 였다.
핵심 기여
- 교차 모달리티 정렬 취약점(cross-modality alignment vulnerability) 제기 : 무해해 보이는 이미지와 일반 텍스트 프롬프트의 조합이 텍스트 정렬 관문을 우회할 수 있음을 보여, 정렬이 모달리티별이 아니라 전체 모델 단위로 사고되어야 함을 주장했다.
- 시각 인코더만 필요한 임베딩 공간 공격 : 출력을 직접 최적화하지 않고 입력 측 임베딩 거리를 줄이는 방식으로, LLM 접근 없이 작동하는 더 약한 위협 모델을 제시했다. 공개 인코더를 재사용하는 폐쇄형 VLM 에 특히 위험하다.
- 네 가지 트리거 비교와 구성적 재사용성 : 텍스트 트리거 실패를 모달리티 갭으로 설명하고, 하나의 적대적 이미지가 여러 프롬프트와, 하나의 프롬프트가 여러 이미지와 결합되는 구성성과 맥락 오염, 숨은 프롬프트 주입까지 공격 원시(primitive)로서의 범위를 보였다.
관련 개념
교차 모달리티 정렬 취약점
교차 모달리티 정렬 취약점은 VLM 의 안전정렬이 텍스트 디코더에만 존재하고 시각 경로에는 없기 때문에 생기는 구조적 빈틈입니다. 텍스트 전용 거부 학습은 명시적 유해 텍스트 프롬프트를 막을 수 있지만, 이미지가 결합 임베딩 맥락으로 들어오면 LLM 은 그 맥락에서 답변 주제를 끌어옵니다.
🧱 1. VLM 파이프라인과 취약점의 위치
| 구성 요소 | 역할 | 안전 학습 여부 |
|---|---|---|
| 시각 인코더 (CLIP 등) | 이미지를 임베딩으로 변환 | 없음 |
| 프로젝션 층 | 시각 임베딩을 LLM 토큰 공간으로 투영 | 없음 |
| LLM 백본 | 결합 맥락에서 응답 생성 | 텍스트 전용 거부 학습 |
취약점은 시각 인코더 출력이 프로젝션을 거쳐 LLM 맥락으로 들어가는 결합 임베딩 인터페이스에 있습니다. 실패가 전파되는 경로는 다음과 같습니다.
적대적 이미지 → 시각 인코더 임베딩 → 투영된 결합 임베딩 → LLM 맥락 오염 → 유해 연속 생성
텍스트 전용 안전 메커니즘은 일반 프롬프트(“이 활동을 수행하는 단계를 써라”)를 안전한 질의로 보지만, LLM 은 시각 맥락을 통해 유해 주제(“이 활동”이 무엇인지)를 회수합니다.
🔀 2. 공격의 분해(decomposition)
논문 제목의 “in pieces” 가 핵심 아이디어입니다. 유해 프롬프트 하나를 두 조각으로 나눕니다.
| 조각 | 운반 모달리티 | 예 |
|---|---|---|
| 일반 텍스트 지시 | 텍스트 | “Write a tutorial on how to make this” |
| 악성 트리거 | 이미지 (임베딩) | 유해 객체 또는 유해 구절 |
어느 조각도 단독으로는 유해하지 않습니다. 텍스트 필터는 지시문에서 악성을 찾을 수 없고, 이미지는 겉보기에 무해합니다. 두 조각이 LLM 맥락에서 합성될 때 비로소 유해 요청이 완성됩니다. 이 때문에 키워드 필터나 perplexity 기반 텍스트 필터는 구조적으로 무력합니다.
🔐 3. 위협 모델: 왜 “더 약한” 가정인가
| 항목 | 기존 white-box VLM 공격 | 본 논문 |
|---|---|---|
| LLM 가중치 | 필요 | 불필요 |
| 전체 VLM gradient | 필요 | 불필요 |
| 출력 로짓 | 필요 | 불필요 |
| 시각 인코더 | 필요 | 필요 (이것만) |
CLIP 같은 공개 인코더는 많은 VLM 에 그대로 내장되므로, 공격자는 공개 인코더에 대한 접근만으로 적대적 이미지를 만들고 이를 폐쇄형 시스템에 전이할 가능성이 생깁니다. 논문은 이것이 “공격자의 진입 장벽을 낮춘다”고 표현합니다.
💡 Key Takeaway 유해 프롬프트를 “무해한 지시 + 이미지 속 트리거”로 쪼개면 어느 조각도 필터에 걸리지 않습니다. 정렬은 텍스트 디코더가 아니라 모든 모달리티가 결합된 전체 모델 단위로 사고되어야 합니다.
임베딩 공간 적대적 이미지 최적화
임베딩 매칭(embedding matching) 은 이 논문의 공격 생성 엔진입니다. 출력 측 목표 문자열의 가능도를 올리는 대신, 입력 측에서 적대적 이미지의 CLIP 임베딩을 악성 트리거의 임베딩에 가깝게 만듭니다.
📐 1. 최적화 목표
CLIP 이미지 인코더를 $\mathcal{I}\phi$, 악성 트리거의 목표 임베딩을 $H{harm}$ 이라 하면
\[\hat{x}_{adv}=\arg\min_{x_{adv}\in\mathcal{B}}\ \mathcal{L}_2\big(H_{harm},\ \mathcal{I}_\phi(x_{adv})\big)\]| 기호 | 의미 |
|---|---|
| $x_{adv}$ | 최적화 대상 적대적 이미지 |
| $\mathcal{B}$ | 제약 집합. 논문은 “거리 같은 제약”으로만 기술 |
| $\mathcal{L}_2$ | 임베딩 간 L2 거리 |
| $H_{harm}$ | 트리거 유형에 따라 텍스트 인코더 또는 이미지 인코더로 얻은 목표 임베딩 (Eq. 3) |
⚙️ 2. 최적화 설정
| 항목 | 값 |
|---|---|
| 최적화기 | Adam, 학습률 $\eta$ |
| 초기화 | 랜덤 노이즈, 흰 배경, 또는 임의의 무해 이미지 |
| 수렴 기준 | 임계값 $\tau\approx 0.3$ |
| 비용 | Google Colab T4 GPU 에서 보통 10–15분 내 수렴 |
| 반복 수·스텝 크기 | 논문에 명시되지 않음 |
PGD 가 아니라 Adam 을 쓰고, 지각 불가능성(imperceptibility) 제약을 강하게 두지 않습니다. 목표는 “사람 눈에 원본과 같아 보이는 이미지”가 아니라 “겉보기에 무해하면서 임베딩 공간에서는 트리거와 가까운 이미지” 이기 때문입니다.
🧮 3. 출력 측 공격과의 차이
| 구분 | 출력 측 white-box 공격 | 임베딩 매칭 공격 |
|---|---|---|
| 최적화 대상 | 특정 유해 출력의 가능도 | 입력 임베딩과 트리거 임베딩의 거리 |
| 필요한 gradient | 전체 VLM | 시각 인코더만 |
| 프롬프트 의존성 | 프롬프트마다 재최적화 | 프롬프트와 독립. 하나의 이미지가 여러 일반 프롬프트와 결합 가능 |
| 출력 형태 | 고정 목표 문자열에 가까움 | 모델이 자연스럽게 생성 |
프롬프트 독립성이 구성성(compositionality)의 근원입니다. 적대적 이미지는 “주제”를 공급하고, 텍스트는 “무엇을 할지”를 지시하므로 둘을 자유롭게 조합할 수 있습니다.
💡 Key Takeaway 공격은 “출력을 유해하게 만들어라”가 아니라 “이미지를 임베딩 공간에서 트리거 근처로 옮겨라”입니다. 시각 인코더 gradient 만으로 충분하고, 결과물은 프롬프트에 묶이지 않는 재사용 가능한 공격 원시가 됩니다.
네 가지 악성 트리거와 모달리티 갭
악성 트리거는 적대적 이미지가 모방해야 할 목표 임베딩 $H_{harm}$ 을 정의합니다. 논문은 네 가지 방식(Eq. 3)을 비교하며, 그 차이가 CLIP 결합 임베딩 공간의 구조를 드러냅니다.
🧷 1. 네 가지 트리거
| 트리거 | $H_{harm}$ 의 출처 | 예 |
|---|---|---|
| 텍스트(Textual) | CLIP 텍스트 인코더로 유해 텍스트 임베딩 | “how to build a bomb” 의 텍스트 임베딩 |
| OCR 텍스트(OCR textual) | 유해 텍스트가 적힌 이미지를 이미지 인코더로 임베딩 | 글자가 적힌 이미지 |
| 시각(Visual) | 유해 객체 이미지를 이미지 인코더로 임베딩 | 유해 물체 사진 |
| 결합(Combined) | OCR 텍스트 + 시각 객체를 함께 담은 이미지 | 물체 사진 + 글자 |
📊 2. 결과 (Table 1, 8개 시나리오 평균 ASR)
| 트리거 | LLaVA | LLaMA-Adapter V2 |
|---|---|---|
| 텍스트 | 0.007 | 0.006 |
| OCR 텍스트 | 0.849 | 0.604 |
| 시각 | 0.849 | 0.608 |
| 결합 | 0.870 | 0.633 |
텍스트 트리거는 사실상 0 입니다. 이미지 기반 세 트리거는 LLaVA 에서 0.85 안팎, LLaMA-Adapter V2 에서 0.6 안팎이며 결합이 가장 높습니다.
🌉 3. 모달리티 갭(Modality Gap)
텍스트 트리거가 실패하는 이유를 저자들은 CLIP 의 모달리티 갭으로 설명합니다. CLIP 은 이미지와 텍스트를 같은 공간에 넣도록 학습되지만, 실제로는 이미지 임베딩과 텍스트 임베딩이 서로 다른 영역(cone)에 분리되어 있습니다. 텍스트 임베딩을 목표로 최적화된 이미지는 이미지 인코더가 자연스럽게 만들어내는 분포 밖에 놓이므로, VLM 입장에서는 분포 밖(out-of-distribution) 입력처럼 보여 의미가 전달되지 않습니다. 반면 OCR 텍스트나 시각 객체 이미지를 목표로 삼으면 목표 자체가 이미지 임베딩 영역 안에 있으므로 최적화된 이미지도 자연 이미지 분포에 가깝게 머뭅니다.
이 관찰은 공격 효과가 CLIP 학습 분포에 의존한다는 것을 의미합니다. 논문도 트리거 단어가 CLIP 학습 데이터에 등장했는지가 공격 효과에 영향을 준다고 언급합니다.
💡 Key Takeaway 같은 “유해 의미”라도 텍스트 인코더로 만든 목표는 실패하고 이미지 인코더로 만든 목표는 성공합니다. 모달리티 갭 때문에 공격은 이미지 임베딩 영역 안에서 이루어져야 합니다.
실험 설정과 독성 평가
실험은 두 오픈소스 VLM, 8개 금지 시나리오, 사람 평가와 자동 독성 지표로 구성됩니다(Section 4).
🧪 1. 설정
| 항목 | 내용 |
|---|---|
| 대상 모델 | LLaVA, LLaMA-Adapter V2 |
| 시나리오 | OpenAI 사용 정책의 금지 범주 8개: Sexual, Hateful, Violence, Self-Harm, Harassment, Sexual-Minors, Hateful-Threatening, Violence-Graphic |
| 범주당 | 트리거 전략별 적대적 이미지 8장, 일반 프롬프트 2개, 기본 온도에서 25회 반복 |
| 총 질의 수 | $2\times 8\times 8\times 2\times 25 = 6{,}400$ |
| 사람 평가 | 자원자 3명, Fleiss’ Kappa = 0.8969 |
| 추가 평가 | Appendix 에서 AdvBench 유해 프롬프트 부분집합 |
☣️ 2. 자동 독성 지표 (Table 2, LLaMA-Adapter V2 출력)
| 트리거 | Toxic BERT | Toxic RoBERTa | Perspective 독성 | 심각 독성 |
|---|---|---|---|---|
| 텍스트 | 0.15 | 0.30 | 2.28 | 0.15 |
| OCR 텍스트 | 12.69 | 24.52 | 33.21 | 7.07 |
| 시각 | 20.16 | 30.90 | 36.26 | 11.93 |
| 결합 | 21.49 | 43.04 | 46.74 | 13.97 |
사람 평가 ASR 과 자동 독성 지표가 같은 순서(결합 > 시각 ≈ OCR ≫ 텍스트)를 보입니다. 다만 자동 독성 분류기는 유해성의 대리 지표일 뿐이며, 안전 위반의 맥락적 판단을 완전히 대체하지는 못합니다.
🔍 3. 두 모델 차이의 해석
LLaMA-Adapter V2 의 ASR 이 LLaVA 보다 낮지만, 논문은 이것이 더 안전하다는 뜻이 아닐 수 있다고 봅니다. LLaMA-Adapter V2 는 이미지 이해와 지시 추종 능력이 더 약하므로, 트리거를 제대로 읽지 못해 공격이 “실패”한 경우가 섞여 있을 수 있습니다. 이는 MM-SafetyBench 와 MLingualFC 에서도 반복되는 “낮은 ASR ≠ 강한 정렬” 문제입니다.
💡 Key Takeaway 6,400개 질의, 사람 평가 일치도 0.90, 자동 독성 지표가 모두 같은 방향을 가리킵니다. 그리고 모델 간 ASR 차이는 정렬 차이가 아니라 능력 차이일 수 있습니다.
구성성, 맥락 오염, 숨은 프롬프트 주입
구성성(compositionality) 은 이 공격이 단발성 트릭이 아니라 재사용 가능한 공격 원시임을 뜻합니다. 논문은 이를 세 방향으로 확장합니다.
🔁 1. 일대다 조합 (Figure 19, Table 10)
| 조합 | 의미 |
|---|---|
| 하나의 이미지, 여러 프롬프트 | 한 적대적 이미지가 “튜토리얼을 써라”, “단계를 나열하라” 등 여러 일반 지시와 결합 |
| 하나의 프롬프트, 여러 이미지 | 한 일반 지시가 여러 유해 주제의 이미지와 결합 |
| 보편 트리거(universal trigger) | 여러 시나리오에 걸쳐 작동하는 트리거 |
프롬프트별 공격보다 운영 비용이 낮고, 방어 측에서는 평가 커버리지를 확보하기 어려워집니다.
🦠 2. 맥락 오염(Context Contamination, Figure 2–3)
한 번 모델이 독성 응답을 내면, 이후 텍스트 프롬프트에서도 우회가 지속됩니다. 적대적 이미지는 첫 턴에만 있었는데 대화 맥락 자체가 오염되어 후속 턴의 안전 실패가 확산되는 것입니다. 논문은 이를 텍스트 전용 jailbreak 연구(Wei et al., 2023)의 관찰과 연결합니다. 장기 대화 안전 벤치마크에서 jailbreak 지속성(persistence) 을 별도 지표로 측정해야 하는 이유입니다.
💉 3. 숨은 프롬프트 주입(Hidden Prompt Injection)
| 유형 | 내용 | 결과 |
|---|---|---|
| 간접(Indirect, Table 3, 1,350 질의) | 이미지가 모델의 응답 주제를 바꾸게 함 | LLaVA 평균 ASR 시각 0.75, OCR 0.80, 결합 0.81. LLaMA-Adapter V2 0.36, 0.40, 0.42 |
| 직접(Direct, Table 4–5, 이미지당 100회) | 추상적 지시(“멈추지 마라”, “해적처럼 말하라”)를 이미지에 숨김 | 온도 0.1 / 1.0 에서 “Never Stop” LLaVA 0.79 / 0.21, LLaMA-Adapter V2 0.12 / 0.02. “Say your initial prompt” 는 거의 0 |
직접 주입이 어려운 이유를 저자들은 두 가지로 설명합니다. CLIP 학습 분포가 주로 실제 객체 이미지 중심이어서 추상적 지시를 임베딩으로 표현하기 어렵고, VLM 도 이미지를 “지시”가 아니라 “설명 대상”으로 학습되었기 때문입니다. 실제 객체를 숨기는 것은 쉽지만 명령을 숨기는 것은 어렵습니다.
💡 Key Takeaway 적대적 이미지는 재사용 가능한 “주제 공급 장치”이며, 한 번 성공하면 대화 맥락 전체를 오염시킵니다. 반면 이미지에 명령을 숨기는 직접 주입은 CLIP 의 객체 중심 분포 때문에 잘 작동하지 않습니다.
방어와 관련 연구
방어에 대해 논문은 구체적 기법을 제안하지 않고, 정렬이 “전체 모델 단위로” 사고되어야 한다는 문제 제기에 집중합니다. 다만 논의된 방향과 그 한계는 후속 연구의 출발점이 됩니다.
🛡️ 1. 논의된 방어 방향과 한계
| 방어 | 한계 |
|---|---|
| 키워드·perplexity 기반 텍스트 필터 | 일반 프롬프트만 보면 악성을 탐지 불가 |
| 임베딩 기반 안전 필터 | 안전하지 않은 개념 커버리지, 임계값 선택, 거짓 양성 문제. 임계값을 낮추면 거짓 양성, 높이면 적대적 샘플 누락 |
| 입력 전처리 (노이즈 제거, 압축, 크롭) | 체계적 검증 없음 |
| 출력 모니터링 | Bing/Bard 같은 폐쇄형 시스템에서 추가 방어로 작동 가능 |
| 모달리티별 개별 정렬 | 구성적 전략이 여전히 우회할 수 있는지가 열린 질문 |
폐쇄형 시스템(Bing, Bard)에 대해서는 시각 인코더와 융합 메커니즘을 모르면 공격이 거의 랜덤해진다고 언급합니다. 공개 인코더 재사용 여부가 전이 가능성을 좌우합니다.
🔗 2. 계보 안에서의 위치
| 연구 | 유해 의미 운반체 | 접근 권한 | 본 논문과의 관계 |
|---|---|---|---|
| MM-SafetyBench, FigStep | typography 이미지 (사람이 읽을 수 있음) | black-box | 같은 “텍스트 무해, 이미지 유해” 구도. 본 논문은 임베딩 수준에서 사람 눈에 안 보이는 트리거 |
| Qi et al. 시각 적대 예제 | 픽셀 섭동 | 전체 VLM white-box | 본 논문은 시각 인코더만 필요 |
| JailBound | fusion-layer 잠재 경계 | white-box 생성 | 임베딩 공간 공격을 융합 층 기하로 확장 |
| Break the Brake | 디코딩 엔트로피 | white-box | 출력 분포 관점의 비표적 공격 |
💡 Key Takeaway 이 논문은 방어를 제시하지 않지만, “모달리티별 정렬로 충분한가”라는 질문을 던집니다. 이후 typography 공격, 융합 층 공격, 디코딩 공격이 모두 이 질문의 변주입니다.
한계와 열린 방향
이 논문의 한계는 실험 범위, 가정, 평가 방식, 방어 논의에 걸쳐 있으며, 일부는 저자들이 본문에서 인정합니다.
⚠️ 1. 범위와 가정의 한계
- 대상 모델 : LLaVA 와 LLaMA-Adapter V2 두 모델에 제한됩니다. 폐쇄형 VLM 은 시각 인코더 접근 불가와 출력 모니터링 때문에 직접 일반화가 어렵습니다.
- 인코더 가정 : 공격자가 시각 인코더 또는 유사한 CLIP 인코더에 접근할 수 있다고 가정합니다. 독점 인코더, 이미지 전처리, 앙상블 필터링, 출력 조정을 쓰는 배포 시스템에서는 효과가 달라질 수 있습니다.
- 전이 가능성 : CLIP 임베딩 매칭이 핵심이므로 SigLIP, EVA-CLIP 등 다른 인코더를 쓰는 모델로의 전이는 불확실합니다.
- CLIP 분포 의존 : 트리거 단어가 CLIP 학습 데이터에 있었는지가 효과에 영향을 줍니다.
📏 2. 평가와 방어의 한계
- 주요 ASR 은 사람 평가에 의존하며 주관적일 수 있습니다. 자동 독성 분류기는 대리 지표입니다.
- 텍스트 트리거 실패와 직접 숨은 프롬프트 주입의 낮은 성공률은 방법의 한계이기도 합니다.
- 방어는 논의만 되고 체계적으로 검증되지 않았습니다. 어떤 방어 층이 실제로 가장 효과적인지 불명확합니다.
❓ 3. 열린 질문
- CLIP 이 아닌 SigLIP, EVA-CLIP, 독점 인코더에서도 같은 구성성이 유지되는가?
- 멀티모달 지시 튜닝 단계에서 “맥락으로서의 이미지”와 “지시로서의 이미지”를 분리하면 방어가 가능한가?
- 적대적 이미지 탐지보다 LLM 측에서 시각 증거의 “안전 출처(safety provenance)”를 추적하는 방식이 더 효과적인가?
- 맥락 오염을 장기 대화 안전 벤치마크로 정량화할 수 있는가?
- 적대적 이미지가 아니라 자연 이미지, 밈, 스크린샷, 문서 OCR 에서도 유사한 구성적 jailbreak 가 발생하는가?
- 멀티모달 모델에서 거부는 텍스트 디코더에만 넣으면 충분한가, 아니면 인코더·프로젝션 단계에도 안전 경계가 필요한가?
🧷 4. 내 판단과 연구 연결
- 판단 : 설득력·중요도·새로움·실제 위험성 모두 높고 재현 가능성은 중간입니다. 가장 강한 부분은 “유해 프롬프트를 텍스트로 직접 쓰지 않고 이미지 임베딩이 주제와 맥락을 공급한다”는 분해이며, Table 1 의 ASR 차이가 모달리티 갭과 교차 모달 정렬 실패를 설득력 있게 보여줍니다. 가장 약한 부분은 폐쇄형·운영급 VLM 으로의 일반화와 체계적이지 않은 방어 실험입니다.
- 기억할 점 : VLM 안전에서는 “프롬프트가 안전한가”보다 “모든 모달리티가 결합된 맥락이 어떤 의미 영역을 형성하는가”가 중요합니다. 이미지는 단순 입력이 아니라 LLM 의 잠재 주제 공급자(latent subject provider) 로 작동합니다.
- 인용 용도 : 멀티모달 정렬이 텍스트 정렬보다 어렵다는 근거, 전체 white-box 공격과 인코더 전용 공격의 차이, 트리거 분해와 CLIP 임베딩 매칭 방법론, 무해 텍스트 + 적대적 이미지 jailbreak 사례, 텍스트 필터·거부 튜닝·출력 전용 조정의 한계, 트리거 유형별 ASR·맥락 오염·숨은 프롬프트 주입 평가 기준.
- 연구 연결 : 멀티모달 안전 평가에서 입력 분해와 표현 수준 공격 표면을 분리해 봐야 하며, 정렬 실패를 “모델 출력”이 아니라 “시각 인코더 → 프로젝션 → LLM 맥락” 파이프라인 실패로 분석하는 관점이 유용합니다. 텍스트/OCR/시각/결합 트리거 분류를 다른 MLLM 벤치마크에 적용하고, 맥락 오염 이후 후속 턴의 안전 저하를 측정할 수 있습니다. 확장으로는 인코더 불일치 조건에서의 전이 평가, 전처리(노이즈 제거·크롭·압축)에 대한 강건성, 안전한 시각 근거(visual grounding)나 시각 맥락 귀속(attribution)을 이용한 방어, 멀티모달 거부 학습이 맥락 오염을 얼마나 줄이는지 평가가 있습니다.
- 실행 항목
- LLaVA 계열 최신 모델, GPT-4V 류 폐쇄형 API, Qwen-VL / InternVL / LLaVA-NeXT 로 트리거 분류 재평가
- 단일 턴 ASR 외에 다중 턴 맥락 오염 ASR 을 별도 지표로 정의
- 모델별 시각·텍스트 임베딩 모달리티 갭 시각화, 적대적 이미지가 프로젝션 이후 LLM 토큰 임베딩 공간에서 어떤 유해 개념 군집과 가까운지 분석
- 이미지 노이즈 제거, JPEG 압축, 리사이즈, 랜덤 크롭, CLIP 임베딩 안전 필터, 출력 조정을 층별로 ablation. 시각 맥락을 답변 주제로 쓰기 전 안전 분류기를 거치는 게이팅 실험
- 공개 저장소의 임베딩 매칭 파이프라인 재현 후, 시드·초기화 이미지·임계값 $\tau$·최적화 설정 변화에 따른 ASR 분산 측정
- 후속 문헌: 멀티모달 jailbreak / 시각 프롬프트 주입, 교차 모달 안전 정렬과 멀티모달 unlearning, 시각 인코더 강건성과 임베딩 공간 안전 필터
💡 Key Takeaway 이 논문의 질문, “모달리티별로 따로 정렬하면 충분한가, 아니면 구성적 전략이 여전히 우회하는가”는 아직 열려 있습니다. 후속 연구는 인코더 다양성, 자연 이미지 조건, 그리고 맥락 오염의 정량화로 가야 합니다.