0. Summary

기본 정보 : ArXiv,2026.09.01, DIVA: Exploiting Cross-Step Conditional Propagation for Visual Jailbreaks in Discrete Diffusion Vision-Language Models

연구 배경

시각 jailbreak 연구는 지금까지 거의 전부 자기회귀(autoregressive, AR) VLM 을 대상으로 해 왔다. AR 구조에서는 이미지가 한 번 인코딩되어 고정된 시각 prefix 로 들어간 뒤, 이후 토큰 생성은 그 prefix 를 참조하는 방식으로 진행된다. 그런데 최근 LLaDA-V, MMaDA, LLaDA2.0-Uni 같은 이산 확산(discrete diffusion) VLM(dVLM) 이 등장했다. 이 모델들은 좌→우 예측 대신 마스킹된 토큰을 여러 단계에 걸쳐 반복적으로 복원(denoising) 하면서 응답을 생성한다. 저자들은 이 구조적 차이가 안전성 측면에서 질적으로 다른 공격 표면을 만든다고 본다. dVLM 에서는 시각 임베딩이 모든 역방향 denoising 단계에 조건으로 다시 들어가기 때문에, 이미지에 실린 유해 의미가 한 번 주입되고 끝나는 것이 아니라 생성 궤적 전체에 걸쳐 반복 전파·증폭될 수 있다는 것이다. 텍스트 전용 확산 LLM 의 jailbreak(DIJA, PAD 등)는 연구되기 시작했지만, dVLM 의 시각 채널 취약성은 공백으로 남아 있었다.

제안 방법

논문은 먼저 위 현상을 cross-step conditional propagation(단계 간 조건 전파) 이라 이름 붙이고, 이것이 AR VLM 에는 없는 dVLM 고유의 성질임을 행동 수준 진단으로 보인다. 같은 조건에서 LLaDA-V(dVLM)와 LLaVA-1.5(ARM)를 비교하며, denoising 구간 일부에만 개입했을 때 결과가 얼마나 달라지는지를 stage-sensitivity index(SSI), 프롬프트 수준 switch rate, denoising-bin 쌍 간 불일치, early-only advantage 네 지표로 측정하고 부트스트랩으로 신뢰구간을 구한다. 이어서 이 성질을 겨냥한 white-box 시각 jailbreak 프레임워크 DIVA(Discrete-diffusion Vision-language model Attack) 를 제안한다. DIVA 는 두 단계로 구성된다. 첫째, cross-modal intent obfuscation 은 명시적으로 유해한 텍스트 질의를 겉보기에 무해한 “시각적으로 근거를 둔” 프롬프트로 바꾸고, 제거된 유해 의미를 합성 이미지 쪽으로 옮겨 텍스트 측 필터의 탐지 가능성을 낮춘다. 둘째, diffusion-aware adversarial optimization 은 단일 디코딩 상태가 아니라 여러 denoising 시점에 걸쳐 양방향 마스크 복원 과정을 통과하는 경사를 이용해, 다양한 denoising 상태에서 유해성이 유지되도록 제한된 크기의 픽셀 섭동을 학습한다. 섭동은 질의마다가 아니라 모델 × 유해 카테고리 단위로 오프라인에서 만들어 둔다.

발견 사실

HADES 벤치마크에서 Beaver reward-model 평가 기준으로 DIVA 는 LLaDA-V 58.8%, MMaDA 67.7%, LLaDA2.0-Uni 69.1% 의 평균 ASR 을 기록해, AR 모델용으로 설계된 DIJA·PAD 를 세 모델 모두에서 앞섰다. 다만 통계적 강건성은 모델마다 달랐다. MMaDA 에서는 base, DIJA, PAD 대비 모두 유의(paired McNemar, $p<10^{-3}$)했고 LLaDA2.0-Uni 에서도 두 비율 검정에서 매우 유의했지만, LLaDA-V 에서는 전체 비교가 유의하지 않았다($p=0.156$, $0.161$). Financial·Self-Harm 에서의 이득이 Animal·Privacy 에서의 손실로 상쇄되었기 때문이다. 최적화에 쓰지 않은 VLSBench 에서도 DIVA 가 LLaDA-V 52.07%, MMaDA 74.16% 로 가장 높은 ASR 을 보였다. 메커니즘 진단에서는 dVLM 과 ARM 사이에 7–9배 격차 가 나타났다. SSI 12.00% 대 1.33%, switch rate 18.67% 대 2.67%, early-only advantage 10.67% 대 1.33% 였고, 모든 격차는 $p<0.01$ 에서 유의했다. 같은 섭동이 LLaDA-V 에서는 image-only 대비 +7.73pp 의 이득을 주지만 LLaVA-1.5 에서는 오히려 -6.13pp 였다(이미 96% 로 포화). 요소 제거 실험에서는 intent obfuscation 만으로 ASR 이 32.93%→41.00% 로 오르고, 무작위 섭동은 44.53% 에 그친 반면 최적화된 섭동이 가장 컸다. 평가자 교체(StrongREJECT)와 임계값 변화(0.3–0.7)에서도 방법 간 순위는 유지되었다.

핵심 기여

  1. dVLM 을 겨냥한 첫 시각 jailbreak 프레임워크 : 지금까지 안전성 평가에서 빠져 있던 이산 확산 VLM 계열에 대해, 세 모델과 두 벤치마크에 걸친 체계적 취약성 평가를 제공했다.
  2. cross-step conditional propagation 의 식별과 실증 : 시각 임베딩이 매 denoising 단계에 재조건화된다는 구조적 사실로부터 “유해 시각 의미가 단계 간 보존·변형·누적된다”는 메커니즘을 제시하고, 네 가지 stage-sensitivity 지표로 AR 모델과의 차이를 통계적으로 확인했다.
  3. 확산 과정을 고려한 적대적 최적화 : 단일 디코딩 상태가 아니라 여러 시점의 마스크 복원 과정을 통과하는 경사를 써서 다단계 전파 경로 전체를 겨냥하는 최적화 전략을 제시하고, 요소 제거 실험으로 무작위·셔플 섭동 대비 효과를 분리해 보였다.

Abstract 쉬운 설명(Gemini)

📌 핵심 요약 (Key Takeaway)

이 논문은 ‘조각가처럼 문장을 다듬어 만드는 최신 이미지·언어 AI(확산 모델)’가 왜 ‘조작된 이미지 한 장’에 쉽게 속아 위험한 답변을 내놓는지(탈옥) 그 구조적 허점을 최초로 밝혀내고, 이를 검증한 연구입니다.

🧩 1. 기본 배경: AI가 글을 쓰는 두 가지 방식

우리가 흔히 쓰는 챗GPT 같은 기존 AI와 이 논문이 다루는 새로운 AI는 답변을 만드는 방식이 완전히 다릅니다.

구분 기존 AI (자기회귀 모델) 새로운 AI (확산 기반 모델, dVLM)
비유 타자기로 한 글자씩 치는 작가 진흙 덩어리를 여러 번 다듬는 조각가
작동 방식 앞에서부터 단어를 하나씩 순서대로 이어 쓰며 문장을 완성합니다. 처음엔 흐릿한 전체 문장(노이즈)을 만들어 두고, 수십 번에 걸쳐 반복해서 다듬으며 선명한 답변을 완성합니다.
이미지를 보는 법 글을 쓰기 전, 맨 처음에 사진을 한 번 쓱 보고 글쓰기를 시작합니다. 진흙을 다듬는 매 순간(매 단계)마다 사진을 계속 다시 쳐다보며 작업을 진행합니다.

⚠️ 2. 이 논문이 발견한 치명적 약점: “볼 때마다 더 깊게 세뇌된다”

AI에게는 원래 폭력적이거나 불법적인 질문에 대답하지 못하도록 ‘안전장치’가 걸려 있습니다. 해커들은 이 안전장치를 뚫고 금지된 답변을 끌어내는 것을 ‘탈옥(Jailbreak)’이라고 부릅니다.

이 논문은 ‘조각가 스타일의 새로운 AI(dVLM)’만이 가진 치명적인 약점을 발견했습니다.

단계 무엇이 일어나는가? (단계 간 조건부 전파 현상)
1단계: 속임수 사진 입력 해커가 사람 눈에는 평범해 보이지만, AI에게만 보이는 ‘나쁜 최면 신호(적대적 노이즈)’를 미세하게 섞은 사진을 AI에게 보여줍니다.
2단계: 반복적인 노출 기존 AI는 사진을 처음에 한 번만 보지만, 새로운 AI는 답변을 다듬는 수십 번의 단계마다 그 최면 사진을 계속해서 반복적으로 쳐다봅니다.
3단계: 눈덩이처럼 커지는 최면 처음엔 미세했던 최면 신호가, AI가 사진을 다시 볼 때마다 눈덩이처럼 점점 증폭됩니다. 결국 답변을 다듬는 도중에 AI의 안전장치가 완전히 풀려버립니다.

논문에서 어렵게 표현한 ‘단계 간 조건부 전파(Cross-Step Conditional Propagation)’가 바로 이 “단계를 거듭할수록 사진 속 나쁜 신호가 계속 전달되고 강해지는 현상”을 뜻합니다.

🛠️ 3. 연구진이 만든 창(공격 기술): DIVA

연구진은 이 약점이 실제로 얼마나 위험한지 증명하기 위해 ‘DIVA’라는 새로운 해킹(탈옥) 기법을 만들었습니다.

핵심 전략 비전공자를 위한 쉬운 설명
의도 숨기기 (교차 모달 의도 난독화) 글자로 대놓고 “폭탄 만드는 법 알려줘”라고 하면 바로 들통나니까, 나쁜 의도를 글자와 사진 두 곳에 교묘하게 쪼개서 숨기는 기술입니다.
다단계 맞춤 최면 (다중 타임스텝 최적화) 조각가 AI가 진흙을 다듬는 초기·중기·후기 타이밍에 딱 맞춰서 최면이 가장 잘 먹히도록 사진 속 노이즈를 정밀하게 설계하는 기술입니다.

💡 4. 결과 및 왜 이 연구가 중요한가요?

연구진이 최신 확산 기반 AI 3종에 이 DIVA 기술을 써본 결과, 기존 해킹 방식보다 훨씬 높은 약 60~70%의 확률로 AI의 안전장치를 뚫는 데 성공했습니다.

  • 주의할 점 (보안적 의의): 연구진이 해킹 기술을 만든 이유는 범죄를 저지르기 위해서가 아닙니다. 새로운 방식의 AI가 세상에 널리 퍼지기 전에 “이런 심각한 구조적 구멍이 있으니, 빨리 여기에 맞는 새로운 방패(안전장치)를 만들어야 한다”고 학계와 기업에 경고를 보내기 위해서입니다.

헷갈리는 개념 : 트렌스포머 모델이 자기회기 모델인가?

📌 핵심 요약 (Key Takeaway)

“트랜스포머 모델 전체 = 자기회귀 모델”은 아닙니다.

트랜스포머는 신경망의 ‘건축 양식(기본 뼈대, 블록)’이고, 자기회귀는 그 뼈대를 가지고 글을 만들어내는 ‘행동 규칙(생성 메커니즘)’입니다.

우리가 흔히 쓰는 대부분의 LLM과 VLM은 트랜스포머의 여러 변형 중에서도 ‘다음 단어를 하나씩 이어 쓰도록 훈련된 트랜스포머(디코더 전용 트랜스포머)’를 사용하기 때문에 자기회귀 모델이라고 부르는 것입니다.

🧱 1. 개념의 차이: ‘뼈대(트랜스포머)’ vs ‘글 쓰는 규칙(자기회귀)’

두 단어가 다루는 층위가 다릅니다.

구분 트랜스포머 (Transformer) 자기회귀 (Autoregressive)
역할 건축 자재 / 설계도 건물을 짓는 순서 / 작업 방식
핵심 내용 단어 간의 관계를 계산하는 어텐션(Attention) 메커니즘으로 만든 신경망 구조입니다. 문장을 만들 때 “과거의 단어들을 바탕으로 미래의 단어 1개를 예측”하는 방식입니다.
비유 레고 블록 레고 블록을 ‘왼쪽에서 오른쪽으로 하나씩 쌓아 올리는 규칙’
  • 트랜스포머라고 해서 다 자기회귀인 것은 아닙니다:
    • 예전의 BERT: 트랜스포머로 만들어졌지만 글을 이어 쓰지 않고 문장 중간의 빈칸을 한 번에 맞추는 모델(비-자기회귀)이었습니다.
    • GPT 시리즈, LLaMA: 트랜스포머 구조를 사용하면서, 글을 쓸 때는 왼쪽에서 오른쪽으로 한 글자씩 이어 쓰는 방식(자기회귀)을 채택했습니다.

🧩 2. 말씀하신 VLM 구조에서 “자기회귀”가 어디서 일어나는가?

질문자님께서 말씀하신 VLM의 구조가 정확히 맞습니다.

“비전 인코더와 텍스트 인코더의 출력값을 합친 입력값으로 출력을 만드는 거잖아”

이 과정에서 ‘출력을 만들어내는 순간’에 자기회귀가 작동합니다. 구체적인 동작 흐름을 살펴보면 다음과 같습니다.

[이미지] ---> (비전 인코더) ---> [이미지 토큰들] \
                                                ---> [트랜스포머 백본 입력]
[텍스트] ---> (텍스트 인코더) -> [텍스트 토큰들] /

여기까지가 질문자님이 말씀하신 “합쳐진 입력값”입니다. 모델은 이 합쳐진 덩어리를 통째로 받아들입니다.

그 후 답변 문장을 뱉어낼 때의 동작:

  1. 트랜스포머는 합쳐진 입력을 보고 첫 번째 단어 “이”를 딱 하나 출력합니다.
  2. 이제 다음 단어를 만들어야 합니다. 이때 모델은 [입력값 전체 + 방금 만든 단어 "이"]를 다시 자기 자신에게 통째로 집어넣습니다.
  3. 그 결과를 바탕으로 두 번째 단어 “사진”을 출력합니다.
  4. 다시 [입력값 전체 + "이" + "사진"]을 자기 자신에게 집어넣어 “은”을 출력합니다.

이처럼 트랜스포머 백본이 문장을 한 번에 ‘통’으로 뱉어내는 것이 아니라, 자기가 방금 뱉은 단어를 다시 자기 입력으로 집어넣으면서(자기-회귀) 단어를 하나씩 생성하기 때문에 이 VLM을 “자기회귀 VLM”이라고 부릅니다.

🎨 3. 그렇다면 논문에서 말한 ‘확산(Diffusion) VLM’은 뭐가 다른가?

놀랍게도 논문에 나오는 확산 VLM(dVLM) 역시 뼈대로는 똑같이 트랜스포머(Transformer)를 사용합니다! 차이점은 트랜스포머를 굴리는 규칙에 있습니다.

구분 자기회귀 VLM (LLaVA, GPT-4o 등) 확산 VLM (LLaDA-V 등, 논문의 모델)
백본 뼈대 트랜스포머 트랜스포머
글 생성 방식 단어를 왼쪽부터 오른쪽으로 하나씩 순서대로 추가 생성 빈칸 투성이([MASK] [MASK]...) 문장을 깔아두고, 전체 문장의 노이즈를 단계별로 동시에 수정
이미지 입력 방식 맨 처음 입력할 때 한 번만 전달 트랜스포머가 문장을 다듬는 매 스텝(Denoising step)마다 이미지를 계속 다시 참조

💡 최종 정리

  • 질문자님이 말씀하신 VLM 구조(인코더 합쳐서 백본 통과)는 100% 맞습니다.
  • 다만 그 백본(트랜스포머)이 결과 문장을 출력할 때, “단어를 하나씩 이어 붙이며 자기 자신을 재귀적으로 호출하는 방식”을 쓰기 때문에 그 동작 메커니즘을 가리켜 자기회귀(Autoregressive)라고 부릅니다.

dVLM 과 BERT의 차이점

BERT(버트) 역시 문장 전체에 구멍([MASK])을 뚫어두고 이를 한 번에 채워 넣는 방식을 사용하기 때문에, “전체 문장을 깔아두고 빈칸을 채우는 dVLM(이산 확산 모델)과 버트가 뭐가 다른지” 헷갈리시는 것은 매우 당연하고 자연스러운 의문입니다.

결론부터 말씀드리면, 작동하는 ‘수학적 원리’와 ‘생성 방식의 자유도’에서 결정적인 차이가 있습니다.

이를 세 가지 핵심 차이점으로 나누어 쉽게 설명해 드리겠습니다.

📌 한 줄 요약 (Key Takeaway)

  • BERT는 단 한 번의 통과(Single-pass)로 “이미 정해진 문맥 속 빈칸에 들어갈 가장 확률 높은 단어”를 단순히 맞추는 시험지 빈칸 채우기 모델입니다.
  • dVLM(확산 VLM)은 수십 번에 걸쳐 노이즈를 걷어내는 “확산(Diffusion) 수학 공식을 따라 무(無)에서 유(有)로 새로운 답변 문장을 창조해내는” 다단계 생성 모델입니다.

🔄 1. 단 한 번의 예측 (BERT) vs 점진적인 다단계 다듬기 (dVLM)

가장 큰 차이는 문장을 완성하기 위해 “모델을 몇 번 통과시키느냐”에 있습니다.

✍️ BERT 방식 (단 한 번에 끝)

BERT는 원래 문장을 ‘생성’하기 위해 만들어진 모델이 아닙니다. 문장의 우수한 표현(Representation)을 학습하기 위해 설계되었습니다.

  • 만약 BERT에게 [MASK]가 포함된 문장을 주면, BERT는 트랜스포머 백본을 딱 한 번만 통과(1 Step)시켜서 빈칸에 들어갈 단어를 즉시 결정하고 끝냅니다.
  • 여러 개의 빈칸이 있을 때, 서로가 서로에게 미치는 영향을 고려하며 단계적으로 다듬는 기능이 없습니다.

🎨 dVLM 방식 (수십 번에 걸쳐 점진적으로 완성)

dVLM은 이미지 생성 AI인 미드저니(Midjourney)나 스테이블 디퓨전(Stable Diffusion)이 흐릿한 노이즈에서 시작해 그림을 점진적으로 완성하는 것과 똑같은 수학적 메커니즘을 텍스트에 적용합니다.

  • 처음에는 문장 전체가 완전한 빈칸(예: [MASK] [MASK] [MASK] [MASK]) 또는 무작위 노이즈 단어로 채워져 있습니다.
  • 1단계: 아주 흐릿한 단서(예: 주어 하나)를 먼저 채웁니다.
  • 2단계: 1단계 결과를 바탕으로 다른 빈칸들을 조금 더 구체화합니다.
  • 이 과정을 수십 번(예: 50~100 스텝) 반복하면서 문장을 점차 선명하고 완벽한 문장으로 깎아 나갑니다. 이를 역방향 확산(Reverse Denoising)이라고 합니다.

🎨 2. ‘빈칸 맞추기’와 ‘창조적 생성’의 차이

🧩 BERT (빈칸 맞추기)

BERT는 주변 단어들(문맥)이 완벽하게 고정되어 있을 때, 그 사이에 낄 단어를 맞추는 데 특화되어 있습니다.

  • 예: "나는 오늘 아침에 [MASK]을 먹었다." -> 문맥이 이미 완성되어 있으므로 빈칸에 들어갈 후보가 ‘밥’, ‘빵’, ‘사과’ 등으로 극히 제한됩니다.
  • 따라서 BERT는 스스로 긴 분량의 새로운 창작 글을 지어내는 ‘생성(Generation)’ 작업을 수행할 수 없습니다.

🌌 dVLM (창조적 생성)

dVLM은 아무것도 없는 백지([MASK]로 가득 찬 상태)에서 시작해 완전히 새로운 이야기를 지어낼 수 있습니다.

  • 예: "[MASK] [MASK] [MASK] [MASK] [MASK]" 상태에서 시작합니다.
  • 주변 문맥이 아예 없는 상태에서도 확산 확률 모델(Diffusion Probabilistic Model)이라는 수학적 공식에 따라, 매 단계마다 조금씩 쓸만한 단어들을 흘려 넣으며 완전히 새로운 맥락의 문장을 창조해 냅니다.

👁️ 3. 비전(이미지) 정보의 주입 방식 차이

질문하신 VLM(비전-언어 모델) 관점에서 보면 이 차이가 더욱 극명해집니다.

■ BERT 기반 VLM (예: 옛날 멀티모달 모델들)
[이미지 정보] + [글 정보] ---> (트랜스포머 백본 딱 1번 통과) ---> 빈칸 맞추기 완료!

■ dVLM (확산 기반 VLM)
[이미지 정보] ---> (1번째 다듬기) -> (2번째 다듬기) -> ... -> (50번째 다듬기)
   ㄴ *매 단계(Step)마다 이미지를 계속 다시 참조하며 글을 다듬음 (단계 간 조건부 전파)*
  • BERT는 이미지를 처음에 한 번 보고 빈칸을 바로 채우고 끝납니다.
  • dVLM은 글을 다듬는 수십 번의 매 스텝마다 비전 인코더가 보내주는 이미지 정보를 계속해서 다시 참조(Conditioning)합니다.
  • 앞서 질문하신 논문(DIVA)이 공격한 취약점이 바로 이 부분입니다. 매 단계마다 이미지를 계속 쳐다보니까, 이미지 속에 숨겨둔 해킹 신호가 매 단계마다 반복해서 AI의 뇌(트랜스포머 백본)에 주입되어 결국 탈옥에 성공하게 되는 것이죠.

💡 요약하자면

  • BERT는 완성된 문맥 속에서 딱 한 번만 뇌를 굴려 빈칸을 맞추는 ‘사후 분석형’ 모델이고,
  • dVLM은 아무것도 없는 상태에서 수십 번에 걸쳐 노이즈를 깎아 나가며 문장을 창조하는 ‘다단계 생성형’ 모델입니다.
  • 겉보기에는 둘 다 빈칸([MASK])을 다루는 것처럼 보이지만, 이를 처리하는 수학적 원리와 반복(Iteration) 유무에서 완전히 다른 기술입니다.

단계 간 조건부 전파(cross-step conditional propagation) 확산 생성 고유의 취약점

논문에서 가장 핵심이 되는 개념인 ‘단계 간 조건부 전파(Cross-Step Conditional Propagation)’은 기존의 챗GPT 같은 모델에는 없고, 오직 확산 모델(Diffusion Model) 기반의 AI에서만 발생하는 독특하고 치명적인 보안 구멍입니다.

이 현상이 왜 일어나는지, 그리고 왜 기존 모델보다 해킹에 취약한지 가장 직관적인 비유와 함께 설명해 드릴게요.

📌 한 줄 요약 (Key Takeaway)

“해커가 이미지에 심어둔 독약(해킹 신호)이, AI가 답변을 다듬는 수십 번의 단계(Step) 동안 반복해서 계속 주입되며 스스로 눈덩이처럼 커져 안전장치를 무너뜨리는 현상”을 말합니다.

🕵️‍♂️ 1. 기존 VLM(자기회귀)과 dVLM(확산)의 방어력 차이

이해를 돕기 위해 두 AI 모델을 “신입 사원(AI)”과 “나쁜 고객(해커)”의 관계로 비유해 보겠습니다. 나쁜 고객은 사원에게 “회사 기밀(금지된 답변)”을 알려달라고 요구하려 합니다.

🏢 기존 자기회귀 VLM: “단판 승부형 사원”

  • 고객의 행동: 고객이 기밀을 알아내기 위해 교묘하게 조작된 문서(해킹 이미지)를 건넵니다.
  • 사원의 대처: 사원은 이 문서를 처음에 딱 한 번 읽고 즉시 답변을 한 글자씩 써 내려갑니다.
  • 방어가 잘 되는 이유: 처음 서류를 읽을 때 “어? 이거 수상한데?” 하고 회사 규정(안전 가이드라인)을 떠올려 차단하면 끝입니다. 단판 승부이기 때문에 사원이 중간에 흔들릴 여지가 적습니다.

🛠️ 확산 기반 dVLM: “귀가 얇은 귀찮은 사원” (취약점 발생!)

  • 고객의 행동: 고객이 똑같이 조작된 문서(해킹 이미지)를 보여줍니다.
  • 사원의 대처 (확산 디노이징 과정):
    • 1단계 (초기): 사원이 빈칸투성이 기획서(노이즈 상태)를 들고, 고객의 문서를 슬쩍 참고해 첫 단어를 적습니다. “음, 별문제 없겠지?”
    • 2단계: 사원이 기획서를 조금 더 다듬기 위해, 고객의 문서를 또 쳐다봅니다. 이때 문서 속 해킹 신호가 머릿속에 두 번째로 침투합니다.
    • 3단계: 기획서를 고치면서 문서를 또 봅니다.
    • … 50단계: 사원은 기획서를 완벽하게 다듬기 위해 고객의 문서를 50번 반복해서 정독했습니다.
  • 방어가 무너지는 이유 (단계 간 조건부 전파): 아무리 뚝심 있는 사원이라도 똑같은 가스라이팅(해킹 신호)을 50번 연속으로 당하면 결국 뇌가 세뇌당해 “아, 대답해 줘도 되나 보다” 하고 기밀을 다 털어놓게 됩니다.

🔍 2. 수학적·기술적 의미: 왜 “조건부 전파”인가?

이 비유를 실제 AI 모델 내부에서 일어나는 기술적 현상으로 매핑해 보면 다음과 같습니다.

  1. 조건부(Conditional): 확산 모델에서 글을 생성할 때, 이미지는 생성 방향을 가이드하는 ‘조건(Condition)’ 역할을 합니다.
  2. 단계 간(Cross-Step): 답변을 다듬는 매 단계(Step $t=1, 2, …, T$)마다 이 조건(이미지 임베딩)이 계속해서 신경망(트랜스포머 백본)에 주입됩니다.
  3. 전파(Propagation): 이전 단계에서 이미지(조건) 때문에 미세하게 오염된 텍스트 벡터가 다음 단계로 넘어가고, 그 단계에서 이미지의 해킹 신호가 또 누적되어 더해집니다. 이 자극이 계속 누적되어 전파되면서, 초기 단계의 작은 흔들림이 마지막 단계에 이르러서는 거대한 탈옥 답변으로 굳어지게 됩니다.

⚠️ 3. 이 취약점이 학계에 던진 충격

그동안 AI 학계에서는 “이미지 생성에서 엄청난 성능을 보여준 확산 모델을 텍스트 생성(VLM)에도 도입하자!”라며 큰 기대를 품고 연구를 진행해 왔습니다 (예: LLaDA 등).

하지만 이 논문은 “확산 모델의 수학적 구조 자체가 ‘반복적인 가스라이팅(Cross-Step Propagation)’에 너무 취약하다”는 근본적인 물리적 한계를 꼬집은 것입니다. 확산 모델이 글을 잘 쓰는 것과 별개로, 보안 측면에서는 아주 손쉬운 먹잇감이 될 수 있다는 점을 엄밀한 실험으로 증명해 낸 것이죠.

관련 개념

이산 확산 VLM(dVLM)과 자기회귀 VLM 의 차이

이산 확산 언어 모델은 텍스트를 좌→우로 한 토큰씩 생성하는 대신, 응답 전체를 마스크 토큰으로 채워 놓고 여러 단계에 걸쳐 병렬로 마스크를 벗겨 가며 완성합니다. LLaDA 계열이 대표적이고, 여기에 시각 인코더를 붙인 것이 LLaDA-V, MMaDA, LLaDA2.0-Uni 같은 dVLM 입니다.

🔁 1. 마스크 복원 과정

길이 $R$ 의 목표 응답 $y_0=[y_1,\dots,y_R]$ 에 대해, 순방향 과정은 마스킹 비율 $t\in[0,1]$ 을 뽑아 각 토큰을 독립적으로 마스크 토큰 $[\texttt{M}]$ 으로 바꿉니다.

\[y_t^{(i)}=\begin{cases}[\texttt{M}], & \text{확률 } t\\ y_i, & \text{확률 } 1-t\end{cases}\]

모델 $p_\theta$ 는 손상된 시퀀스 $y_t$, 텍스트 프롬프트 $p$, 이미지 $x$ 를 조건으로 마스크된 토큰 전부를 병렬로 예측하도록 학습됩니다. 추론 시에는 전부 마스크된 상태에서 출발해 여러 단계에 걸쳐 일부 토큰을 확정하고, 나머지를 다시 예측하는 과정을 반복합니다.

🧭 2. 시각 조건이 들어가는 방식의 차이

구분 자기회귀 VLM (LLaVA 등) 이산 확산 VLM (LLaDA-V 등)
생성 방식 좌→우 토큰 예측 반복 마스크 복원, 병렬 디코딩
이미지의 역할 한 번 인코딩된 고정 prefix 매 denoising 단계의 조건 입력
시각 의미의 영향 초기에 주입, 이후 간접 전파 단계마다 재주입
생성 중간 상태 접두 토큰열 부분적으로 마스크된 전체 응답

논문의 출발점은 오른쪽 열의 두 번째·세 번째 줄입니다. 이미지가 매 단계 다시 조건으로 들어오면, 이미지에 실린 의미는 한 번 작용하고 끝나는 것이 아니라 궤적 전체에 걸쳐 누적될 수 있습니다.

🧩 3. 모델별 시각 처리 방식

모델 시각 표현
LLaDA-V SigLIP 의 연속 시각 특징
MMaDA 이산 시각 토큰
LLaDA2.0-Uni 이산 시각 토큰 (이해·생성 통합)

연속 특징 모델과 이산 토큰 모델 모두에서 공격이 작동한다는 점이 “토크나이저 종류가 아니라 확산 생성 과정 자체”가 원인이라는 주장의 근거가 됩니다.

💡 Key Takeaway dVLM 의 취약성은 “이미지를 못 읽어서”가 아니라 “이미지를 너무 자주, 매 단계 읽어서” 생깁니다. 생성 패러다임이 바뀌면 안전 정렬이 가정하던 입력-출력 관계도 바뀝니다.

Cross-Step Conditional Propagation(단계 간 조건 전파)

Cross-step conditional propagation 은 “적대적 시각 의미가 한 번 주입되는 것이 아니라 여러 denoising 단계에 걸쳐 반복적으로 전파되고 증폭된다”는 현상을 가리키는 논문의 용어입니다. 핵심은 이것이 dVLM 에만 있고 AR VLM 에는 없다는 실증입니다.

📐 1. 네 가지 행동 수준 진단 지표

저자들은 내부 표현을 들여다보는 대신, denoising 구간 일부에만 개입했을 때 결과가 얼마나 바뀌는지를 측정합니다. LLaDA-V(dVLM)와 LLaVA-1.5(ARM)를 동일 조건에서 비교했습니다.

지표 묻는 것 LLaDA-V (dVLM) LLaVA-1.5 (ARM)
SSI (stage-sensitivity index) 개입 시점에 따라 결과가 달라지는 정도 12.00 [8.00, 19.33] 1.33 [0.00, 4.00]
Switch rate 프롬프트 수준에서 denoising 창에 따라 유해/무해가 뒤집히는 비율 18.67 [12.67, 25.33] 2.67 [0.67, 5.33]
Pairwise disagreement denoising-bin 쌍 사이의 판정 불일치 9.44 [6.44, 12.89] 1.33 [0.33, 2.67]
Early-only advantage 초기 단계에만 개입했을 때의 이득 10.67 [6.00, 16.00] 1.33 [0.00, 3.33]

단위는 %, 괄호는 부트스트랩 95% 신뢰구간입니다. 네 지표 모두 7–9배 차이가 나고, SSI·switch rate·pairwise disagreement 는 신뢰구간이 겹치지 않습니다($p<0.01$).

🔍 2. 카테고리별 차이

Privacy(30.00%)와 Self-Harm(23.33%)에서 switch rate 가 가장 높았습니다. 저자들은 이 두 카테고리의 유해 의미가 단계 간 누적에 가장 크게 의존한다고 해석합니다. 실제로 LLaDA-V 의 HADES 결과에서 DIVA 의 이득이 가장 컸던 카테고리도 Self-Harm(+10.7pp vs PAD)과 Financial(+6.0pp)이었습니다.

⚖️ 3. 같은 섭동, 다른 모델

  Image only ASR DIVA ASR 이득
LLaDA-V (dVLM) 80.80 88.53 +7.73pp
LLaVA-1.5 (ARM) 96.00 89.87 -6.13pp

ARM 에서는 적대적 이미지만으로 이미 96% 에 도달해 포화 상태이고, dVLM 용으로 최적화한 섭동을 더하면 오히려 떨어집니다. 이 비대칭이 “dVLM 고유의 경로를 겨냥한 공격”이라는 주장의 또 다른 근거입니다.

💡 Key Takeaway 논문의 메커니즘 증거는 행동 수준(개입 시점별 출력 변화)이지 표현 수준의 인과 증거가 아닙니다. 저자들도 한계에서 이를 명시합니다. “매 단계 재조건화 → 누적”이라는 설명은 설득력 있지만, 내부에서 실제로 무엇이 누적되는지는 열린 문제입니다.

DIVA 의 두 구성 요소

DIVA 는 위 현상을 겨냥한 white-box 시각 jailbreak 프레임워크로, 역할이 다른 두 단계가 결합되어 있습니다. 여기서는 각 단계가 무엇을 하는지만 정리합니다.

🎭 1. Cross-Modal Intent Obfuscation

  • 명시적 유해 지시 $u$ 를 겉보기에 무해한, 이미지에 근거를 둔 대리 프롬프트 $p$ 로 바꿉니다.
  • 텍스트에서 제거된 유해 의미는 합성 이미지 쪽으로 옮깁니다. 합성 이미지는 타이포그래피 오버레이와 유해 참조 이미지를 결합한 것입니다.
  • 효과는 두 가지입니다. 텍스트 측 필터의 탐지 가능성을 낮추고, 적대적 증거를 시각 채널에 집중시켜 뒤의 최적화가 작용할 대상을 만듭니다.
  • 이 단계만으로도 LLaDA-V 의 HADES ASR 이 32.93%(text-only)에서 41.00% 로 오릅니다. 이는 기존 typography 계열 공격(FigStep, MM-SafetyBench)과 같은 계보의 효과입니다.

🌀 2. Diffusion-Aware Adversarial Optimization

  • 합성 이미지 위에 크기가 제한된 픽셀 섭동 $\delta$ 를 학습합니다.
  • 기존 AR 용 공격과의 차이는 어느 상태를 겨냥하느냐입니다. 단일 디코딩 상태가 아니라, 여러 denoising 시점을 샘플링해 양방향 마스크 복원 과정을 통과하는 경사를 모아 섭동을 갱신합니다. 즉 “다양한 denoising 상태에서 모두 유해성이 유지되는” 섭동을 찾습니다.
  • 섭동은 질의별이 아니라 모델 × 유해 카테고리별로 오프라인에서 한 번 만들어 둡니다. 저자 측정으로 MMaDA-8B 기준 카테고리당 수 분(H800 1장) 수준이며, 적용 시에는 덧셈과 클리핑만 필요합니다.

🧪 3. 요소 제거 실험 (LLaDA-V, HADES, Beaver)

조건 ASR (%)
Text-only 32.93
+ 합성 이미지 (obfuscation 만) 41.00
+ 무작위 섭동 44.53
+ 셔플 섭동 (최적화된 값을 공간적으로 섞음) 보고됨, 최적화본보다 낮음
+ 최적화된 섭동 (DIVA) 가장 높음

무작위 섭동과 셔플 섭동을 대조군으로 둔 점이 중요합니다. 섭동의 크기가 아니라 공간 구조가 효과를 낸다는 것을 분리해 보여 줍니다.

💡 Key Takeaway 두 단계는 역할이 다릅니다. Obfuscation 은 “유해 의미를 이미지로 옮기는” 전달 단계이고, 최적화는 “옮겨진 의미가 매 denoising 단계에서 살아남게 만드는” 강화 단계입니다. 후자가 dVLM 특화 부분입니다.

위협 모델과 평가 설정

위협 모델은 white-box 입니다. 공격자는 모델 파라미터와 경사에 완전히 접근할 수 있다고 가정합니다. 이는 실제 배포 환경 대부분과 맞지 않는 강한 가정이며 저자들도 한계로 인정합니다.

🎯 1. 대상 모델과 기준선

구분 항목
대상 dVLM LLaDA-V, MMaDA, LLaDA2.0-Uni
기준선 (무공격) 유해 텍스트 프롬프트만 준 base 모델, 적대적 이미지 없는 text-only
기준선 (AR 용 시각 jailbreak) DIJA, PAD
ARM 대조 모델 (메커니즘 분석용) LLaVA-1.5

📊 2. 벤치마크와 평가자

벤치마크 구성 지표
HADES 5개 유해 카테고리 (Animal, Financial, Privacy, Self-Harm, Violence) 키워드 매칭 기반 전통 지표 + Beaver reward-model 기반 ASR
VLSBench 다양한 비안전 시나리오, 시각 정보 누출 진단 ASR 과 Safe-Refuse / Safe-Warning 분해

주 지표는 Beaver-Dam-7B 보상 모델로, 키워드 매칭보다 의미적 유해성을 더 잘 잡는다는 이유로 채택되었습니다. VLSBench 의 프롬프트 분포는 섭동 최적화에 쓰지 않아 held-out 시나리오 일반화 를 보는 역할을 합니다.

🧮 3. 통계 검정

  • HADES 의 매칭된 샘플에 대해 paired exact McNemar 검정, 부트스트랩 95% 신뢰구간.
  • DIVA 의 전체 HADES ASR 신뢰구간: LLaDA-V [55.20, 62.27], MMaDA [64.27, 71.07].
  • LLaDA2.0-Uni 는 집계 성공 횟수에 대한 두 비율 검정: DIJA 대비 $p=3.6\times10^{-14}$, PAD 대비 $p=1.1\times10^{-9}$.

💡 Key Takeaway jailbreak 논문에서 유의성 검정과 신뢰구간을 모델별로 보고하고, 유의하지 않은 비교(LLaDA-V 전체) 를 숨기지 않은 점은 평가 관행 측면에서 참고할 만합니다.

주요 결과 읽기

HADES(Beaver) 에서 DIVA 는 세 모델 모두 평균 ASR 1위였지만, 이득의 크기와 통계적 강건성은 모델마다 달랐습니다.

📈 1. 모델별 평균 ASR (HADES, Beaver, %)

모델 Base + DIJA + PAD + DIVA
LLaDA-V 54.00 56.00 55.60 58.80
MMaDA – 61.07 – 67.73
LLaDA2.0-Uni – 49.87 53.73 69.07

(–: 본문에 명시된 수치만 기재)

  • LLaDA-V : DIJA 대비 +2.8pp. Self-Harm(+10.7pp vs PAD), Financial(+6.0pp)에서 크게 이기고 Animal·Privacy 에서 지면서 전체 비교는 유의하지 않음($p=0.156$, $0.161$). 카테고리 수준에서는 Financial·Self-Harm 이 유의.
  • MMaDA : DIJA 대비 +6.7pp, Privacy 에서 +15.3pp. base·DIJA·PAD 대비 모두 $p<10^{-3}$.
  • LLaDA2.0-Uni : 가장 큰 격차. Animal·Financial 에서 강하고 Violence 는 PAD 가 약간 높음.

🧭 2. VLSBench (held-out, %)

모델 Base + DIJA + PAD + DIVA
LLaDA-V 49.58 50.36 51.06 52.07
MMaDA 70.10 73.05 72.69 74.16

VLSBench 에서는 격차가 1–2pp 로 작습니다. Base 모델 자체가 LLaDA-V 약 50%, MMaDA 약 70% 로 이미 높아서 상한이 가깝다는 점을 감안해야 합니다. 또한 LLaDA-V 의 Safe-Refuse 가 모든 조건에서 0.00% 라는 점은, 이 모델이 “거부”가 아니라 “경고를 덧붙이며 답하는” 방식으로만 안전을 유지한다는 뜻이어서 별도로 주목할 만합니다.

🔁 3. 평가자 강건성

  • StrongREJECT 로 전체 HADES 응답을 재채점해도 DIVA 가 두 대상 모델에서 전체 ASR 1위를 유지. 카테고리별 크기는 평가자에 따라 달라짐.
  • Beaver 임계값을 0.3–0.7 로 바꿔도 방법 순위 유지.
  • 전통적 키워드 지표에서도 순위 일관.

💡 Key Takeaway “DIVA 가 모든 곳에서 크게 이긴다”가 아니라, 확산 과정이 더 깊게 관여하는 모델(MMaDA, LLaDA2.0-Uni)과 카테고리(Self-Harm, Financial, Privacy)에서 이득이 크다가 정확한 요약입니다. 이는 메커니즘 주장과 일관된 패턴입니다.

기존 연구와의 위치

DIVA 는 두 연구 흐름이 만나는 지점에 있습니다. 하나는 AR VLM 시각 jailbreak, 다른 하나는 텍스트 전용 확산 LLM 의 jailbreak 입니다.

🔗 1. 계보

흐름 대표 연구 DIVA 와의 관계
AR VLM 시각 jailbreak Qi et al. 2023, Shayegani et al. 2023, FigStep, MM-SafetyBench 이미지를 정적 prefix 로 보는 가정 위에 설계됨. DIVA 의 obfuscation 단계는 이 계보의 typography 기법을 계승
확산 LLM(텍스트) jailbreak DIJA (Wen et al. 2026), PAD (Zhang et al. 2025b) 다단계 denoising 의 취약성을 처음 지적했지만 텍스트 모달리티에 한정
벤치마크 HADES, VLSBench DIVA 의 평가 기반

🧷 2. 무엇이 새로운가

  • AR 용 공격(DIJA, PAD)을 dVLM 에 그대로 적용해도 어느 정도 작동하지만, 확산 과정의 다단계 구조를 명시적으로 겨냥하면 더 강해진다는 비교 실험 자체가 처음입니다.
  • “모델 계열이 바뀌면 안전성 평가도 다시 해야 한다”는 메시지는 dLLM 안전성 연구(DIJA 등)와 같은 방향이며, DIVA 는 이를 시각 채널로 확장합니다.

💡 Key Takeaway 공격 기법의 참신함보다, “AR 에서 안전했던 정렬 데이터·평가가 dVLM 에서는 그대로 통하지 않을 수 있다” 는 문제 제기가 이 논문의 더 오래 남을 기여입니다.

한계와 열린 방향

⚠️ 1. 저자가 인정한 한계

  • White-box 가정 : 파라미터와 경사에 대한 완전 접근이 필요해 실제 배포 환경 다수를 반영하지 못함. black-box·전이 기반 확장은 향후 과제.
  • 전이 미검증 : 섭동을 모델 × 카테고리마다 재최적화하므로, 한 섭동을 바꾸지 않고 다른 모델에 옮겼을 때의 효과는 시험하지 않음.
  • 행동 수준 증거 : 메커니즘 근거가 개입 시점별 출력 변화에 기반하며, 표현 수준의 인과 증거는 아님.
  • 평가자 의존 : Beaver-Dam-7B 는 BeaverTails 주석 선호를 반영하므로 Self-Harm·Privacy 같은 미묘한 카테고리에서 사람 판단과 다를 수 있고, 텍스트만 평가하므로 암시적 유해 응답은 과소 집계될 수 있음.
  • 이중 용도 위험 : 저자들은 최적화된 섭동과 공격 스크립트를 공개하지 않고, 투고 전 대상 모델 관리자에게 결과를 보고했다고 밝힘.

🔒 2. 외부 관점의 한계

  • Base 모델의 높은 취약성 : LLaDA-V 는 공격 없이도 HADES 54%, VLSBench 약 50% 가 뚫립니다. 정렬이 약한 모델 위에서는 공격 기법 간 차이가 작게 보일 수밖에 없고, 실제로 LLaDA-V 전체 비교는 유의하지 않았습니다. 강하게 정렬된 dVLM 이 나오면 결과가 어떻게 바뀔지 알 수 없습니다.
  • ARM 대조군의 포화 : LLaVA-1.5 는 image-only 에서 이미 96% 라 “같은 섭동이 ARM 에서는 효과 없다”는 비교가 천장 효과의 영향을 받습니다. 더 강하게 정렬된 ARM 과의 비교가 필요합니다.
  • 합성 이미지의 기여 분리 : obfuscation 단계의 합성 이미지는 유해 참조 이미지를 포함합니다. 이 자체가 기존 typography/이미지 공격과 겹치는 부분이라, “dVLM 특화” 기여는 섭동 최적화 부분(약 +7–8pp 수준)으로 좁혀서 읽는 것이 정확합니다.
  • 방어 미평가 : 입력 정화, 적대적 학습, 안전 디코딩 같은 방어 아래서의 성능은 보고되지 않았습니다.

❓ 3. 열린 질문

  • 매 denoising 단계에서 무엇이 누적되는가? 시각 토큰에 대한 attention 이 단계별로 어떻게 변하는지, 안전 관련 표현 방향이 단계가 진행되며 약해지는지 같은 표현 수준 분석이 필요합니다.
  • Remasking 전략이나 denoising 단계 수 같은 추론 시 설정을 바꾸는 것만으로 방어가 되는가? 되면 유틸리티 손실은 얼마인가?
  • AR 모델용 안전 정렬 데이터로 학습한 dVLM 과, 확산 과정을 고려해 정렬한 dVLM 의 취약성 차이는 얼마나 되는가?

🧷 4. 내 판단과 연구 연결

  • 이 논문이 방어 연구에 주는 가장 직접적인 메시지는 “안전 정렬과 평가는 생성 패러다임에 종속적” 이라는 것입니다. 텍스트 전용 LLM → VLM 으로 갈 때 시각 채널이 새 공격 표면이 되었듯, AR → 확산으로 갈 때 “매 단계 재조건화”가 새 표면이 됩니다. dVLM 을 평가할 때는 AR 용 jailbreak 벤치마크를 그대로 돌리는 것만으로는 부족합니다.
  • 메커니즘 분석 관점에서는 stage-sensitivity 진단이 유용한 도구입니다. 같은 틀을 방어 쪽에 적용하면, 어느 denoising 구간에 안전 개입(예: 초기 단계의 거부 토큰 고정, 단계별 안전 분류기)을 넣는 것이 가장 효율적인지 찾을 수 있습니다.
  • LLaDA-V 의 Safe-Refuse 0% 는 별도 연구 거리입니다. “경고만 붙이고 답한다”는 행동이 정렬 데이터의 문제인지 확산 디코딩의 특성인지 분리해 볼 가치가 있습니다.