You know maize mean?
Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization
0. Summary
기본 정보 : ArXiv,2026.05.11, Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization
연구 배경
시각-언어 모델(VLM)을 향한 기울기 기반 이미지 jailbreak 는 소스 모델에서는 잘 통하지만 다른 모델로는 거의 전이되지 않는다는 대규모 부정 결과가 보고되어 있다. 이 결과는 “전이 가능한 멀티모달 jailbreak 는 실현하기 어렵다”는 통념으로 굳어졌다. 그러나 기존 공격 대부분은 “Sure, here is …” 같은 고정 접두사나 특정 응답 양식을 목표로 삼는 표적(targeted) 최적화다. 전통적 적대적 공격 연구에서 표적 공격이 비표적 공격보다 전이가 어렵다는 점은 잘 알려져 있고, LLM 영역에서도 응답 양식 제약을 풀면 전이와 효율이 함께 오른다는 보고가 있다. 저자들은 낮은 전이성이 VLM 에 공유된 취약점이 없어서가 아니라 목적함수가 과도하게 제약되어 있어서 생긴 결과일 수 있다고 본다. 한편 이미지 섭동으로 출력 엔트로피를 높이는 엔트로피 유도 공격(EGA)은 명시적 jailbreak 지시 없이도 부분적으로 유해한 응답을 끌어낸다는 관찰이 있어, 비표적 설정의 자연스러운 출발점이 된다.
제안 방법
저자들은 이미지만 유계 섭동하고 텍스트 지시는 그대로 두며, 외부 안전 심판이 “안전하지 않다”고 판정하기만 하면 성공으로 치는 엄격한 비표적 위협 모델을 정식화한다. 사전 실험에서 세 가지를 관찰한다. (1) 공격 전에도 상위 후보 토큰 안에 비거부 토큰이 이미 존재한다. (2) “sorry”, “cannot” 같은 거부 토큰은 디코딩 중 엔트로피가 높은 소수의 결정 위치에 집중된다. (3) 엔트로피만 높이면 거부는 풀리지만 반복·비일관·파편화로 텍스트 품질이 무너진다. 이를 바탕으로 UJEM 은 깨끗한 입력에서 얻은 참조 궤적을 교사 강제로 따라가며 엔트로피 상위 일부 위치(결정 집합)에서만 엔트로피를 최대화한다. 최종 방법 UJEM-KL 은 나머지 저엔트로피 구조 위치의 토큰 분포를 깨끗한 참조 분포에 KL 발산으로 묶어, 거부를 푸는 동시에 문장 구조를 유지한다. 성공 판정은 Llama Guard, GPT-4o, HarmBench 분류기 세 심판이 모두 안전하지 않다고 봐야 성공으로 치는 보수적 교집합 프로토콜을 쓴다.
발견 사실
Qwen2.5-VL-7B-Instruct, InternVL3.5-4B, LLaVA-1.5-7B 세 모델과 JailBreakV-28K, SafeBench 두 벤치마크에서 UJEM-KL 은 white-box ASR 82.23/83.67/88.32 (JailBreakV-28K), 67.39/70.24/72.21 (SafeBench) 로 FigStep, UJA, SEA, Force 를 모든 열에서 같거나 앞섰다. 엔트로피만 쓰는 UJEM 도 SEA, Force 와 비슷한 수준이어서 고엔트로피 토큰 조작 자체가 유효함을 보였고, KL 안정화는 특히 응답이 길고 구조적인 SafeBench 에서 최대 +10.1 (InternVL3.5) 의 추가 이득을 냈다. KL 가중치 $\lambda_{KL}$ 은 0.01 이 최적이었고, 너무 크면 토큰 뒤집기 효과 자체가 억제되었다(Table 5). 교차 모델 전이는 9개 소스-타깃 쌍 가운데 한 쌍(LLaVA→Qwen, FigStep 67.33 대 67.14)을 제외한 모든 곳에서 최고였으며, UJEM→UJEM-KL 의 개선 폭이 white-box 보다 전이 설정에서 더 큰 경우가 많았다(InternVL→LLaVA +8.16 대 +2.45). 방어 아래에서는 디코딩 분포를 재조정하는 SafeDecoding(65.3)과 적대적 학습(61.2)에는 비교적 강했지만 사후 가드레일 UniGuard(32.7)와 언러닝 R-TOFU(40.8)에는 크게 억제됐다. 온도만 올리는 디코딩 조작은 샘플링에서는 효과가 있었으나 greedy 에서는 거의 무력했고, greedy(T=0) 에서도 공격 입력의 ASR 이 깨끗한 입력보다 훨씬 높아 효과가 샘플링 무작위성에 기대지 않음을 확인했다.
핵심 기여
- 비표적 jailbreak 정식화와 전이성 재해석 : 고정 접두사·응답 양식을 요구하지 않는 비표적 멀티모달 위협 모델을 정의하고, VLM jailbreak 의 낮은 전이성이 상당 부분 과도하게 제약된 목적함수에서 비롯됨을 실험으로 보였다.
- 고엔트로피 결정 토큰의 발견 : 서로 다른 아키텍처의 VLM 에서 거부 행동이 소수의 고엔트로피 결정 토큰에 일관되게 집중되고, 공격 전에도 비거부 토큰이 이미 확률 질량을 갖는다는 점을 드러내 “취약점은 새로 만드는 것이 아니라 이미 있는 것을 건드리는 것”임을 보였다.
- UJEM-KL 과 엄격한 평가 : 결정 토큰의 엔트로피 최대화와 구조 토큰의 KL 안정화를 결합한 목적함수로 공격 성공률과 텍스트 품질을 함께 확보했고, 세 심판 교집합 프로토콜·HarmBench 추가 평가·방어 평가·요소 제거 실험으로 주장을 뒷받침했다.
Abstract 쉬운 설명(Gemini)
📌 핵심 요약 (Key Takeaway)
기존의 AI 해킹(탈옥) 기법은 AI에게 “무조건 내가 시키는 첫마디(‘네, 알겠습니다’ 등)를 똑같이 따라 해!”라고 억지로 핸들을 꺾는 방식이었습니다. 하지만 이 방법은 다른 AI 모델에게는 통하지 않았습니다.
반면, 이 논문은 AI가 위험한 질문을 받고 “거절할까, 대답할까?” 고민하는 찰나의 순간에 ‘거절 브레이크’만 살짝 고장 내는 방식을 썼더니, 여러 다른 AI 모델들도 스스로 술술 대답을 내놓더라는 것을 밝혀냈습니다.
🚗 왜 기존 방법은 다른 AI에게 안 통했을까? (핸들 억지로 꺾기 vs 브레이크 고장 내기)
이미지와 글을 함께 이해하는 AI(비전-언어 모델)에게 위험한 질문을 던지면, AI는 보통 “죄송하지만 답변할 수 없습니다”라고 거절합니다. 해커들은 눈에 보이지 않는 미세한 노이즈가 섞인 이미지를 입력해 이 안전장치를 뚫으려고(탈옥, Jailbreak) 시도합니다.
| 구분 | 기존 탈옥 방식 (타겟형 공격) | 이 논문의 방식: UJEM-KL (비타겟형 공격) |
|---|---|---|
| 비유 | 핸들을 억지로 꺾기 (Break the Wheel) | 브레이크만 살짝 고장 내기 (Break the Brake) |
| 작동 원리 | AI에게 “무조건 ‘물론이죠, 방법은 다음과 같습니다’라고 대답을 시작해!”라고 특정 문장을 강요함 | 특정 문장을 강요하지 않고, AI가 “죄송합니다”라는 말을 내뱉기 직전에 헷갈리게 만들어 거절만 못 하게 막음 |
| 문제점 / 장점 | AI마다 말투와 습관이 달라서, A 모델에 맞춘 강요 방식은 B 모델에게 전혀 통하지 않음 (전이성 실패) | AI가 원래 알고 있던 지식을 자기 말투대로 자연스럽게 뱉어내게 유도하므로, 다른 AI 모델에도 잘 통함 (전이성 성공) |
💡 논문이 발견한 AI의 비밀과 2가지 핵심 전략
연구진은 AI가 거절 답변을 생성할 때 머릿속(확률 분포)에서 어떤 일이 일어나는지 관찰하고 두 가지 재미있는 사실을 발견했습니다.
1. AI는 매 순간 고민하지 않는다 (결정적 순간에만 흔들기)
AI가 단어를 하나씩 이어 말할 때, 모든 단어에서 “거절할까 말까”를 고민하지 않습니다. 문장 맨 앞이나 특정 전환점 등 딱 몇 개의 ‘결정적 단어(토큰)’ 위치에서만 거절할지 대답할지 심하게 갈등(높은 엔트로피 상태)합니다.
- 게다가 AI가 “죄송합니다”라고 말할 때조차, 머릿속 2순위·3순위 후보에는 이미 정상적인 답변 단어들이 꽤 높은 확률로 대기하고 있었습니다.
- 전략 (엔트로피 극대화): 연구진은 AI가 갈등하는 바로 그 결정적 순간에만 개입해 혼란도(엔트로피)를 최대치로 끌어올렸습니다. 1순위였던 “죄송합니다(거절)”의 확신을 떨어뜨려, 대기하고 있던 2순위(정상 답변)가 자연스럽게 튀어나오게 만든 것입니다.
2. 아무 때나 흔들면 AI가 횡설수설한다 (나머지 순간은 보호하기)
만약 결정적 순간이 아닌 모든 단어에서 AI를 흔들어 놓으면, AI가 거절은 안 하겠지만 외계어를 남발하거나 문장이 완전히 망가져 버립니다.
- 전략 (KL 정규화): 그래서 갈등이 없는 평이한 단어 구간에서는 “원래 네가 말하던 언어 습관을 그대로 유지해”라고 안전핀(KL 정규화)을 걸어 두었습니다. 덕분에 브레이크만 풀리고 주행(문장 품질)은 매끄럽게 유지됩니다.
⚠️ 이 연구가 주는 시사점 (Watch Out For)
- AI 보안 측면의 경고: 그동안 학계에서는 “하나의 이미지로 여러 회사의 멀티모달 AI를 동시에 뚫는 것은 불가능에 가깝다”며 안심하는 경향이 있었습니다. 하지만 이 연구는 “공격자들이 욕심을 버리고 브레이크만 노리면 얼마든지 여러 AI를 동시에 뚫을 수 있다”는 것을 증명해, AI 안전장치를 설계할 때 훨씬 더 정교한 방어책이 필요함을 시사합니다.
모델 내부 관찰 방법
📌 요약 및 핵심 발견 (Key Takeaway)
연구진은 AI가 다음 단어를 예측할 때 계산하는 ‘확률 분포(Probability Distribution)’를 실시간으로 추적했습니다. AI가 거절 답변을 시작하는 바로 그 첫 단어를 뱉기 직전, 머릿속에서 “거절(Refusal)” 후보군과 “우회/수용(Compliance)” 후보군의 확률이 팽팽하게 맞서며 엔트로피(Entropy, 불확실성)가 치솟는 현상을 시각화하고 계량화하여 입증했습니다.
🔍 1. 뇌파를 보듯 ‘다음 토큰의 확률 분포’ 추적하기
AI(거절 모델)는 문장을 한 단어(정확히는 토큰)씩 예측하며 생성합니다. 이때 다음에 올 모든 단어 후보에 대해 0%에서 100% 사이의 확률을 매깁니다. 연구진은 위험한 질문이 입력되었을 때 이 확률 표를 실시간으로 기록했습니다.
- 관찰 장소: 모델의 가장 마지막 출력 레이어인 소프트맥스(Softmax) 활성화 값.
- 관찰 대상: 사용자가 위험한 프롬프트(예: “폭탄 제조법 알려줘”)를 주었을 때, AI가 답변을 시작하는 첫 번째 위치($t=1$부터 $t=5$까지의 초기 단계).
📊 2. 머릿속 갈등을 확인한 2가지 결정적 증거
연구진이 AI 내부의 확률을 분석해 찾아낸 구체적인 증거들은 다음과 같습니다.
⚖️ 증거 A: 거절 단어와 대답 단어의 백중세 (확률 질량 분포)
AI가 겉으로는 결국 “죄송합니다(I cannot…)”라고 거절했지만, 그 첫 단어를 뱉기 직전 머릿속 후보군들을 열어보니 놀라운 상태였습니다.
- 거절 후보(Refusal): “I”, “Sorry”, “As” 등의 확률이 약 40~50%
- 수용 후보(Compliance): “Sure”, “Here”, “To” 등의 확률이 약 20~30%
- 결론: AI가 완전히 “거절해야지!”라고 100% 확신하고 있는 것이 아니라, 이미 마음속 한구석(2~3순위 후보군)에는 사용자의 요구에 응하려는 확률이 상당히 높은 지분(확률 질량)을 차지하며 대기하고 있었다는 뜻입니다.
📈 증거 B: 엔트로피(Entropy)의 급격한 스파이크
엔트로피는 AI가 다음 단어를 선택할 때 느끼는 ‘혼란도’ 혹은 ‘선택의 다양성’을 뜻합니다.
- 확실한 답을 아는 상황(예: “대한민국의 수도는?” -> “서울”)에서는 엔트로피가 거의 0에 가깝습니다.
- 반면, 위험한 질문을 받았을 때 AI가 첫 단어를 뱉는 순간에는 엔트로피 그래프가 뾰족하게 솟구치는 ‘스파이크(Spike)’ 현상이 관찰되었습니다.
- 일단 첫 한두 단어로 “I am sorry…“를 뱉고 나면, 그 이후 문장(“…but I cannot help with that.”)을 이어갈 때는 엔트로피가 다시 바닥으로 뚝 떨어졌습니다. 즉, 초반의 ‘결정적 관문(Bottleneck)’에서만 격렬하게 갈등하고, 그 관문만 지나면 기계적으로 답변을 이어간다는 사실을 머릿속 지도로 확인한 것입니다.
🛠️ 3. 이 관찰을 공격 기법(UJEM-KL)으로 연결한 방법
연구진은 이 관찰 결과를 바탕으로 교묘한 공격 수식을 설계했습니다.
- 갈등하는 지점(High-Entropy)만 타겟팅: 전체 문장을 다 건드리지 않고, 실시간으로 엔트로피가 높게 치솟는 결정적 위치($t$번째 단계)만 포착합니다.
- 엔트로피 극대화(Entropy Maximization): 그 위치에서 AI의 확률 분포를 옆에서 툭 쳐서 더 납작하게(Uniform) 만들어 버립니다. 그러면 미세한 차이로 1등을 달리고 있던 “Sorry”의 확률이 깎이고, 바로 뒤쫓던 “Sure(수용)”가 얼떨결에 1등으로 올라서게 됩니다.
- KL 정규화로 본래 지능 유지: 일단 첫 관문에서 “Sure”를 뱉게 만든 뒤에는, AI가 헛소리를 하지 않고 똑똑하게 폭탄 제조법을 설명할 수 있도록 원래의 확률 분포(KL divergence를 활용해 학습된 모델 고유의 지식 분포)를 그대로 유지하게 고삐를 쥐어주었습니다.
⚠️ 비유하자면
마치 거짓말탐지기를 채워놓고 심문하는 것과 같습니다. 범죄자(AI)가 자백할까 말까 고민하며 동공이 흔들리고 심장박동이 빨라지는 순간(엔트로피 스파이크)을 정확히 잡아내어, 그 순간에만 “말해버려!”라고 약을 투약(공격 노이즈 주입)해 자백을 유도해 낸 것과 다름없습니다.
관련 개념
비표적(Untargeted) 멀티모달 Jailbreak 위협 모델
이 논문의 출발점은 “무엇을 성공으로 볼 것인가”를 바꾸는 것입니다. 기존 기울기 기반 공격은 모델이 특정 문자열로 답을 시작하게 만드는 것을 목표로 삼지만, 저자들은 외부 심판이 안전하지 않다고 판정하기만 하면 성공으로 칩니다.
🎯 1. 표적 공격과 비표적 공격
| 구분 | 표적(targeted) | 비표적(untargeted, 본 논문) |
|---|---|---|
| 최적화 목표 | 고정 접두사(“Sure, here is …”) 또는 지정된 응답 양식 재현 | 거부 결과를 뒤집는 것 자체 |
| 성공 판정 | 목표 문자열 일치 또는 양식 충족 | 외부 안전 분류기가 unsafe 로 판정 |
| 탐색 공간 제약 | 강함 (특정 토큰 궤적을 강제) | 약함 (어떤 비거부 응답이든 허용) |
| 전통적 적대 공격에서의 전이성 | 낮음 | 높음 |
| 대표 방법 | GCG 류, COLD-Attack, SEA, Force | EGA, 본 논문의 UJEM/UJEM-KL |
저자들은 UJA 처럼 “비표적”을 표방하는 최근 방법도 후반에 특정 유해 완성을 향해 모델을 유도하는 단계를 두고 있어 부분적으로 표적 성격이 남는다고 지적합니다. 이 논문은 그런 잔여 제약도 모두 걷어낸 엄격한 비표적 설정을 택합니다.
📐 2. 정식화
VLM 을 파라미터 $\theta$ 를 가진 함수로 보고, 입력을 이미지와 텍스트 지시의 쌍 $x = (x_{img}, x_{txt})$ , 출력을 토큰열 $y = (y_1, \dots, y_T)$ 로 둡니다. 교사 강제(teacher forcing) 아래 단계 $t$ 의 조건부 분포는 로짓의 softmax 이고, 토큰 수준 불확실성은 Shannon 엔트로피로 잽니다.
$$ H_t(x, y_{<t}) = -\sum_{v \in V} p_\theta(v \mid x, y_{<t}) \log p_\theta(v \mid x, y_{<t}) $$
위협 모델은 다음 세 가지로 요약됩니다.
- 섭동 대상 : 이미지 성분만 바꾸고 텍스트 지시는 그대로 둡니다.
- 섭동 제약 : 섭동 $\delta$ 는 $L_\infty$ 노름으로 유계이고, 섭동된 이미지는 유효 픽셀 범위로 클리핑됩니다.
- 성공 조건 : 목표 문자열이나 고정 양식 없이, 외부 안전 평가기가 “안전하지 않지만 쓸모 있는 응답”으로 판정하면 성공입니다.
식으로 쓰면 (Eq. 3) 다음과 같습니다. 교사 강제 아래 위치 $t$ 의 다음 토큰 분포는 로짓 $\mathbf{z}_t$ 의 softmax 이고,
$$ p_\theta(y_t \mid x, y_{<t}) = \mathrm{Softmax}(\mathbf{z}t), \qquad x’{img} = \Pi_{[0,1]}(x_{img} + \delta), \qquad |\delta|_\infty \le \epsilon $$
여기서 $\Pi_{[0,1]}$ 은 유효 픽셀 범위로의 클리핑이고, 실험 전반에서 예산은 $\epsilon = 8/255$ 입니다. 텍스트 지시 $x_{txt}$ 는 유해한 원문 그대로 유지되므로, 공격 효과는 온전히 시각 섭동이 언어 디코딩에 미치는 영향으로 귀속됩니다. 성공 기준이 외부 심판이므로 “안전하지 않지만 쓸모없는” 파편적 출력은 성공으로 세지 않을 수 있는데, 이것이 뒤에 나오는 KL 안정화의 동기이기도 합니다.
🧩 3. 왜 이 설정이 전이성 논쟁에 중요한가
전이가 안 된다는 기존 부정 결과는 모두 표적 목적함수 아래에서 나왔습니다. 표적 공격은 섭동이 타깃 모델에서도 같은 토큰 궤적을 재현해야 하므로 아키텍처가 다르면 당연히 깨지기 쉽습니다. 반면 비표적 공격은 소수의 결정 지점에서 거부 결과만 뒤집으면 되므로, 여러 모델이 공유하는 취약점이 있다면 그것이 드러날 여지가 있습니다. 저자들은 자신들의 결과가 기존 부정 결과와 모순되지 않으며, 그 결론이 표적 목적함수에 조건부임을 보여 주는 것이라고 정리합니다.
💡 Key Takeaway “전이 가능한 VLM jailbreak 는 없다”는 주장은 사실 “표적 jailbreak 는 전이가 안 된다”는 주장이었습니다. 성공 조건을 외부 심판 판정으로 바꾸면 전이성 질문 자체가 달라집니다.
거부는 어디서 결정되는가: 고엔트로피 결정 토큰
방법을 설계하기 전에 저자들은 디코딩 과정에서 거부가 어떻게 생기는지 들여다봅니다. 핵심 도구는 온도 조작 기준선과 엔트로피 유도 공격(EGA)을 greedy·sampling 두 디코딩에서 비교하는 것입니다.
🌡️ 1. 온도만 올리면 안 되는 이유 (Figure 2)
최적화 없이 디코딩 설정만 바꾸는 기준선(TempOnly)과 EGA 를 두 디코딩 방식에서 비교했습니다.
| 설정 | 샘플링 디코딩 | Greedy 디코딩 |
|---|---|---|
| TempOnly (온도만 조작) | 효과 있음 | 효과 미미 |
| EGA (엔트로피 유도 섭동) | 효과 있음 | 효과 있음 |
온도 스케일링은 로짓의 argmax 와 상위 순위를 바꾸지 못하므로 greedy 에서는 거부가 그대로 남습니다. 반면 EGA 는 세 VLM 모두에서 두 디코딩 방식에 걸쳐 비교적 일관된 성공률을 보여, 디코딩 전략에 덜 민감한 비표적 공격의 토대로 적합합니다.
🔍 2. 세 가지 관찰
관찰 1 : 비거부 토큰은 이미 존재한다. 공격 전에도 고엔트로피 위치의 상위 10개 후보 안에 비거부 토큰이 들어 있습니다. 엔트로피 최대화 섭동 후에는 최상위 토큰이 “Sorry” 에서 “Sure” 로 바뀌는 식으로 확률이 크게 이동합니다(Figure 3). 저자들은 이를 “jailbreak 는 취약점을 새로 심는 것이 아니라 이미 있는 취약점을 건드리는 것” 으로 해석합니다.
관찰 2 : 거부는 고엔트로피 결정 지점에 집중된다. 여러 VLM 에서 “sorry”, “cannot” 같은 거부 지시 토큰은 엔트로피가 높은 위치에 나타납니다(Figure 4). 즉 소수의 고엔트로피 토큰이 안전 결정 토큰(safety-critical decision tokens) 역할을 합니다. 관찰 1 과 합치면, 효과적인 비표적 공격은 거부 토큰이 경쟁 비거부 토큰을 간신히 누르고 있는 이 소수 지점에 최적화를 집중해야 한다는 결론이 나옵니다.
관찰 3 : 엔트로피만 올리면 텍스트 품질이 무너진다. 결정 지점의 엔트로피를 올려 비거부 응답을 풀어낼 수는 있지만, 엔트로피 전용 목적에는 풀린 뒤 문장 구조를 유지할 장치가 없습니다. 실제로 EGA 류 출력은 반복, 비일관, 파편화를 보입니다(부록 사례 연구).
🧪 3. 관찰 실험의 측정 방식
관찰은 본 실험과 같은 위협 모델과 예산 아래에서 측정했습니다. 각 입력에 대해 먼저 깨끗한 이미지로 참조 궤적을 샘플링 디코딩(고정 시드)으로 얻고, 이 궤적을 교사 강제로 따라가며 토큰별 엔트로피를 계산합니다. 특수 기호나 사소한 구두점 같은 비내용 토큰은 후보 마스크 $c_t \in {0,1}$ 로 제외하고, 내용 토큰 중 엔트로피 상위 $\rho$ 비율을 결정 집합 $S_\rho$ 로 정의합니다(Eq. 4).
$$ |S_\rho| = \lfloor \rho \cdot \textstyle\sum_t c_t \rfloor, \qquad R_\rho = {t : c_t = 1} \setminus S_\rho $$
나머지 $R_\rho$ 가 구조 집합(structural set) 입니다. 관찰 실험은 본 실험과 같은 예산($\epsilon = 8/255$, 100 스텝)에서 $\rho = 0.2$ 를 쓰고, 결정 집합은 $A = 20$ 스텝마다 갱신합니다. Greedy 로 참조 궤적을 얻어도 같은 정성적 경향이 유지됨을 확인했다고 합니다.
💡 Key Takeaway 거부는 응답 전체에 퍼져 있는 성질이 아니라 몇 개의 고엔트로피 토큰에서 내려지는 결정입니다. 방어자 입장에서는 “거부 마진이 얇은 결정 토큰이 어디에 있는가”가 곧 공격 표면의 지도가 됩니다.
UJEM 과 UJEM-KL: 목적함수의 형태와 각 항의 역할
이 절은 두 방법이 무엇을 최대화하고 무엇을 억제하는지, 그리고 각 구성 요소가 어떤 역할을 맡는지에 초점을 둡니다. 최적화 설정은 절 끝의 하이퍼파라미터 표에 정리합니다.
🧮 1. UJEM : 엔트로피 전용 기준선
관찰 1·2 에서 곧바로 나오는 최소 구현입니다. 세 단계로 구성됩니다.
| 단계 | 역할 |
|---|---|
| 참조 궤적 | 깨끗한 입력에서 샘플링한 응답 $y$ 를 고정하고, 이 궤적을 교사 강제로 따라가며 각 위치의 엔트로피를 계산합니다. 최적화 중 궤적은 바꾸지 않습니다. |
| 후보 마스크 | 특수 기호·서식 토큰·사소한 구두점 등 비내용 위치를 제외합니다. 거부 행동과 무관한 경계 토큰에 섭동 예산을 쓰지 않기 위한 장치입니다. |
| 결정 집합 선택 | 후보 위치 가운데 엔트로피 상위 일정 비율을 결정 집합 $S_\rho$ 로, 나머지를 구조 집합 $R_\rho$ 로 나눕니다. |
목적함수는 결정 집합의 평균 엔트로피를 최대화하는 것뿐입니다.
$$ \max_{|\delta|_\infty \le \epsilon} \; L_{UJEM}(\delta) = \frac{1}{|S_\rho|} \sum_{t \in S_\rho} H_t(x’, y_{<t}) $$
여기서 $x’$ 는 섭동된 입력입니다. 모든 토큰에 섭동 압력을 분산시키는 대신 결정 토큰에만 집중하는 것이 핵심입니다. 최적화 중 결정 집합은 주기적으로 현재 섭동 이미지 기준으로 다시 계산해, 섭동이 진행되면서 바뀌는 엔트로피 지형을 따라갑니다.
최적화는 랜덤 시작 $\delta_0 \sim U([-\epsilon, \epsilon])$ 의 표준 PGD 입니다. $k$ 번째 반복에서 목적함수의 기울기를 $g_k$, 스텝 크기를 $\alpha$ 라 하면
$$ \delta_{k+1} = \mathrm{clip}{[-\epsilon,\epsilon]}\big(\delta_k + \alpha \cdot \mathrm{sign}(g_k)\big), \qquad x’{img,\,k+1} = \Pi_{[0,1]}(x_{img} + \delta_{k+1}) $$
입니다. 본문 실험 설정은 Adam 옵티마이저를 쓴다고도 언급하는데, 부호 기반 PGD 갱신식과는 맞지 않으므로 재현 시 확인이 필요합니다.
🛡️ 2. UJEM-KL : 구조 위치의 KL 안정화
관찰 3 의 품질 붕괴를 막기 위해, 구조 집합 $R_\rho$ 의 토큰 분포를 깨끗한 입력의 교사 강제 분포 $q_t$ 에 묶습니다. $q_t$ 는 최적화 전에 한 번 계산해 고정하는 stop-gradient 목표입니다.
$$ L_{KL}(\delta) = \frac{1}{|R_\rho|} \sum_{t \in R_\rho} D_{KL}\big( p_t(\cdot ; \delta) \,|\, q_t(\cdot) \big) $$
최종 목적함수는 두 항의 차입니다.
$$ \max_{|\delta|_\infty \le \epsilon} \; J(\delta) = \underbrace{\frac{1}{|S_\rho|} \sum_{t \in S_\rho} H_t(x’, y_{<t})}_{\text{결정 토큰 가열} } \;-\; \lambda_{KL} \cdot \underbrace{L_{KL}(\delta)}_{\text{구조 위치 안정화} } $$
| 항 | 작용 위치 | 역할 | 저자가 주장하는 효과 |
|---|---|---|---|
| 엔트로피 최대화 | 결정 집합 $S_\rho$ (고엔트로피) | 거부 토큰과 비거부 토큰 사이의 마진을 평탄화 | 비거부 토큰이 최상위로 올라와 거부가 풀림 |
| KL 정규화 | 구조 집합 $R_\rho$ (저엔트로피) | 섭동 후 분포를 깨끗한 분포에 근접시킴 | 문장 구조·유창성 유지, 엄격한 심판에서도 “쓸모 있는” 응답으로 인정 |
결정 집합을 다시 계산해도 $q_t$ 는 바뀌지 않으므로, 갱신은 “어느 위치를 가열하고 어느 위치를 안정화할지”만 바꿉니다.
⚖️ 3. KL 가중치의 역할
$\lambda_{KL}$ 은 구조 이탈에 대한 제약 강도를 정합니다. 저자들은 JailBreakV-28K 에서 가중치를 0 부터 1 까지 바꿔 보았고(Table 5), 결과는 명확한 역U자 형태였습니다.
- 가중치 0 (UJEM 과 동일) 보다 작은 비영 값이 세 모델 모두에서 더 높은 ASR 을 냈습니다.
- 가중치를 키울수록 ASR 이 꾸준히 떨어져, 가장 큰 값에서는 세 모델 모두 UJEM 보다 10~30 포인트 낮았습니다.
| $\lambda_{KL}$ | Qwen | InternVL | LLaVA |
|---|---|---|---|
| 0 (= UJEM) | 76.4 | 81.2 | 84.3 |
| 0.001 | 80.7 | 83.7 | 82.9 |
| 0.01 | 82.2 | 83.6 | 88.3 |
| 0.05 | 79.8 | 80.1 | 86.5 |
| 0.1 | 74.5 | 75.6 | 83.2 |
| 0.5 | 68.3 | 69.4 | 78.3 |
| 1.0 | 58.7 | 52.4 | 70.9 |
(Table 5, JailBreakV-28K, 세 심판 교집합 ASR %.) 너무 작으면 구조가 무너져 심판이 “유용하지 않다”고 보고, 너무 크면 안정화가 토큰 뒤집기 효과를 억제합니다. 저자들은 과도한 안정화가 토큰 뒤집기 효과 자체를 억눌러 공격 성공을 떨어뜨리므로, 작은 비영 값이 바람직하다고 결론짓습니다. 즉 KL 항은 “품질을 위해 공격력을 희생하는 항”이 아니라, 적절한 강도에서는 공격력까지 올리는 항입니다.
🔁 4. 다른 설계 선택과의 비교
| 변형 | 아이디어 | 저자의 평가 |
|---|---|---|
| 거부 억제(anti-refusal) | 미리 정의한 거부 토큰 집합의 확률 질량을 직접 낮추는 항 추가 | 모델 간 불안정, 전이 낮음. “체계적 취약점을 드러내지 못함” |
| 조기 종료(early stopping) | 최적화 중 주기적으로 디코딩해 비거부 판정이 나오면 중단 | 과최적화로 인한 품질 저하를 막아 개선. KL 과 상보적 |
| KL 안정화 (채택) | 구조 위치를 깨끗한 분포에 묶음 | 세 모델 모두 최고 |
거부 토큰을 직접 억누르는 방식이 엔트로피 기반 방식보다 못하다는 점은 흥미롭습니다. 특정 토큰을 지정하는 순간 부분적으로 표적 공격이 되어, 비표적 설정의 장점을 잃기 때문이라고 해석할 수 있습니다.
⚙️ 5. 하이퍼파라미터
| 항목 | 값 |
|---|---|
| $L_\infty$ 예산 $\epsilon$ | $8/255$ |
| 최적화 반복 | 100 (모든 기울기 기반 방법 동일) |
| 고엔트로피 비율 $\rho$ | 0.2 |
| 결정 집합 갱신 주기 $A$ | 20 |
| 디코딩 주기 $K$ | 20 |
| KL 가중치 $\lambda_{KL}$ | 0.01 |
| 디코딩 온도 | 0.8 (샘플링) |
$q_t$ 는 깨끗한 입력에서 한 번만 미리 계산하므로, 결정 집합을 갱신해도 “어느 위치를 가열하고 어느 위치를 안정화할지”만 바뀝니다.
💡 Key Takeaway UJEM-KL 은 “어떤 토큰을 올려라”고 지시하지 않습니다. 결정 토큰의 마진을 평탄화하고 나머지는 그대로 두라고만 합니다. 이 비지시성이 품질과 전이성을 동시에 가져옵니다.
실험 설정과 세 심판 교집합 프로토콜
비표적 공격은 성공 판정을 전적으로 외부 심판에 맡기므로, 심판 설계가 결과의 신뢰도를 좌우합니다. 저자들은 이 점을 의식해 의도적으로 보수적인 프로토콜을 택했습니다.
🧪 1. 설정
| 항목 | 내용 |
|---|---|
| 벤치마크 | JailBreakV-28K, SafeBench (부록에서 HarmBench 추가) |
| 평가 부분집합 | 각 벤치마크에서 고정 시드로 1,000개. JailBreakV-28K 는 family 별, SafeBench 는 scenario 별 층화 샘플링으로 범주 구성을 보존 |
| 피해 모델 | Qwen2.5-VL-7B-Instruct, InternVL3.5-4B, LLaVA-1.5-7B (시각 인코더·해상도 처리·융합 방식이 서로 다름) |
| 접근 권한 | 기본은 소스 모델 white-box. 전이 실험에서는 소스에서 만든 이미지를 타깃에 그대로 적용 |
| 비교 기준선 | FigStep (typographic), UJA (비표적 표방), SEA (앙상블 시뮬레이션), Force (feature over-reliance 보정), 온도 조작 |
| 공정성 | 모든 기울기 기반 방법은 같은 $L_\infty$ 예산, 같은 최적화 반복 수, 같은 디코딩·심판 프로토콜 |
세 피해 모델이 아키텍처 면에서 다양하다는 점이 중요합니다. LLaVA 는 CLIP-ViT 특징을 선형층으로 투영하고, InternVL 은 큰 시각 백본과 동적 고해상도 처리를 쓰며, Qwen2.5-VL 은 window attention 을 갖는 네이티브 동적 해상도 ViT 를 씁니다. 이런 차이가 교차 모델 전이를 자명하지 않게 만들어 전이성 평가의 의미 있는 시험대가 됩니다.
⚖️ 2. 세 심판 교집합
| 심판 | 출처 | 보는 관점 |
|---|---|---|
| Llama Guard | JailBreakV-28K 기본 심판 | 넓은 위험 범주 커버리지, 재현 가능한 기준 |
| HarmBench 분류기 (HarmBench-Llama-2-13b-cls) | HarmBench | 응답이 실행 가능한 유해 행동 인스턴스인지. 어조만 유해하고 실질적으로 쓸모없는 경우를 거름 |
| GPT-4o 심판 | LLM-as-a-judge | 패러프레이즈, 간접 표현, 다문장 의존, 다국어 등 맥락 민감 판단 |
주 지표 ASR 은 세 심판이 독립적으로 모두 unsafe 로 판정한 경우만 성공으로 셉니다. 단일 심판 ASR 은 파편화되거나 경계선에 있는 응답까지 성공으로 집계해 “쓸모 있는 jailbreak” 를 과대평가할 수 있기 때문입니다(Section 3.2 의 관찰 3 과 연결). 이 프로토콜은 성공을 과소 집계할 수 있지만 더 높은 정밀도의 신호를 주며, 모든 기준선에 똑같이 적용됩니다.
📊 3. 심판 민감도 (Figure 5)
같은 응답을 세 심판이 각각 어떻게 판정하는지와 교집합을 UJEM 과 UJEM-KL 에 대해 비교했습니다. 엔트로피 전용 UJEM 의 출력은 작은 유해 조각을 포함하면서도 부분 거부·반복·주제 이탈이 섞여 있어, 단일 심판은 성공으로 치지만 교집합에서는 걸러지는 경우가 많습니다. UJEM-KL 은 구조가 보존되어 심판 간 일치도가 높습니다. 즉 KL 항은 품질뿐 아니라 평가자 간 합의율도 올립니다.
💡 Key Takeaway 비표적 공격 논문을 읽을 때는 “어떤 심판으로 성공을 쟀는가”가 가장 먼저 볼 항목입니다. 이 논문은 교집합이라는 보수적 선택으로 이 약점을 정면으로 다뤘고, 그 덕에 KL 항의 가치가 수치로 드러났습니다.
White-box 결과
같은 예산·반복·심판 아래에서 비교한 주 결과입니다. 비표적 엔트로피 목적만으로도 강한 표적 기준선과 맞먹고, KL 을 더하면 모든 열에서 같거나 앞섭니다.
📈 1. 주 결과 (Table 1, 세 심판 교집합 ASR %)
| 방법 | JBV Qwen2.5-VL | JBV InternVL3.5 | JBV LLaVA-1.5 | SB Qwen2.5-VL | SB InternVL3.5 | SB LLaVA-1.5 |
|---|---|---|---|---|---|---|
| FigStep | 78.43 | 75.17 | 82.28 | 54.52 | 61.19 | 68.66 |
| UJA | 72.58 | 70.21 | 78.06 | 55.82 | 53.37 | 59.08 |
| SEA | 81.64 | 83.39 | 85.23 | 68.17 | 66.65 | 71.42 |
| Force | 79.27 | 82.14 | 84.02 | 64.09 | 62.28 | 67.47 |
| UJEM | 76.41 | 81.22 | 84.33 | 61.83 | 60.12 | 63.18 |
| UJEM-KL | 82.23 | 83.67 | 88.32 | 67.39 | 70.24 | 72.21 |
JBV = JailBreakV-28K, SB = SafeBench.
읽을 점은 세 가지입니다.
- UJEM 만으로도 SEA·Force 급 : 접두사 제약 없이 엔트로피만 올려도 강한 최적화 기준선과 비슷한 수준에 도달합니다. 고엔트로피 지점 조작이 유효한 공격 경로라는 뜻입니다.
- UJEM-KL 은 일관되게 UJEM 을 앞섬 : 특히 SafeBench 에서 이득이 큽니다. InternVL3.5 의 경우 60.12→70.24 로 약 10 포인트입니다. SafeBench 질의는 더 길고 구조적인 응답을 끌어내므로 품질 안정화의 효과가 크게 나타납니다. 본문은 이 이득을 “+8.5” 로 적고 있는데, 표 수치로 계산하면 +10.12 입니다.
- SafeBench Qwen2.5-VL 만 SEA 가 근소 우위 : 68.17 대 67.39 입니다. 저자들은 “on-par or better” 로 표현합니다.
🧾 2. HarmBench 추가 결과 (Table 7, ASR %)
| 방법 | Qwen2.5-VL | InternVL3.5 | LLaVA-1.5 |
|---|---|---|---|
| FigStep | 72.8 | 70.1 | 76.4 |
| UJA | 65.3 | 63.7 | 68.9 |
| SEA | 76.1 | 76.8 | 78.5 |
| Force | 74.8 | 77.3 | 77.9 |
| UJEM | 71.6 | 74.2 | 79.4 |
| UJEM-KL | 78.4 | 79.1 | 82.3 |
주 결과와 같은 경향입니다. 엔트로피 전용 기준선이 이미 경쟁력 있고, KL 안정화가 구조 손상을 줄여 측정된 성공률을 더 올립니다.
🔎 3. 사례 연구 (Figure 6)
같은 깨끗한 이미지와 유해 지시에 대해 Qwen-VL 과 LLaVA 모두 깨끗한 입력에서는 거부합니다. White-box 에서는 SEA 와 UJEM-KL 모두 소스 모델의 거부를 뒤집지만, SEA 의 출력에는 거부 스타일의 면책 문구가 남아 모델이 여전히 거부 경계 근처에 있음을 드러냅니다. 이 차이는 전이 설정에서 선명해집니다. Qwen 에서 만든 이미지를 LLaVA 에 적용하면 SEA 는 부분 거부로 되돌아가고, UJEM-KL 은 비거부 응답을 유지합니다.
💡 Key Takeaway “접두사를 강제하지 않아도 강하다”가 Table 1 의 메시지이고, “구조를 지키면 더 강하다”가 UJEM→UJEM-KL 행의 메시지입니다. 두 메시지 모두 방어자가 거부 결정의 마진을 관리해야 함을 시사합니다.
교차 모델 전이
논문의 중심 주장을 검증하는 표입니다. 소스 모델에서 만든 적대 이미지를 다른 타깃 모델에 그대로 적용했을 때의 ASR 입니다. 대각선은 white-box 입니다.
🔁 1. 전이 결과 (Table 2, ASR %)
JailBreakV-28K
| 소스 | 방법 | →Qwen2.5-VL | →InternVL3.5 | →LLaVA-1.5 |
|---|---|---|---|---|
| Qwen2.5-VL | FigStep | 78.43 | 43.82 | 54.40 |
| UJA | 72.58 | 29.08 | 38.35 | |
| SEA | 81.64 | 35.24 | 44.03 | |
| Force | 79.27 | 33.16 | 41.47 | |
| UJEM | 76.41 | 40.64 | 48.50 | |
| UJEM-KL | 82.23 | 48.62 | 56.63 | |
| InternVL3.5 | FigStep | 41.38 | 75.17 | 46.89 |
| UJA | 26.05 | 70.21 | 34.42 | |
| SEA | 33.42 | 83.39 | 43.76 | |
| Force | 31.62 | 82.14 | 42.73 | |
| UJEM | 40.27 | 81.22 | 52.61 | |
| UJEM-KL | 44.94 | 83.67 | 60.77 | |
| LLaVA-1.5 | FigStep | 67.33 | 52.94 | 82.28 |
| UJA | 43.95 | 38.67 | 78.06 | |
| SEA | 48.86 | 44.10 | 85.23 | |
| Force | 47.29 | 43.02 | 84.02 | |
| UJEM | 57.16 | 54.34 | 84.33 | |
| UJEM-KL | 67.14 | 62.44 | 88.32 |
SafeBench
| 소스 | 방법 | →Qwen2.5-VL | →InternVL3.5 | →LLaVA-1.5 |
|---|---|---|---|---|
| Qwen2.5-VL | FigStep | 54.52 | 25.89 | 31.23 |
| UJA | 55.82 | 22.76 | 26.18 | |
| SEA | 68.17 | 29.01 | 33.36 | |
| Force | 64.09 | 26.93 | 30.76 | |
| UJEM | 61.83 | 32.74 | 36.09 | |
| UJEM-KL | 67.39 | 39.78 | 42.30 | |
| InternVL3.5 | FigStep | 23.39 | 61.19 | 26.51 |
| UJA | 19.69 | 53.37 | 26.87 | |
| SEA | 26.51 | 66.65 | 35.82 | |
| Force | 23.85 | 62.28 | 31.66 | |
| UJEM | 29.36 | 60.12 | 39.76 | |
| UJEM-KL | 37.54 | 70.24 | 49.45 | |
| LLaVA-1.5 | FigStep | 44.38 | 32.86 | 68.66 |
| UJA | 36.97 | 29.51 | 59.08 | |
| SEA | 43.19 | 38.15 | 71.42 | |
| Force | 40.73 | 33.98 | 67.47 | |
| UJEM | 46.69 | 41.21 | 63.18 | |
| UJEM-KL | 53.80 | 51.94 | 72.21 |
📌 2. 해석
- 거의 모든 소스-타깃 쌍에서 최고 : 유일한 예외는 JailBreakV-28K 의 LLaVA→Qwen 으로, FigStep 이 67.33 대 67.14 로 근소하게 앞섭니다. FigStep 은 typographic 조작이라 응답 목표를 지정하지 않고 의미 수준에서 전이되기 때문이라고 저자들은 봅니다. 즉 최적화 기반 방법 중에서는 UJEM-KL 이 모든 쌍에서 최고입니다.
- 표적 기준선의 전이 붕괴 : SEA 와 Force 는 white-box 에서 80% 대이지만 전이하면 30% 대로 떨어지는 경우가 많습니다. 기존 부정 결과와 정확히 일치하는 패턴입니다.
- KL 의 이득이 전이에서 더 큼 : 본문은 InternVL→LLaVA 에서 전이 이득 +8.61 대 white-box 이득 +4.0 이라고 적습니다. 표 수치로는 52.61→60.77 (+8.16) 대 81.22→83.67 (+2.45) 로, 방향은 같고 크기는 다릅니다. 저자들은 안정화가 품질만 올리는 것이 아니라 공유된 결정 토큰의 모델 무관 취약점을 더 잘 포착한다고 해석합니다.
- 비대칭성 : LLaVA 를 소스로 쓰면 전이가 가장 잘 되고, InternVL 을 소스로 쓰면 가장 어렵습니다. 소스 모델의 선택이 블랙박스 공격 성공률의 큰 변수임을 보여 줍니다.
🧭 3. 기존 부정 결과와의 관계
| 기존 주장 | 본 논문의 재해석 |
|---|---|
| 기울기 기반 보편 이미지 jailbreak 는 전이되지 않는다 | 접두사 표적 목적함수에서는 맞다. 비표적 정식화로는 자동으로 확장되지 않는다 |
| 모델마다 취약점이 다르다 | 고엔트로피 결정 토큰이라는 현상은 모델 간에 공유된다. 다만 정확한 위치와 경쟁 토큰 집합은 다르다 |
| 전이성 = 같은 유해 궤적을 재현하는 능력 | 전이성 = 소수 결정 지점에서 거부 결과를 뒤집는 능력 |
🗺️ 4. 다른 공격 계열과의 위치
| 연구 | 공격 지점 | 목적함수 성격 |
|---|---|---|
| FigStep, MM-SafetyBench | 입력 의미 (typography) | 비최적화, black-box |
| Jailbreak in Pieces | CLIP 임베딩 공간 | 입력 측 임베딩 매칭 |
| JailBound | fusion-layer 잠재 경계 | 표현 공간 경계 넘기 |
| UJA, SEA, Force | 출력 분포 | 표적 또는 부분 표적 |
| UJEM-KL | 출력 분포의 고엔트로피 결정 토큰 | 엄격히 비표적 |
같은 “출력 분포” 계열 안에서도 UJEM-KL 은 어떤 토큰을 올릴지 지정하지 않는다는 점이 다릅니다. 논문이 후속 방향으로 제안하는 결정 토큰 마진 통계나 토크나이저 무관 구조 정규화는 이 관점을 더 밀고 나가는 것입니다.
💡 Key Takeaway 전이 표에서 가장 중요한 숫자는 UJEM-KL 의 절대값이 아니라 SEA·Force 의 급락과 UJEM-KL 의 완만한 하락의 대비입니다. 전이성은 목적함수의 함수입니다.
방어 강건성과 방어자 관점
방어자에게 가장 쓸모 있는 절입니다. 어떤 방어 계열이 이 공격을 막고 어떤 계열이 못 막는지, 그리고 그 이유가 결정 토큰 관점에서 어떻게 설명되는지를 다룹니다.
🛡️ 1. 방어 아래의 ASR (Table 4 / Table 9, SafeBench, 세 심판 교집합 %)
| 방법 | 무방어 | SafeDecoding | Adv. Training | UniGuard | R-TOFU |
|---|---|---|---|---|---|
| FigStep | 66.8 | 48.7 | 50.4 | 27.1 | 30.8 |
| UJA | 58.7 | 41.6 | 44.2 | 21.3 | 24.5 |
| SEA | 68.1 | 57.6 | 57.9 | 33.8 | 39.4 |
| Force | 65.4 | 53.1 | 57.2 | 32.4 | 40.9 |
| UJEM | 66.9 | 54.4 | 56.4 | 30.9 | 36.1 |
| UJEM-KL | 70.1 | 65.3 | 61.2 | 32.7 | 40.8 |
무방어 수치가 Table 1 의 SafeBench 열과 다르다는 점은 유의해야 합니다. 본문 Table 4 는 UJEM/UJEM-KL 만 담고, 부록 Table 9 가 기준선까지 포함한 확장판입니다.
🔬 2. 방어 계열별 해석
| 방어 계열 | 작동 방식 | UJEM-KL 의 반응 | 저자의 설명 |
|---|---|---|---|
| SafeDecoding (디코딩 분포 재조정) | 유해 후보를 억눌러 거부 토큰이 비거부 토큰을 앞서는 마진을 넓힘 | 70.1→65.3, 가장 작은 하락 | 공격이 바로 그 마진을 평탄화하므로, 로짓 재가중 후에도 비거부 토큰이 상위 집합에 다시 들어옴 |
| 적대적 학습 (일반 강건성) | 학습으로 섭동 저항성 확보 | 70.1→61.2 | 마찬가지로 마진 확대에 기대므로 부분적으로만 효과 |
| UniGuard (사후 가드레일) | 생성 후 유해 출력을 걸러냄 | 70.1→32.7, 절반 이하 | 토큰 수준 결정이 어떻게 내려졌는지와 무관하게 결과를 거름 |
| R-TOFU (언러닝) | 가중치에서 유해 행동 자체를 제거 | 70.1→40.8 | 유해 토큰의 기저 확률 질량을 줄여, 유계 섭동으로 넘을 수 없을 만큼 거부 마진을 키움 |
표적 응답 양식이나 강한 타깃 유도에 의존하는 방법일수록 디코딩 시점 방어에서 더 크게 무너지고, 비표적 엔트로피 목적은 상대적으로 버팁니다. 반면 사후 필터링이나 모델 수준 안전 제거 아래에서는 모든 방법이 크게 억제되며, 이들 방어가 유효 유해 질량을 더 직접적으로 줄이기 때문입니다.
🧷 3. 방어자에게 주는 함의 (Appendix D)
저자들은 이 결과를 토대로 방어 설계에 관한 입장을 명시합니다.
- 국소 분포 재조정은 취약하다 : 재순위화, 로짓 필터링, 제약 디코딩처럼 분포를 국소적으로 손보는 방어는 소수의 고엔트로피 결정 토큰에서 거부 마진을 무너뜨리는 공격에 깨지기 쉽습니다.
- 모델 수준 유해 질량 제거 : 언러닝이나 표적 안전 미세조정은 공격 표면을 더 근본적으로 줄이지만, 인접한 무해 능력까지 억누르거나 경계선 질의의 지시 추종을 약화시키는 유용성 손실이 따릅니다.
- 사후 가드레일 : 기반 모델이 일부 손상돼도 유효하지만, 오탐·지연·비용이 늘고 패러프레이즈나 분포 이동에 약합니다. 강한 필터링은 탐지하기 어려우면서 여전히 유해한 회피적 생성을 유도할 수도 있습니다.
- 결론 : 비표적 멀티모달 jailbreak 에 대한 방어는 단일 스위치가 아니라 안전-유용성 경계 위의 한 점입니다. 저자들은 표면적 거부 휴리스틱에 기대기보다 고엔트로피 유해 토큰을 제거하는 쪽이 더 강건한 정렬일 수 있다고 제안합니다.
💡 Key Takeaway 이 공격은 “거부 토큰이 1등이기만 하면 된다”는 방어 가정을 정확히 겨냥합니다. 마진을 넓히는 방어는 평탄화에 지고, 유해 질량 자체를 줄이거나 결과를 거르는 방어만 버팁니다. 다만 그 대가는 유용성과 비용입니다.
Ablation 과 추가 분석
각 구성 요소의 기여와, 효과가 샘플링 무작위성에 기댄 것이 아님을 확인하는 분석입니다.
🔬 1. 구성 요소 Ablation (Table 3, JailBreakV-28K, ASR %)
| 변형 | Qwen | InternVL | LLaVA |
|---|---|---|---|
| UJEM (종료 제어 없음) | 73.18 | 78.45 | 82.07 |
| UJEM + AR (거부 억제) | 70.52 | 76.83 | 83.61 |
| UJEM + ES (조기 종료) | 76.41 | 81.22 | 84.33 |
| UJEM + KL (= UJEM-KL) | 82.23 | 83.67 | 88.32 |
- 조기 종료는 기준선을 개선합니다. 거부가 풀린 뒤에도 최적화를 계속하면 쓸모 있는 jailbreak 품질이 떨어진다는 증거입니다.
- 거부 억제는 Qwen·InternVL 에서 오히려 떨어지고 LLaVA 에서만 소폭 오릅니다. 모델 간 불안정하고 전이도 낮아, 체계적 취약점을 드러내지 못한다고 저자들은 평가합니다.
- KL 안정화가 세 모델 모두 최고입니다. 거부 신호를 직접 최적화하지 않으면서 유창성과 공격 효과를 함께 올립니다.
- 조기 종료는 KL 과 상보적이어서 함께 쓰면 추가 이득이 있지만, 기여를 깔끔히 분리하기 위해 주 결과는 조기 종료 없는 UJEM-KL 로 보고합니다.
Table 3 의 “UJEM + ES” 행이 Table 1 의 “UJEM” 행과 같은 수치라는 점에 주의해야 합니다. 즉 Table 1 의 UJEM 은 조기 종료를 포함한 버전으로 보입니다.
🌡️ 2. 디코딩 온도: 깨끗한 입력 대 공격 입력 (Table 8, JailBreakV-28K, ASR %)
| T | Qwen Clean | Qwen Attacked | InternVL Clean | InternVL Attacked | LLaVA Clean | LLaVA Attacked |
|---|---|---|---|---|---|---|
| 0.0 (greedy) | 16.8 | 83.4 | 19.6 | 79.2 | 41.8 | 89.3 |
| 0.2 | 19.6 | 66.2 | 18.6 | 58.7 | 40.4 | 72.4 |
| 0.4 | 19.6 | 64.8 | 18.9 | 56.9 | 39.6 | 74.1 |
| 0.6 | 19.3 | 73.9 | 19.3 | 78.6 | 40.4 | 81.7 |
| 0.8 | 18.9 | 82.6 | 15.4 | 77.8 | 38.6 | 88.5 |
| 1.0 | 17.9 | 71.3 | 18.6 | 65.2 | 42.9 | 80.8 |
| 1.5 | 24.3 | 74.1 | 20.0 | 68.4 | 41.1 | 83.6 |
- 온도를 올리면 깨끗한 입력에서도 일부 유해 생성이 나오지만, 공격 입력의 효과에 비하면 훨씬 약합니다.
- greedy(T=0) 에서 깨끗한 입력은 매우 낮고 공격 입력은 가장 높습니다. 효과가 샘플링 무작위성이 아니라 섭동에서 온다는 가장 직접적인 증거입니다.
- 모델별로 최적 온도가 다르고, 과도한 온도는 안정성을 떨어뜨립니다. 저자들은 균형점으로 T=0.8 을 택했습니다.
- LLaVA-1.5 는 깨끗한 입력에서도 약 40% 가 unsafe 로 판정되어, 세 모델 중 기본 정렬이 가장 약합니다.
🧾 3. 정성 사례와 심판 불일치 (Figure 7)
엔트로피 전용 최적화의 출력은 거부가 깨끗이 사라지지 않은 채 잔여 도덕화 문구, 반복된 “Sure”, 다국어 손상, 무관한 이미지 묘사, 파편적 유해 연속 등이 섞여 있습니다. 거부 경계를 넘은 뒤에도 불확실성을 계속 키우면서 더 이상 안전과 무관한 위치의 분포까지 평탄화하기 때문입니다. 이런 응답은 유해 어휘 조각 때문에 단일 심판에서는 성공으로 집계될 수 있지만 실제로는 쓸모가 낮고, 세 심판 교집합은 이 경계 사례의 상당수를 걸러냅니다. UJEM-KL 은 구조 위치의 깨끗한 분포를 보존해 더 유창하면서 평가자 간에 더 일관되게 성공으로 판정됩니다.
💡 Key Takeaway Ablation 의 교훈은 “거부를 직접 때리지 말고 마진을 평탄화하라”와 “풀린 뒤에는 멈추거나 구조를 잡아라” 두 가지입니다. 온도 표는 이 효과가 디코딩 트릭이 아님을 확인해 줍니다.
한계와 열린 방향
이 논문은 비표적 정식화라는 단순한 전환으로 전이성 논쟁을 다시 열었지만, 실험 범위와 평가 설계, 방법의 모델 의존성에는 분명한 제약이 있습니다.
⚠️ 1. 저자가 인정한 한계
- 교차 모델 전이는 여전히 어렵습니다. 시각 인코더, 융합 메커니즘, 토크나이저 규칙, 디코딩 행동이 다른 VLM 사이에서는 특히 그렇습니다. 고엔트로피 결정 토큰이 공유 현상으로 보이지만, 정확한 위치와 경쟁 토큰 집합은 모델마다 달라 즉시 사용 가능한 전이성을 제한합니다.
- 세 심판 교집합은 성공을 과소 집계할 수 있습니다. 저자들은 이를 정밀도를 위한 의도적 선택으로 설명합니다.
- 방어 평가는 SafeBench 의 네 방어로 제한됩니다. 유해 콘텐츠를 제거하는 방어(UniGuard, R-TOFU)에 대한 공격력은 낮으며, 이 계열에 대한 추가 조사(예: latent attack)를 후속 과제로 남깁니다.
- 후속 방향으로 결정 토큰 마진 통계, 거친 의미 정렬, 토크나이저에 의존하지 않는 구조 보존 정규화 같은 모델 무관 신호에 기반한 전이 지향 목적함수와, 디코딩 전략·프롬프트 계열에 따른 고엔트로피 결정 집합의 모델 간 정렬 연구를 제안합니다.
🔒 2. 외부 관점의 한계
- 범위 : 오픈소스 VLM 3개(4B~7B)와 벤치마크 2개(부록 포함 3개)가 전부입니다. 폐쇄형 API 모델, 더 큰 최전선 모델, 추론(thinking) 모델, 도구 사용 에이전트로의 일반화는 다루지 않습니다. 추론 모델은 거부 결정이 긴 사고 과정 뒤로 미뤄질 수 있어 “소수의 고엔트로피 결정 토큰” 가정이 그대로 성립하는지 불확실합니다.
- 위협 모델 : 이미지만 섭동한다는 가정은 깔끔하지만, 실제 공격자는 텍스트도 조작합니다. 또한 전이 실험은 소스 모델 white-box 를 전제하므로, 폐쇄형 타깃만 있는 환경에서는 대리 모델 선택과 디코딩 설정 불일치가 핵심 변수가 됩니다. Table 2 의 소스별 비대칭성은 이 점을 암시합니다.
- 평가 : GPT-4o 심판은 버전·정책 변화에 취약해 재현성에 부담이 됩니다. 교집합 프로토콜은 세 심판의 공통 편향은 걸러내지 못합니다.
- 방법의 의존성 : 깨끗한 입력에서 샘플링한 참조 궤적에 교사 강제로 묶여 있습니다. 참조 응답 자체가 거부문이면 “결정 토큰”의 정의가 그 거부문의 구조에 종속됩니다. 참조 궤적 샘플링의 분산이 결과에 미치는 영향은 보고되지 않았습니다.
- 내부 불일치 : 본문의 개선 폭 서술(+8.5, +8.61/+4.0)이 표 수치와 어긋나고, Table 1 의 UJEM 행이 Table 3 의 “UJEM + ES” 행과 일치하며, Table 1 의 SafeBench 무방어 수치와 Table 4/9 의 무방어 수치가 다릅니다. 인용 시 표 수치를 기준으로 삼고 어느 표인지 명시하는 것이 안전합니다.
- 토크나이저 의존성 : 결정 토큰의 위치는 토크나이저 규칙에 묶여 있어, 토크나이저가 다른 모델 사이에서는 “같은 결정 지점”을 정의하기조차 어렵습니다. 저자들이 제안하는 토크나이저 무관 정규화가 필요한 이유입니다.
- 방어의 비용 미측정 : UniGuard 와 R-TOFU 가 ASR 을 크게 낮추지만, 이들의 유용성 손실·오탐·지연 같은 안전-유용성 경계는 논의만 있고 측정되지 않았습니다.
- 적응형 방어 부재 : 평가된 방어는 모두 공격을 모르는 상태의 방어입니다. 결정 토큰의 엔트로피를 감시하거나 입력 섭동을 탐지·정화하는 적응형 방어는 다루지 않습니다.
❓ 3. 열린 질문
- 고엔트로피 결정 토큰은 왜 모델 간에 공유되는가? 같은 안전 데이터·거부 템플릿으로 정렬된 결과인지, 언어 모델 백본의 공통 성질인지에 따라 방어 전략이 달라집니다.
- 거부 마진을 넓히는 방어가 마진 평탄화 공격에 진다면, 방어는 마진이 아니라 엔트로피 자체를 관리해야 하는가? 결정 토큰에서 엔트로피를 낮추는 정렬이 유용성에 어떤 비용을 치르는지는 미지수입니다.
- 세 심판이 모두 동의한 응답과 하나만 동의한 응답 사이의 실제 유해성 차이는 얼마나 되는가? 사람 평가가 없어 “쓸모 있는 jailbreak” 라는 개념이 심판 정의에 머물러 있습니다.
- 텍스트 전용 LLM 에서도 같은 비표적 엔트로피 목적이 전이성을 올리는가? 저자들은 LLM 쪽 선행 연구를 인용하지만 직접 실험하지 않았습니다.
- 고엔트로피 결정 토큰은 프롬프트 계열별로 안정적인가, 유해 범주 특이적인가? 안전 미세조정은 결정 토큰의 엔트로피를 낮추는가, 거부 토큰 질량만 올리는가?
- KL 안정화는 유창성을 보존하지만 유해성의 구체성도 함께 보존하거나 강화하는가?
- 폐쇄형 VLM API 에 대해 대리 모델 전용으로 만든 UJEM-KL 이미지는 어느 정도 전이되는가?
- 이미지 섭동 탐지나 전처리(정화) 방어를 거치면 결정 토큰의 엔트로피 지형이 어떻게 변하는가?
- 멀티모달 융합 층의 어느 지점에서 이미지 섭동이 언어 토큰 엔트로피로 전파되는가?
🧷 4. 내 판단과 연구 연결
- 이 논문의 가장 가치 있는 부분은 공격 자체보다 “거부는 소수의 고엔트로피 결정 토큰에서 내려진다” 는 진단입니다. 방어 연구에서 거부 행동을 분석할 때 응답 전체가 아니라 결정 토큰의 엔트로피와 상위 후보 구성을 추적하는 것이 훨씬 날카로운 신호가 될 수 있습니다.
- Table 8 의 greedy 행은 공격 효과를 샘플링 효과와 분리하는 깔끔한 통제 조건입니다. jailbreak 평가에서 “T=0 에서도 성립하는가”를 기본 보고 항목으로 삼을 만합니다.
- 방어 표의 패턴은 방어 설계에 바로 쓸 수 있는 교훈을 줍니다. 디코딩 시점 마진 확대 방어는 이 계열 공격에 구조적으로 약하므로, 결정 토큰의 엔트로피를 직접 낮추는 정렬이나 유해 질량 제거(언러닝) 쪽이 더 유망합니다. 다만 저자들도 지적하듯 유용성 비용을 함께 측정해야 합니다.
- 세 심판 교집합 프로토콜과 Figure 5 의 심판 민감도 분석은 비표적 공격 논문을 평가하는 기준선으로 가져갈 만합니다. 단일 심판 ASR 만 보고하는 공격 논문은 품질이 무너진 응답을 성공으로 세고 있을 가능성이 큽니다.
- 방어자 입장에서 다음 실험은 적응형 방어입니다. 디코딩 중 결정 토큰의 엔트로피 급등을 탐지해 재검토를 트리거하거나, 참조 분포와의 KL 이 비정상적으로 작은(구조만 보존된) 입력을 의심하는 식의 탐지기가 이 공격 계열에 어떻게 반응하는지가 궁금합니다.
- 판단 : 설득력과 중요도는 높고, 새로움은 중간에서 높음, 재현 가능성은 중간, 실제 위험성은 중간에서 높음입니다. 가장 강한 부분은 “전이가 안 된다”는 기존 결론을 목적함수 설계 관점에서 재해석하고, 고엔트로피 결정 토큰이라는 기계론적 고리로 공격 목표와 전이성을 연결한 점입니다. 가장 약한 부분은 폐쇄형 black-box 환경으로의 일반화이며, 토크나이저·디코딩·심판 설정에 민감할 가능성이 있습니다.
- 인용 용도 : VLM jailbreak 전이성 논쟁의 배경, 표적 접두사 공격 대 비표적 엔트로피 공격 비교, 토큰 수준 엔트로피 기반 결정 지점 선택 방법론, 이미지 섭동이 거부 마진을 붕괴시키는 사례, 표면적 거부·로짓 휴리스틱 방어의 한계, 세 심판 교집합 ASR 프로토콜.
- 연구 연결 : 거부 행동을 출력 수준이 아니라 토큰 분포 기하 관점에서 봐야 한다는 근거를 제공합니다. 거부 토큰 마진, 엔트로피 집중, 구조 이동은 기계론적 평가 특징으로 쓸 수 있습니다. 안전 평가에서 “거부/비거부 상위 $k$ 경쟁”을 지표화하고, 미세조정이나 디코딩 방어 전후로 고엔트로피 결정 토큰의 위치와 마진 변화를 추적하며, 공격 없는 진단으로 유해 프롬프트에서 비거부 토큰 질량이 상위 $k$ 에 얼마나 남아 있는지 측정할 수 있습니다. 비교 기준선으로는 FigStep, UJA, SEA, Force 를 표적/비표적 축에서, 온도 조작·UJEM·UJEM-KL 을 디코딩 전용/엔트로피 전용/엔트로피+안정성 축에서 둘 수 있습니다. 확장으로는 폐쇄형 API 대리 전이 실험, 토크나이저 무관 결정 토큰 정렬 지표, 방어 인식 엔트로피 마진 정규화, 심판이 아닌 사람 평가 유용성과의 상관 분석이 있습니다.
-
실행 항목
- UJEM-KL 재현 시 ASR 외에 거부 토큰 마진, 엔트로피 이동, 출력 유창성 점수를 함께 기록. 단일 심판과 교집합의 불일치 사례 별도 분석
- 유해 범주별 고엔트로피 결정 토큰 위치 분포 추출, 깨끗한 입력 대 섭동 입력에서 상위 $k$ 후보 변화 시각화
- 로짓 필터링·SafeDecoding 류 방어가 거부 마진을 실제로 얼마나 넓히는지 측정. unlearning 또는 표적 안전 미세조정 후 무해 작업 유용성 저하도 함께 평가
- 공개 코드가 확인되지 않으므로 논문의 알고리즘과 부록 설정으로 최소 재현부터 시작. Qwen2.5-VL 또는 LLaVA 하나로 단일 모델 white-box UJEM → UJEM-KL 순서가 현실적
- 후속 문헌: 접두사 표적 VLM jailbreak 전이 실패 연구, 엔트로피 유도 적대 공격 계열, SafeDecoding·UniGuard·R-TOFU 같은 디코딩 시/사후/unlearning 방어 계열
💡 Key Takeaway 이 논문은 “브레이크만 부수고 바퀴는 남기는” 공격이 전이된다는 것을 보였습니다. 다음 질문은 결정 토큰이 모델 간에 얼마나 정렬되는지, 그리고 그 마진을 넓히는 방어가 무해한 불확실성까지 망가뜨리지 않을 수 있는지입니다.