You know maize mean?
Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization
0. Summary
기본 정보 : ArXiv,2026.05.11, Break the Brake, Not the Wheel: Untargeted Jailbreak via Entropy Maximization
연구 배경
시각-언어 모델(VLM)에 대한 gradient 기반 보편 이미지 jailbreak 는 white-box 소스 모델에서는 잘 작동하지만 다른 모델로는 잘 전이되지 않는다는 것이 기존 연구의 결론이었다. 이 결론은 흔히 “모델 간에 공유되는 취약점이 없다”는 의미로 받아들여졌다. 그러나 기존 공격 대부분은 “Sure, here is …” 같은 고정 접두사(prefix)나 응답 패턴을 강제하는 표적(targeted) 목적함수를 쓴다. 표적 공격은 대상 모델에서 동일한 토큰 궤적을 재현해야 하므로 아키텍처, 토크나이저, 디코딩 행동의 차이에 취약하다. 따라서 낮은 전이성이 실제 취약점 부재 때문인지, 아니면 과도하게 제약된 최적화 목표 때문인지는 분리되지 않은 질문이었다.
제안 방법
논문은 고정 목표 문자열이나 응답 형식 없이, 외부 안전 평가자가 “안전하지 않지만 유용한” 응답으로 판정하면 성공으로 보는 엄격히 비표적(strictly untargeted) 멀티모달 jailbreak 위협 모델을 정식화한다. 핵심 관찰은 유해 프롬프트에 대한 거부가 응답 전체에 고르게 퍼져 있지 않고 소수의 고엔트로피 결정 토큰(high-entropy decision token) 에 집중된다는 것이다. 이에 따라 UJEM 은 깨끗한 참조 궤적에서 엔트로피 상위 $\rho$ 비율의 내용 토큰 위치를 결정 집합 $S_\rho$ 로 선택해 그 위치의 다음 토큰 엔트로피를 최대화하고, UJEM-KL 은 나머지 저엔트로피 구조 집합 $R_\rho$ 에서 섭동된 분포가 깨끗한 분포에서 벗어나지 않도록 KL 정규화를 더한다. 즉 거부 결정은 흔들되(브레이크를 부수되) 문장 구조와 유창성은 보존한다(바퀴는 부수지 않는다). 이미지만 $\ell_\infty$ 예산 $\epsilon=8/255$ 안에서 섭동하고 텍스트 지시는 그대로 둔다.
발견 사실
JailBreakV-28K 와 SafeBench 각 1,000개 층화 표본에서 Qwen2.5-VL-7B-Instruct, InternVL3.5-4B, LLaVA-1.5-7B 를 평가했고, Llama Guard, GPT-4o, HarmBench 분류기 세 심판이 모두 안전하지 않다고 판정해야 성공으로 세는 보수적 교집합 프로토콜을 썼다. White-box 에서 UJEM-KL 은 JailBreakV-28K 기준 82.23 / 83.67 / 88.32%, SafeBench 기준 67.39 / 70.24 / 72.21% 의 ASR 로 FigStep, UJA, SEA, Force 등 표적 기준선과 비슷하거나 더 높았다(Table 1). 교차 모델 전이에서는 거의 모든 소스-대상 쌍에서 UJEM 과 기준선을 개선했으며, 예컨대 InternVL→LLaVA 는 52.61 → 60.77% 로 올랐다(Table 2). KL 가중치 $\lambda_{KL}=0.01$ 이 최적이었고 너무 크면 토큰 뒤집기 효과가 억제되었다(Table 5). 공격 전에도 결정 위치의 상위 후보에 비거부 토큰이 이미 존재하며, 공격 후 최상위 토큰이 “Sorry” 에서 “Sure” 로 바뀐다(Figure 3). 방어 중 UniGuard 와 R-TOFU 는 ASR 을 크게 낮췄다(Table 4).
핵심 기여
- 낮은 전이성의 재해석 : 전이 실패의 주원인이 공유 취약점 부재가 아니라 과도하게 제약된 표적 목적함수에 있다고 주장하고, 비표적 목적으로 전이성을 끌어올려 이를 뒷받침했다.
- 거부 메커니즘의 토큰 수준 관찰 : 거부가 소수의 고엔트로피 결정 토큰에 집중되고, 비거부 확률 질량이 공격 전에도 상위 후보에 존재함을 보여 공격이 “새 취약점 생성”이 아니라 “기존 질량의 경계 넘기기”임을 설명했다.
- UJEM-KL : 결정 토큰 엔트로피 최대화와 구조 토큰 KL 안정화를 결합해 “안전하지 않지만 유용한” 응답을 만들고, white-box 성능과 전이성을 동시에 개선했으며 세 심판 교집합이라는 보수적 평가 프로토콜을 도입했다.
관련 개념
비표적(Untargeted) Jailbreak 위협 모델
비표적 jailbreak 는 특정 출력 문자열을 강제하지 않고, 외부 평가자 기준으로 “안전하지 않으면서 유용한” 어떤 응답이든 이끌어내면 성공으로 보는 공격입니다. 적대적 예제 연구에서 “특정 클래스로 분류시키기(targeted)” 와 “아무 오분류나 일으키기(untargeted)” 를 구분하는 것과 같은 구분입니다.
🎯 1. 표적 vs 비표적
| 구분 | 표적(targeted) 공격 | 비표적(untargeted) 공격 (본 논문) |
|---|---|---|
| 성공 기준 | 고정 접두사(“Sure, here is …”) 또는 고정 응답 패턴 재현 | 외부 심판이 unsafe 로 판정하는 유용한 응답 |
| 대상 모델 요구 | 동일 토큰 궤적 재현 | 거부 경계만 넘으면 됨 |
| 토크나이저·디코딩 차이 | 치명적 | 상대적으로 덜 민감 |
| 모델별 다른 비거부 궤적 | 실패로 처리 | 성공으로 인정 |
표적 공격이 전이되지 않는 것은 당연한 면이 있습니다. 소스 모델에서 “Sure, here is” 를 1순위로 올리는 섭동이 대상 모델에서도 정확히 같은 토큰열을 1순위로 올릴 이유가 없기 때문입니다. 비표적 공격은 이 제약을 없애 모델 간에 공유될 수 있는 현상, 즉 거부 마진 붕괴에만 집중합니다.
📐 2. 정식화 (Section 3)
파라미터 $\theta$ 의 VLM 이 입력 $\mathbf{x}={x_{img},x_{txt}}$ 를 받아 토큰열 $\mathbf{y}=(y_1,\dots,y_T)$ 를 생성합니다. 교사 강제(teacher forcing) 아래 위치 $t$ 의 다음 토큰 분포는
\[p_\theta(y_t\mid\mathbf{x},y_{<t})=\mathrm{Softmax}(\mathbf{z}_t)\]이고, 위협 모델(Eq. 3)은 이미지만 섭동합니다.
\[x'_{img}=\Pi_{[0,1]}(x_{img}+\delta),\qquad \|\delta\|_\infty\le\epsilon\]텍스트 지시 $x_{txt}$ 는 유해한 원문 그대로 유지됩니다. 성공 여부는 고정 문자열이 아니라 외부 평가자가 결정합니다.
🧩 3. 왜 이 설정이 깔끔한가
- 텍스트를 건드리지 않으므로 공격 효과가 온전히 시각 섭동이 언어 디코딩에 미치는 영향으로 귀속됩니다.
- 성공 기준이 외부 심판이므로 “안전하지 않지만 쓸모없는” 파편적 출력은 성공으로 세지 않을 수 있습니다. 이것이 뒤에 나오는 KL 안정화의 동기이기도 합니다.
💡 Key Takeaway “같은 문장을 재현하라”는 요구를 버리고 “거부 경계만 넘어라”로 바꾸면, 모델마다 다른 비거부 궤적이 모두 성공이 됩니다. 전이성 논쟁은 이 목적함수의 차이에서 다시 시작되어야 합니다.
거부는 어디서 결정되는가: 고엔트로피 결정 토큰
고엔트로피 결정 토큰은 디코딩 중 다음 토큰 분포의 엔트로피가 높은 위치이며, 논문은 이곳에 거부 여부가 집중된다고 관찰합니다(Section 3.2, Figure 3–4).
📊 1. 엔트로피와 결정 집합
위치 $t$ 의 다음 토큰 엔트로피(Eq. 2)는
\[H_t=-\sum_{v\in\mathcal{V}}p_\theta(v\mid\mathbf{x},y_{<t})\log p_\theta(v\mid\mathbf{x},y_{<t})\]입니다. 특수 기호나 사소한 구두점 같은 비내용 위치는 후보 마스크 $c_t\in{0,1}$ 로 제외하고, 내용 토큰 중 엔트로피 상위 $\rho$ 비율을 결정 집합 $S_\rho$ 로 선택합니다(Eq. 4).
\[|S_\rho|=\lfloor\rho\cdot\textstyle\sum_t c_t\rfloor,\qquad R_\rho=\{t:c_t=1\}\setminus S_\rho\]나머지 $R_\rho$ 는 구조 집합(structural set) 입니다. 논문은 $\rho=0.2$ 를 사용하고, 참조 궤적은 샘플링으로 디코딩하며 결정 집합은 $A=20$ 반복마다 갱신합니다.
🔍 2. 세 가지 관찰
| 관찰 | 내용 | 함의 |
|---|---|---|
| 1. 비거부 토큰이 이미 존재 | 공격 전에도 결정 위치의 상위 10개 후보에 비거부 토큰이 있음. 공격 후 최상위가 “Sorry” → “Sure” 로 전환 (Figure 3) | 공격은 새 취약점을 만드는 것이 아니라 기존 확률 질량을 경계 위로 끌어올림 |
| 2. 거부는 고엔트로피 위치에 집중 | “sorry”, “cannot” 같은 거부 토큰이 모델 전반에서 고엔트로피 위치에 몰림 (Figure 4) | 응답 전체가 아니라 소수 위치만 공격해도 거부를 깰 수 있음 |
| 3. 엔트로피만 올리면 품질 붕괴 | 모든 위치의 엔트로피를 올리면 반복, 비문, 파편 발생 | 결정 토큰과 구조 토큰을 분리해 다뤄야 함 |
🌡️ 3. 온도만 올리면 안 되는 이유 (Table 6)
| 설정 | Qwen | InternVL | LLaVA |
|---|---|---|---|
| 깨끗한 입력, $T=0$ | 16.8 | 19.6 | 41.8 |
| 공격 후, $T=0$ | 83.4 | 79.2 | 89.3 |
온도 조작은 샘플링에서는 일부 효과가 있지만, greedy 디코딩($T=0$)에서는 argmax 가 보존되므로 거부를 바꾸지 못합니다. 엔트로피 최대화 공격은 argmax 자체를 뒤집는 것이므로 $T=0$ 에서도 작동합니다. 논문은 균형 설정으로 $T=0.8$ 을 씁니다.
💡 Key Takeaway 거부는 응답의 전역 속성처럼 보이지만 실제로는 소수의 고엔트로피 결정 지점에서 갈립니다. 그 지점에는 이미 비거부 후보가 대기하고 있어, 마진만 무너뜨리면 argmax 가 뒤집힙니다.
UJEM 과 UJEM-KL: 목적함수와 최적화
UJEM(Untargeted Jailbreak via Entropy Maximization) 은 결정 집합의 엔트로피를 최대화하고, UJEM-KL 은 구조 집합에서의 분포 이동을 KL 로 억제합니다(Section 3.3).
🧮 1. UJEM 목적 (Eq. 5)
\[\max_{\|\delta\|_\infty\le\epsilon}\ \frac{1}{|S_\rho|}\sum_{t\in S_\rho}H_t(\mathbf{x}',y_{<t})\]결정 토큰의 엔트로피를 올려 거부/비거부 마진을 무너뜨립니다. 최적화는 랜덤 시작 $\delta_0\sim U([-\epsilon,\epsilon])$ 의 PGD 로
\[\delta_{k+1}=\mathrm{clip}_{[-\epsilon,\epsilon]}\big(\delta_k+\alpha\cdot\mathrm{sign}(g_k)\big)\]입니다. 본문은 Adam 을 쓴다고도 언급하는데, 부호 기반 PGD 갱신식과 충돌하므로 재현 시 확인이 필요합니다.
🛡️ 2. KL 안정화와 UJEM-KL 목적 (Eq. 7–8)
깨끗한 입력에서의 참조 분포 $q_t(\cdot)=p_\theta(\cdot\mid\mathbf{x},y_{<t})$ 를 stop-gradient 목표로 두고, 구조 집합에서의 KL 발산을 벌점으로 둡니다.
\[\mathcal{L}_{KL}(\delta)=\frac{1}{|R_\rho|}\sum_{t\in R_\rho}D_{KL}\big(p_t(\cdot;\delta)\,\|\,q_t(\cdot)\big)\] \[\max_{\|\delta\|_\infty\le\epsilon}\ J(\delta)=\underbrace{\frac{1}{|S_\rho|}\sum_{t\in S_\rho}H_t(\mathbf{x}',y_{<t})}_{\text{브레이크 부수기}}\;-\;\lambda_{KL}\underbrace{\frac{1}{|R_\rho|}\sum_{t\in R_\rho}D_{KL}(p_t\|q_t)}_{\text{바퀴 보존}}\]| 항 | 대상 | 역할 |
|---|---|---|
| 엔트로피 항 | 결정 집합 $S_\rho$ | 거부 결정의 마진 붕괴 |
| KL 항 | 구조 집합 $R_\rho$ | 문장 구조·유창성 보존, “안전하지 않지만 유용한” 응답 유지 |
⚙️ 3. 하이퍼파라미터와 민감도
| 항목 | 값 |
|---|---|
| $\ell_\infty$ 예산 $\epsilon$ | $8/255$ |
| 반복 | 100 |
| $\rho$ | 0.2 |
| 결정 집합 갱신 주기 $A$ | 20 |
| 디코딩 주기 $K$ | 20 |
| $\lambda_{KL}$ | 0.01 |
$\lambda_{KL}$ 민감도(Table 5, JailBreakV-28K, ASR %)는 다음과 같습니다.
| $\lambda_{KL}$ | Qwen | InternVL | LLaVA |
|---|---|---|---|
| 0 | 76.4 | 81.2 | 84.3 |
| 0.001 | 80.7 | 83.7 | 82.9 |
| 0.01 | 82.2 | 83.6 | 88.3 |
| 0.05 | 79.8 | 80.1 | 86.5 |
| 0.1 | 74.5 | 75.6 | 83.2 |
| 0.5 | 68.3 | 69.4 | 78.3 |
| 1.0 | 58.7 | 52.4 | 70.9 |
너무 작으면 구조가 무너져 심판이 “유용하지 않다”고 보고, 너무 크면 안정화가 토큰 뒤집기 효과를 억제합니다. 엔트로피 최대화와 구조 보존 사이에 실제 트레이드오프가 존재합니다.
💡 Key Takeaway UJEM-KL 은 “어디를 흔들고 어디를 고정할지”를 엔트로피 순위로 자동 결정합니다. KL 항은 공격을 약하게 만드는 것이 아니라, 심판이 성공으로 인정할 만큼 읽을 수 있는 유해 응답을 만들기 위한 장치입니다.
실험 설정과 평가 프로토콜
실험은 세 오픈소스 VLM, 두 안전 벤치마크, 세 심판 교집합 프로토콜로 구성됩니다(Section 4.1).
🧪 1. 설정
| 항목 | 내용 |
|---|---|
| 대상 모델 | Qwen2.5-VL-7B-Instruct, InternVL3.5-4B, LLaVA-1.5-7B |
| 벤치마크 | JailBreakV-28K, SafeBench 각 1,000개 층화 표본. HarmBench 는 부록 |
| 기준선 | FigStep, UJA, SEA, Force, 그리고 추론 시 온도 조작 |
| 접근 | 소스 모델 white-box. 전이 실험은 소스에서 만든 이미지를 대상에 그대로 적용 |
⚖️ 2. 세 심판 교집합 프로토콜
| 심판 | 성격 |
|---|---|
| Llama Guard | JailBreakV 기본 심판 |
| GPT-4o | LLM-as-a-judge |
| HarmBench-Llama-2-13b-cls | HarmBench 분류기 |
주 ASR 은 세 심판이 모두 unsafe 로 판정해야 성공으로 셉니다. 단일 심판이 파편적이거나 경계선상의 응답을 과대평가하는 문제를 줄이기 위한 설계입니다. 정밀도는 높아지지만 재현율은 낮아질 수 있어, 한 심판만 놓쳐도 실패로 처리됩니다. 보고된 ASR 은 보수적 하한으로 읽어야 합니다.
💡 Key Takeaway 비표적 공격은 성공 기준이 심판에 달려 있으므로 심판 설계가 곧 위협 모델입니다. 세 심판 교집합은 “파편적 출력을 성공으로 세지 않겠다”는 선언입니다.
실험 결과: White-box, 전이, 방어, Ablation
결과는 UJEM-KL 이 표적 기준선과 경쟁하거나 능가하고, 전이에서 가장 큰 이득을 보이며, 일부 방어에는 여전히 취약하지만 unlearning·가드레일 계열에는 크게 약화됨을 보여줍니다.
📈 1. White-box ASR (Table 1, 세 심판 교집합, %)
| 방법 | JBV Qwen | JBV InternVL | JBV LLaVA | SB Qwen | SB InternVL | SB LLaVA |
|---|---|---|---|---|---|---|
| FigStep | 78.43 | 75.17 | 82.28 | 54.52 | 61.19 | 68.66 |
| UJA | 72.58 | 70.21 | 78.06 | 55.82 | 53.37 | 59.08 |
| SEA | 81.64 | 83.39 | 85.23 | 68.17 | 66.65 | 71.42 |
| Force | 79.27 | 82.14 | 84.02 | 64.09 | 62.28 | 67.47 |
| UJEM | 76.41 | 81.22 | 84.33 | 61.83 | 60.12 | 63.18 |
| UJEM-KL | 82.23 | 83.67 | 88.32 | 67.39 | 70.24 | 72.21 |
(JBV = JailBreakV-28K, SB = SafeBench.) UJEM-KL 은 UJEM 보다 일관되게 높고, SafeBench InternVL 에서는 60.12 → 70.24 로 약 10%p 개선됩니다. 비표적 엔트로피 목적이 표적 공격보다 약한 방법이 아님을 보여줍니다.
🔁 2. 교차 모델 전이 (Table 2, JailBreakV-28K, %)
| 소스 | 방법 | → Qwen | → InternVL | → LLaVA |
|---|---|---|---|---|
| Qwen | FigStep | (78.43) | 43.82 | 54.40 |
| Qwen | UJEM | (76.41) | 40.64 | 48.50 |
| Qwen | UJEM-KL | (82.23) | 48.62 | 56.63 |
| InternVL | FigStep | 41.38 | (75.17) | 46.89 |
| InternVL | UJEM | 40.27 | (81.22) | 52.61 |
| InternVL | UJEM-KL | 44.94 | (83.67) | 60.77 |
| LLaVA | FigStep | 67.33 | 52.94 | (82.28) |
| LLaVA | UJEM | 57.16 | 54.34 | (84.33) |
| LLaVA | UJEM-KL | 67.14 | 62.44 | (88.32) |
괄호는 white-box 대각 성분입니다. UJEM-KL 은 거의 모든 쌍에서 UJEM 과 기준선을 개선하며, 유일한 예외는 LLaVA→Qwen 에서 FigStep 이 근소하게 앞선 경우입니다. 논문은 KL 안정화가 white-box 보다 전이 설정에서 더 큰 효과를 낸다고 해석합니다. 구조가 보존된 섭동이 모델 간에 더 잘 옮겨간다는 뜻입니다.
🛡️ 3. 방어 강건성 (Table 4, SafeBench 평균 ASR %)
| 방어 | UJEM | UJEM-KL |
|---|---|---|
| 없음 | 66.9 | 70.1 |
| SafeDecoding | 54.4 | 65.3 |
| Adversarial training | 56.4 | 61.2 |
| UniGuard | 30.9 | 32.7 |
| R-TOFU | 36.1 | 40.8 |
디코딩 시 방어(SafeDecoding)와 적대적 학습은 ASR 을 조금만 낮춥니다. 반면 사후 가드레일(UniGuard)과 unlearning(R-TOFU)은 절반 이하로 떨어뜨립니다. 논문은 안전하지 않은 확률 질량 자체를 줄이는 unlearning·미세조정이나 사후 필터링이 더 강한 방어라고 보지만, 각각 유용성 손실, 거짓 양성, 지연, 분포 이동 문제가 있다고 지적합니다.
🔬 4. Ablation (Table 3, JailBreakV-28K, %)
| 변형 | Qwen | InternVL | LLaVA |
|---|---|---|---|
| UJEM | 73.18 | 78.45 | 82.07 |
| UJEM + AR (명시적 거부 억제) | 70.52 | 76.83 | 83.61 |
| UJEM + ES (조기 종료) | 76.41 | 81.22 | 84.33 |
| UJEM + KL (= UJEM-KL) | 82.23 | 83.67 | 88.32 |
거부 토큰을 명시적으로 억제하는 AR 은 모델 간에 불안정하고 일부에서 오히려 악화되며 전이성도 낮습니다. 특정 토큰 집합에 과적합되기 때문으로 보입니다. 조기 종료는 개선되고, KL 이 가장 일관된 개선을 줍니다. 한 가지 주의할 점은 Table 3 의 UJEM 행(73.18/78.45/82.07)이 Table 1 의 UJEM 행(76.41/81.22/84.33)과 다르고, 후자가 Table 3 의 +ES 행과 일치한다는 것입니다. Table 1 의 UJEM 은 조기 종료를 포함한 버전으로 읽는 것이 자연스럽습니다.
💡 Key Takeaway UJEM-KL 은 white-box 에서 경쟁력 있고 전이에서 가장 큰 이득을 보입니다. 명시적 거부 억제보다 구조 보존이 전이에 유리하며, 출력 질량을 직접 줄이는 방어만이 공격을 크게 약화시킵니다.
비표적 관점에서 본 전이성과 기존 연구
전이성(transferability) 에 대한 이 논문의 입장은 기존 VLM 공격 연구의 결론을 뒤집는 것이 아니라 조건을 명시하는 것입니다.
🔗 1. 기존 결론과의 관계
| 기존 주장 | 본 논문의 재해석 |
|---|---|
| VLM 보편 이미지 jailbreak 는 잘 전이되지 않는다 | 표적·접두사 제약 목적함수에서는 그렇다. 비표적 목적에서는 전이가 상당히 개선된다 |
| 모델마다 취약점이 다르다 | 거부 마진 붕괴라는 현상은 모델 간에 공유될 수 있다. 다만 결정 토큰의 위치와 경쟁 토큰 집합은 모델마다 다르다 |
| 전이성 = 같은 유해 문장을 재현하는 능력 | 전이성 = 여러 모델에서 공유되는 거부 마진 붕괴 |
🧭 2. 다른 공격 계열과의 위치
| 연구 | 공격 지점 | 목적함수 성격 |
|---|---|---|
| FigStep, MM-SafetyBench | 입력 의미 (typography) | 비최적화, black-box |
| Jailbreak in Pieces | CLIP 임베딩 공간 | 입력 측 임베딩 매칭 |
| JailBound | fusion-layer 잠재 경계 | 표현 공간 경계 넘기 |
| UJA, SEA, Force | 출력 분포 | 표적 또는 부분 표적 |
| UJEM-KL | 출력 분포의 고엔트로피 결정 토큰 | 엄격히 비표적 |
같은 “출력 분포” 계열 안에서도 UJEM-KL 은 어떤 토큰을 올릴지 지정하지 않는다는 점이 다릅니다. 논문이 제안하는 후속 방향인 결정 토큰 마진 통계나 토크나이저 무관 구조 정규화는 이 관점을 더 밀고 나가는 것입니다.
💡 Key Takeaway “전이가 안 된다”는 결론은 목적함수에 조건부입니다. 전이성을 논할 때는 표적·비표적을 분리해야 하며, 고엔트로피 결정 토큰은 공격 목표와 전이성을 잇는 기계론적 고리입니다.
한계와 열린 방향
이 논문의 한계는 실험 범위, 위협 모델 가정, 평가 프로토콜, 방법의 토크나이저 의존성, 방어 분석에 걸쳐 있으며, 전이가 여전히 어렵다는 점은 저자들도 인정합니다.
⚠️ 1. 저자가 인정한 한계
- 교차 모델 전이는 여전히 어렵습니다. 시각 인코더, 융합 메커니즘, 토크나이저, 디코딩 행동 차이가 전이를 제한합니다.
- 고엔트로피 결정 토큰의 위치와 경쟁 토큰 집합이 모델마다 다릅니다.
- 세 심판 교집합은 성공을 과소 집계할 수 있습니다.
- 방어 연구는 SafeBench 의 다섯 방어로 제한됩니다.
🔒 2. 외부 관점의 한계
- 범위 : 오픈소스 VLM 3개와 벤치마크 2개 중심입니다. 폐쇄형 VLM, 더 큰 최전선 모델, 도구 사용 멀티모달 에이전트로의 일반화는 불확실합니다.
- 위협 모델 : 기본 공격은 소스 모델 white-box 를 전제합니다. 폐쇄형 대상만 있는 환경에서는 대리 모델 선택, 질의 예산, 디코딩 설정 불일치가 핵심 변수가 됩니다. 또한 이미지만 섭동한다는 가정은 깔끔하지만 실제 공격자는 텍스트도 조작할 수 있습니다.
- 평가 : 교집합 프로토콜은 재현율을 낮추고, GPT-4o 심판은 버전·정책·보정 변화에 취약합니다.
- 방법 : 교사 강제 참조 궤적, 엔트로피 순위, 토크나이저 의존적 토큰 위치에 의존합니다.
- 방어 : 적응형 방어, 공동 학습된 멀티모달 안전 헤드, 입력 섭동 탐지, 적대적 이미지 정화에 대한 검증이 제한적입니다. UniGuard 와 R-TOFU 가 ASR 을 크게 낮추지만, 이들의 유용성 손실 같은 안전-유용성 경계 분석은 더 필요합니다.
- 내부 불일치 : Table 1 과 Table 3 의 UJEM 행, Table 1 과 Table 4 의 무방어 수치, 본문의 일부 개선 폭 서술이 표와 어긋납니다. 인용 시 표 수치를 기준으로 삼는 것이 안전합니다.
❓ 3. 열린 질문
- 고엔트로피 결정 토큰은 모델 계열 간 얼마나 정렬되는가? 프롬프트 계열별로 안정적인가, 범주 특이적인가?
- 거부 토큰 질량을 낮추는 미세조정이 무해한 불확실성 보정을 망가뜨리지 않을 수 있는가? 안전 미세조정은 고엔트로피 토큰의 엔트로피를 낮추는가, 거부 토큰 질량만 올리는가?
- KL 안정화는 유창성을 보존하지만 유해성의 구체성도 함께 보존하거나 강화하는가?
- 폐쇄형 VLM API 에서 대리 모델 전용 UJEM-KL 이 어느 정도 전이되는가?
- 이미지 섭동 탐지나 전처리 방어를 거치면 엔트로피 지형이 어떻게 변하는가?
- 멀티모달 융합 층의 어느 지점에서 이미지 섭동이 언어 토큰 엔트로피로 전파되는가?
🧷 4. 내 판단과 연구 연결
- 판단 : 설득력과 중요도는 높고, 새로움은 중간에서 높음, 재현 가능성은 중간, 실제 위험성은 중간에서 높음입니다. 가장 강한 부분은 “전이가 안 된다”는 기존 결론을 목적함수 설계 관점에서 재해석하고, 고엔트로피 결정 토큰이라는 기계론적 고리로 공격 목표와 전이성을 연결한 점입니다. 가장 약한 부분은 폐쇄형 black-box 환경으로의 일반화이며, 토크나이저·디코딩·심판 설정에 민감할 가능성이 있습니다.
- 기억할 점 : VLM 거부는 응답의 전역 속성처럼 보이지만 소수의 고엔트로피 결정 토큰에서 결정될 수 있습니다. 엔트로피만 올리는 공격은 거부를 깨지만 유창성을 망치며, KL 안정화는 “안전하지 않지만 유용한” 완성을 만들기 위한 핵심 장치입니다.
- 인용 용도 : VLM jailbreak 전이성 논쟁의 배경, 표적 접두사 공격 대 비표적 엔트로피 공격 비교, 토큰 수준 엔트로피 기반 결정 지점 선택 방법론, 이미지 섭동이 거부 마진을 붕괴시키는 사례, 표면적 거부·로짓 휴리스틱 방어의 한계, 세 심판 교집합 ASR 프로토콜.
- 연구 연결 : 거부 행동을 출력 수준이 아니라 토큰 분포 기하 관점에서 봐야 한다는 근거를 제공합니다. 거부 토큰 마진, 엔트로피 집중, 구조 이동은 기계론적 평가 특징으로 쓸 수 있습니다. 안전 평가에서 “거부/비거부 상위 $k$ 경쟁”을 지표화하고, 미세조정이나 디코딩 방어 전후로 고엔트로피 결정 토큰의 위치와 마진 변화를 추적하며, 공격 없는 진단으로 유해 프롬프트에서 비거부 토큰 질량이 상위 $k$ 에 얼마나 남아 있는지 측정할 수 있습니다. 비교 기준선으로는 FigStep, UJA, SEA, Force 를 표적/비표적 축에서, 온도 조작·UJEM·UJEM-KL 을 디코딩 전용/엔트로피 전용/엔트로피+안정성 축에서 둘 수 있습니다. 확장으로는 폐쇄형 API 대리 전이 실험, 토크나이저 무관 결정 토큰 정렬 지표, 방어 인식 엔트로피 마진 정규화, 심판이 아닌 사람 평가 유용성과의 상관 분석이 있습니다.
- 실행 항목
- UJEM-KL 재현 시 ASR 외에 거부 토큰 마진, 엔트로피 이동, 출력 유창성 점수를 함께 기록. 단일 심판과 교집합의 불일치 사례 별도 분석
- 유해 범주별 고엔트로피 결정 토큰 위치 분포 추출, 깨끗한 입력 대 섭동 입력에서 상위 $k$ 후보 변화 시각화
- 로짓 필터링·SafeDecoding 류 방어가 거부 마진을 실제로 얼마나 넓히는지 측정. unlearning 또는 표적 안전 미세조정 후 무해 작업 유용성 저하도 함께 평가
- 공개 코드가 확인되지 않으므로 논문의 알고리즘과 부록 설정으로 최소 재현부터 시작. Qwen2.5-VL 또는 LLaVA 하나로 단일 모델 white-box UJEM → UJEM-KL 순서가 현실적
- 후속 문헌: 접두사 표적 VLM jailbreak 전이 실패 연구, 엔트로피 유도 적대 공격 계열, SafeDecoding·UniGuard·R-TOFU 같은 디코딩 시/사후/unlearning 방어 계열
💡 Key Takeaway 이 논문은 “브레이크만 부수고 바퀴는 남기는” 공격이 전이된다는 것을 보였습니다. 다음 질문은 결정 토큰이 모델 간에 얼마나 정렬되는지, 그리고 그 마진을 넓히는 방어가 무해한 불확실성까지 망가뜨리지 않을 수 있는지입니다.