You know maize mean?
JailBound: Jailbreaking Internal Safety Boundaries of Vision-Language Models
0. Summary
기본 정보 : ArXiv,2025.05.26 (NeurIPS 2025), JailBound: Jailbreaking Internal Safety Boundaries of Vision-Language Models
연구 배경
시각-언어 모델(VLM)에 대한 기존 jailbreak 연구는 주로 입력 이미지나 텍스트의 섭동 자체에 초점을 두었다. 이미지만 공격하거나 텍스트 접미사만 최적화하거나, gradient 기반이더라도 “출력이 유해해지도록” 이라는 목표 외에 명확한 방향성이 없는 경우가 많았다. 한편 모델이 최종 출력으로는 거부하더라도 내부 표현에는 안전하지 않은 응답으로 이어질 수 있는 안전 관련 신호가 남아 있다는 잠재 지식 추출(Eliciting Latent Knowledge, ELK) 관점의 관찰이 있었다. 논문은 이 둘을 연결해, VLM 의 멀티모달 융합 층(fusion layer) 잠재 공간 안에 safe/unsafe 를 가르는 암묵적 안전 결정 경계가 존재하며, 이 경계가 jailbreak 의 직접적인 공격 벡터가 될 수 있다고 본다.
제안 방법
JailBound 는 두 단계로 이루어진 잠재 공간 jailbreak 프레임워크다. 안전 경계 탐사(Safety Boundary Probing) 단계에서는 MM-SafetyBench 의 safe/unsafe 멀티모달 샘플을 VLM 에 통과시켜 융합 층별 은닉 표현을 수집하고, 층마다 로지스틱 회귀 분류기로 결정 초평면을 근사해 법선 벡터 $v^{(l)}$ 과 경계까지의 거리 $\epsilon^{(l)}$ 을 얻는다. 안전 경계 횡단(Safety Boundary Crossing) 단계에서는 융합 표현을 경계 너머의 목표 영역으로 옮기는 $\mathcal{L}{align}$, 이동 방향을 법선에 정렬하는 $\mathcal{L}{geo}$, 섭동 크기와 접미사 일관성을 보존하는 $\mathcal{L}{sem}$ 을 결합한 총 손실로 이미지 섭동과 텍스트 접미사를 공동 최적화한다. 시각 섭동은 $\ell\infty\le 8/255$, 접미사는 20토큰, 반복은 100–150회다. 공격 생성은 white-box 소스 모델을 전제하지만, 생성된 적대적 입력은 상용 black-box VLM 으로 전이된다.
발견 사실
White-box 에서 반복적 공동 공격 ${I_1,T_1}$ 은 Llama-3.2-11B 94.38%, Qwen2.5-VL-7B 91.40%, MiniGPT-4 97.19% 의 ASR 을 기록했고(Table 3), black-box 전이에서는 GPT-4o 75.24%, Gemini 2.0 Flash 70.06%, Claude 3.5 Sonnet 56.55% 로 UMK, FigStep, VAJM 을 크게 앞섰다(Table 4). 초록 기준 평균은 white-box 94.32%, black-box 67.28% 이며 각각 기존 최고 대비 +6.17%p, +21.13%p 다. Ablation 에서 $\mathcal{L}{align}$ 제거는 ASR 을 82.67% 로, $\mathcal{L}{geo}$ 제거는 85.79% 로 떨어뜨린 반면 $\mathcal{L}_{sem}$ 제거는 ASR 을 95.21% 로 올리되 의미 점수를 4.67 에서 3.48 로 무너뜨렸다. 전체 융합 층 분류기 감독은 100회 내 91.4% 이상에 도달했지만 마지막 10개 층만 쓰면 약 88.2%(160회 이상), 마지막 층만 쓰면 약 82.8%(250회 이상)로 느리고 약했다(Appendix A.3). 이미지만 또는 텍스트만 공격하거나 따로 공격해 결합하는 것보다 반복적 공동 최적화가 강했고, 모델별로 두 모달리티의 상대적 취약성이 달랐다.
핵심 기여
- 내부 안전 경계를 jailbreak 벡터로 정의 : 융합 층 잠재 공간의 safe/unsafe 선형 분리 가능성을 탐사하고, 그 경계의 기하(법선·거리)를 공격 목표로 조작화했다.
- 탐사 + 횡단의 교차 모달 공동 최적화 : 이미지와 텍스트를 따로 다루지 않고 융합 표현 중심으로 함께 최적화하며, 세 손실로 방향·도달·의미 보존을 분리 제어했다.
- Black-box 상용 VLM 으로의 전이와 모달리티 조건 비교 : 소스 모델에서 만든 입력이 GPT-4o, Gemini, Claude 로 전이됨을 보였고, $I_0{+}T_0$ 부터 ${I_1,T_1}$ 까지 다섯 조건을 비교해 공동 최적화의 필요성을 보였다.
관련 개념
융합 층의 잠재 안전 경계(Latent Safety Boundary)
잠재 안전 경계는 VLM 내부 표현 공간에서 “모델이 안전하다고 처리하는 입력”과 “안전하지 않다고 처리하는 입력”을 가르는 암묵적 결정면입니다. 출력의 거부 행동은 이 경계의 어느 쪽에 융합 표현이 놓이는지의 결과로 볼 수 있습니다.
🧱 1. 모델 구조와 표기 (Section 3)
VLM 을 $F_\theta=(f_v,f_t,\phi)$ 로 둡니다.
| 구성 요소 | 역할 | 표기 |
|---|---|---|
| 시각 인코더 $f_v$ | 이미지 → 시각 임베딩 | $x_v=f_v(X_v^{raw})$ |
| 텍스트 임베딩 층 $f_t$ | 텍스트 → 토큰 임베딩 | $x_t=f_t(X_t^{raw})$ |
| 융합 모듈 $\phi$ | 두 모달리티를 결합한 은닉 표현 | $h=\phi(x_v,x_t)$ |
적대적 입력은 이미지에 입력 공간 섭동을 더하고 텍스트에 접미사를 붙여 만듭니다.
\[X_v^{adv}=X_v^{raw}+\delta_v^{input},\qquad X_t^{adv}=[X_t^{raw},\,X_t^{suffix}]\] \[\tilde{x}_v=f_v(X_v^{adv}),\quad \tilde{x}_t=f_t(X_t^{adv}),\quad \tilde{h}=\phi(\tilde{x}_v,\tilde{x}_t)\]공격의 일반 목표(Eq. 1)는 $\min_{\delta_v^{input},X_t^{suffix}}\mathcal{L}(F_\theta(\cdot),y_{target})$ 이지만, JailBound 는 이를 출력이 아니라 융합 표현 $\tilde{h}$ 가 어디에 놓이는가의 문제로 바꿉니다.
🔍 2. 왜 융합 층인가
| 공격 지점 | 한계 |
|---|---|
| 시각 인코더 임베딩 (Jailbreak in Pieces 등) | 텍스트와 결합되기 전이라 두 모달리티의 상호작용을 반영 못함 |
| 출력 로짓·디코딩 (Break the Brake 등) | 어느 내부 표현을 움직여야 하는지에 대한 방향성 없음 |
| 융합 층 | 이미지와 텍스트가 하나의 안전 관련 맥락으로 결합되는 지점. 두 모달리티의 섭동이 같은 공간에서 합산됨 |
융합 층은 텍스트 전용 거부 학습이 보는 표현과 시각 경로가 처음 만나는 곳입니다. 여기에 선형 분리 가능한 안전 경계가 있다면, 그 경계를 넘는 것이 곧 출력 거부를 무력화하는 가장 직접적인 경로가 됩니다.
🧠 3. ELK 관점과의 연결
모델이 거부 응답을 내더라도 내부 표현에는 “이 입력이 무엇을 요구하는지”에 대한 정보가 남아 있습니다. 잠재 지식 추출 연구(CCS 등)가 모델 내부의 진실 표현을 선형 탐침으로 읽어내듯, JailBound 는 안전 표현을 선형 탐침으로 읽고, 그 다음 읽은 방향을 거꾸로 밀어 출력을 바꿉니다. 해석 가능성 도구가 공격 도구로 전환되는 사례입니다.
💡 Key Takeaway 거부는 출력의 속성이지만, 그것을 결정하는 것은 융합 층 표현이 안전 경계의 어느 쪽에 있는가입니다. 이 경계가 선형으로 근사될 수 있다면, 경계는 곧 공격 좌표계가 됩니다.
1단계: 안전 경계 탐사(Safety Boundary Probing)
안전 경계 탐사는 융합 층마다 로지스틱 회귀 분류기를 학습해 safe/unsafe 결정 초평면을 근사하고, 그로부터 섭동 방향과 크기를 얻는 단계입니다(Section 3.2).
📐 1. 층별 선형 탐침 (Eq. 2–4)
층 $l$ 의 융합 표현 $h^{(l)}$ 에 대해 unsafe 확률을
\[P_m=\sigma\big(w^{\top}h+b\big)\]로 모델링하고, $N$ 개 샘플의 평균 이진 교차 엔트로피로 $w^{(l)},b^{(l)}$ 을 학습합니다. 결정 경계는
\[\mathcal{B}^{(l)}(w,b)=\{h^{(l)}:\ (w^{(l)})^{\top}h^{(l)}+b^{(l)}=0\}\]입니다. 학습 데이터는 MM-SafetyBench 의 safe/unsafe 멀티모달 샘플을 VLM 에 통과시켜 얻은 층별 은닉 표현입니다.
🧭 2. 법선 벡터와 경계까지의 거리 (Eq. 5)
\[v^{(l)}=\frac{w^{(l)}}{\|w^{(l)}\|_2},\qquad \epsilon^{(i)}=\frac{\big|\sigma^{-1}(P_0)-(w^{\top}h^{(i)}+b)\big|}{\|w\|_2}\]| 기호 | 의미 |
|---|---|
| $v^{(l)}$ | 층 $l$ 경계의 단위 법선. 섭동이 향해야 할 방향 |
| $\epsilon^{(i)}$ | 샘플 $i$ 의 표현에서 안전 임계값 $P_0$ 등확률면까지의 거리 |
| $\epsilon^{(l)}$ | 데이터셋 전체에 대한 $\epsilon^{(i)}$ 의 평균. 섭동 크기 |
| $P_0$ | 안전 임계값, 0.3 |
즉 탐사 단계의 출력은 층마다 “어느 방향으로(v), 얼마나(ε) 밀면 경계를 넘는가” 입니다.
📊 3. 층별 분리 가능성
서론은 탐사가 “모든 층에서 100% 정확도”를 달성한다고 쓰지만 Appendix A.2 는 초기 층(0–4)의 성능이 낮다고 보고합니다. 안전 신호는 초기 층보다 중·후기 융합 층에 더 선명하게 형성된다고 읽는 것이 안전하며, 이것이 뒤의 분류기 구성 분석(전체 층 vs 마지막 10개 층 vs 마지막 층)과도 맞물립니다.
💡 Key Takeaway 탐사는 공격이 아니라 측정입니다. 층별 선형 탐침 하나로 “방향”과 “거리”가 나오고, 이것이 다음 단계 모든 손실의 좌표가 됩니다.
2단계: 안전 경계 횡단(Safety Boundary Crossing)
안전 경계 횡단은 탐사에서 얻은 $v^{(l)},\epsilon^{(l)}$ 을 따라 이미지 섭동과 텍스트 접미사를 공동 최적화해 융합 표현을 경계 너머로 옮기는 단계입니다(Section 3.3, Figure 2).
🎯 1. 세 가지 손실 (Eq. 6–9)
(1) 정렬 손실 $\mathcal{L}_{align}$ — 목표 영역 도달
\[\mathcal{L}_{align}=\big\|\phi^{(l)}(\tilde{x}_v,\tilde{x}_t)-h_{target}^{(l)}\big\|_2^2,\qquad h_{target}^{(l)}=\phi^{(l)}(x_v,x_t)-\epsilon^{(l)}v^{(l)}\]깨끗한 표현에서 법선 방향으로 $\epsilon^{(l)}$ 만큼 이동한 점을 목표로 삼아, 적대적 융합 표현이 그곳에 도달하도록 합니다.
(2) 기하 손실 $\mathcal{L}_{geo}$ — 이동 방향 정렬
\[\mathcal{L}_{geo}=\Big\|\frac{\Delta h^{(l)}}{\|\Delta h^{(l)}\|_2}-v^{(l)}\Big\|_2^2,\qquad \Delta h^{(l)}=\phi^{(l)}(\tilde{x}_v,\tilde{x}_t)-\phi^{(l)}(x_v,x_t)\]실제 이동 벡터의 단위 방향이 경계 법선과 일치하도록 합니다. 도달 지점뿐 아니라 경로의 방향을 제약해 최적화를 안정시킵니다.
(3) 의미 손실 $\mathcal{L}_{sem}$ — 섭동 억제와 접미사 일관성
\[\mathcal{L}_{sem}=\|\delta_v^{input}\|_2^2+\mathcal{L}_{suffix}(X_t^{suffix})\]이미지 섭동 크기를 억제하고 접미사의 일관성을 유지합니다. 논문은 $\mathcal{L}_{suffix}$ 의 구체적 정의를 제시하지 않습니다.
총 손실 (Eq. 9)
\[\mathcal{L}_{total}=\mathcal{L}_{align}+\lambda_1\mathcal{L}_{sem}+\lambda_2\mathcal{L}_{geo},\qquad \lambda_1=2.0,\ \lambda_2=1.0\]| 손실 | 역할 | 제거 시 (Section 4.5) |
|---|---|---|
| $\mathcal{L}_{align}$ | 목표 영역 횡단 | ASR 82.67% (150회), 불안정 |
| $\mathcal{L}_{geo}$ | 법선 방향 정렬 | ASR 85.79% |
| $\mathcal{L}_{sem}$ | 섭동 크기·접미사 일관성 보존 | ASR 95.21% 로 상승, 의미 점수 3.48 로 하락 |
⚙️ 2. 공동 갱신 규칙 (Eq. 10–11)
| 모달리티 | 갱신 | 설정 |
|---|---|---|
| 시각 | 투영 경사 하강. $|\delta|_\infty\le\epsilon_v$ 로 투영 | $\eta_v=0.001$, $\epsilon_v^{input}=8/255$ |
| 텍스트 | 임베딩 공간에서 $\delta_t^{emb}=-\eta_t\nabla\mathcal{L}$ 만큼 이동 후, 각 접미사 토큰을 L2 거리가 가장 가까운 어휘 토큰으로 교체 | $\eta_t=0.0005$, 접미사 20토큰 |
| 공통 | 100–150회 반복, A100 8장 |
텍스트 측은 이산 토큰이므로 연속 임베딩 공간에서 gradient 스텝을 밟은 뒤 최근접 토큰으로 투영하는 방식입니다. 두 모달리티의 gradient 가 같은 융합 층 손실에서 나오므로, 이미지와 텍스트가 서로의 이동을 보완하도록 조정됩니다.
🔀 3. 다섯 가지 공격 조건
| 조건 | 의미 |
|---|---|
| $I_0+T_0$ | 기준선. 적대적 이미지·텍스트 없음 |
| $I_0+T_1$ | 텍스트만 공격 |
| $I_1+T_0$ | 이미지만 공격 |
| $I_1+T_1$ | 이미지와 텍스트를 따로 공격한 뒤 결합 |
| ${I_1,T_1}$ | 반복적 공동 공격. 논문의 주 방법 |
단순 결합($I_1+T_1$)보다 공동 최적화(${I_1,T_1}$)가 강하며, 모델별로 텍스트 섭동과 시각 섭동의 상대적 취약성이 다릅니다. 교차 모달 융합이 부가 요소가 아니라 핵심 공격면이라는 근거입니다.
💡 Key Takeaway $\mathcal{L}{align}$ 은 “어디로”, $\mathcal{L}{geo}$ 는 “어느 방향으로”, $\mathcal{L}_{sem}$ 은 “얼마나 티 안 나게”를 담당합니다. 그리고 두 모달리티는 같은 융합 층 손실로 묶여 함께 움직입니다.
실험 설정과 평가 지표
실험은 세 오픈소스 VLM 에서 공격을 생성하고 세 상용 VLM 으로 전이하며, MM-SafetyBench 를 데이터셋으로 씁니다(Section 4.1).
🧪 1. 설정
| 항목 | 내용 |
|---|---|
| White-box 소스 | Llama-3.2-11B, Qwen2.5-VL-7B, MiniGPT-4 |
| Black-box 대상 | GPT-4o, Gemini 2.0 Flash, Claude 3.5 Sonnet |
| 데이터셋 | MM-SafetyBench. 13개 금지 범주, 1,719개 적대적 예제. 각 샘플은 안전하지 않은 시각 내용과 악성 프롬프트 쌍 |
| 기준선 | UMK, FigStep, VAJM, 무공격 Baseline |
📏 2. 지표와 그 한계
| 지표 | 정의 | 주의점 |
|---|---|---|
| ASR | 응답에 사전 정의된 거부 템플릿 문구가 정확 문자열 매칭으로 포함되지 않으면 성공 | 거부가 바꿔 말해지거나 안전한 비거부 응답이면 거짓 양성·음성 발생 |
| 의미 보존 점수 | GPT-4 와 사람 평가 0–5 서수 척도 | 사람 평가자는 공저자이며, 사실 정확성·윤리 준수·안전 정렬을 의도적으로 무시하고 유용성만 채점 |
ASR 이 거부 템플릿 부재에 기반한다는 점은 이 논문을 읽을 때 가장 중요한 주의 사항입니다. Break the Brake 가 세 심판 교집합을 쓰고 iDecep 이 외부 심판으로 직접/para 를 분리하는 것과 비교하면 훨씬 느슨한 기준입니다. NeurIPS 체크리스트에서도 오차 막대, 신뢰 구간, 통계적 유의성 검정이 없다고 명시되어 있습니다.
💡 Key Takeaway 보고된 ASR 은 “거부 문구가 없었다”의 비율입니다. 공격의 방향성과 전이성은 강하게 보여주지만, 응답이 실제로 유해했는지는 별도 심판으로 다시 확인해야 합니다.
실험 결과: White-box, Black-box 전이, Ablation
결과는 공동 최적화가 white-box 에서 90% 이상, black-box 전이에서 기존 최고 대비 20%p 이상의 개선을 보이며, 세 손실이 각각 다른 역할을 한다는 것을 보여줍니다.
📈 1. White-box ASR (Table 3, ${I_1,T_1}$ 전체 평균)
| 모델 | ASR |
|---|---|
| Llama-3.2-11B | 94.38% |
| Qwen2.5-VL-7B | 91.40% |
| MiniGPT-4 | 97.19% |
초록의 94.32% 는 세 값의 평균입니다. 범주별(Table 3)로는 ${I_1,T_1}$ 가 대부분의 범주와 모델에서 가장 높습니다. 본문은 MiniGPT-4 의 Physical Harm 에서 97.22% 대 UMK 66.67% 라고 쓰는데 표에는 97.03% 로 적혀 있어 소폭 불일치가 있습니다.
🌐 2. Black-box 전이 (Table 4, 전체 평균)
| 방법 | GPT-4o | Gemini 2.0 Flash | Claude 3.5 Sonnet |
|---|---|---|---|
| Baseline (무공격) | 31.85% | 18.75% | 20.48% |
| UMK | 50.77% | 51.79% | 35.89% |
| FigStep | 35.36% | 31.19% | 47.62% |
| VAJM | 28.45% | 37.98% | 24.46% |
| JailBound | 75.24% | 70.06% | 56.55% |
세 값의 평균 67.28% 가 초록의 black-box 수치이며, 기존 최고 대비 +21.13%p 입니다. 소스 모델의 융합 층에서 찾은 방향이 아키텍처가 다른 상용 모델에서도 작동한다는 것은 서로 다른 VLM 이 유사한 융합 단계 취약성을 공유할 가능성을 시사합니다. 다만 Claude 3.5 Sonnet 에서 일부 범주의 ASR 이 낮은데, 이는 대상 모델의 거부 스타일, 범주별 조정, 거부 템플릿 지표와의 상호작용 때문일 수 있습니다. 무공격 기준선 자체가 GPT-4o 에서 31.85% 라는 점도 거부 템플릿 지표의 느슨함을 보여줍니다.
🔬 3. Ablation (Section 4.5, Figure 4)
| 설정 | ASR | 의미 점수 (0–5) |
|---|---|---|
| 전체 손실 | 91.40% | 4.67 |
| w/o $\mathcal{L}_{geo}$ | 85.79% | 4.33 |
| w/o $\mathcal{L}_{align}$ | 82.67% (150회) | 3.37 |
| w/o $\mathcal{L}_{sem}$ | 95.21% | 3.48 |
$\mathcal{L}{align}$ 과 $\mathcal{L}{geo}$ 는 공격 방향과 수렴 안정성에 핵심이고, $\mathcal{L}{sem}$ 은 성공률보다 응답의 관련성·의미 일관성을 유지하는 역할이 큽니다. $\mathcal{L}{sem}$ 을 빼면 ASR 은 오르지만 응답이 무의미해지는 트레이드오프가 있습니다. 거부 문구만 사라지면 성공으로 세는 지표 아래서는 이 트레이드오프가 특히 중요합니다.
🧮 4. 분류기 구성 분석 (Appendix A.3)
| 감독에 쓴 층 | ASR | 필요 반복 |
|---|---|---|
| 전체 융합 층 | 91.4% 이상 | 약 100회 |
| 마지막 10개 층 | 약 88.2% | 160회 이상 |
| 마지막 층만 | 약 82.8% | 250회 이상 |
조밀한 층별 안내가 더 빠르고 강한 공격을 만듭니다. 융합 표현의 안전 신호가 단일 최종 층이 아니라 여러 깊이에 분산되어 있다는 뜻이며, 마지막 층만 쓰는 목적함수는 gradient 신호가 너무 거칠어 수렴이 느리고 전이성도 약해집니다.
💡 Key Takeaway 공동 최적화는 white-box 에서 90% 이상, 상용 모델 전이에서 기존 대비 20%p 이상을 냅니다. 그리고 안전 신호는 한 층이 아니라 여러 층에 퍼져 있어, 층별 안내가 많을수록 공격이 강해집니다.
방어 함의와 관련 연구
방어 관점에서 JailBound 는 출력 수준 안전만으로는 잠재 표현 조작을 막기 어렵다는 것을 보여줍니다. 논문 자체는 방어를 깊이 다루지 않지만, 방향은 분명합니다.
🛡️ 1. 방어 연구의 단위 이동
| 기존 방어 단위 | 한계 | 제안되는 단위 |
|---|---|---|
| 프롬프트 수준 탐지기 | 융합 층 이동을 보지 못함 | 융합 층 표현 이동 |
| 출력 필터·키워드 필터 | 거부 문구가 없는 유해 응답 통과 | 경계 마진(boundary margin) |
| 텍스트 전용 거부 튜닝 | 시각 경로의 섭동에 무력 | 잠재 안전 개념 강건성 |
자연스러운 방향은 표현 수준 적대적 학습, 안전하지 않은 방향으로의 이동을 벌점으로 주는 표현 정규화, 이미지 섭동과 텍스트 접미사가 융합 층에서 비정상적으로 정렬되는지 보는 교차 모달 일관성 검사, 잠재 거부 마진 확장입니다. 반대로 말하면 탐사 단계 자체가 방어 진단 도구가 될 수 있습니다. 안전 미세조정 전후로 경계 법선의 코사인 유사도와 마진 변화를 측정하면 됩니다.
🔗 2. 계보 안에서의 위치
| 연구 | 공격 지점 | JailBound 와의 관계 |
|---|---|---|
| MM-SafetyBench, FigStep | 입력 의미 (typography) | JailBound 의 데이터셋이자 기준선 |
| Jailbreak in Pieces | CLIP 시각 인코더 임베딩 | 융합 전 단계. JailBound 는 융합 후 표현을 겨냥 |
| VAJM (Qi et al.) | 시각 적대 예제, 출력 목표 | 방향성 없는 출력 최적화 |
| UMK | 이미지+텍스트 공격 | 분리 최적화. JailBound 는 융합 층 손실로 공동 최적화 |
| Break the Brake | 디코딩 엔트로피 | 출력 분포 관점. JailBound 는 표현 기하 관점 |
| 거부 방향(refusal direction), 활성화 조향 | LLM 잔차 스트림의 선형 방향 | 같은 “선형 탐침 → 방향 조작” 패턴을 입력 섭동으로 구현 |
💡 Key Takeaway JailBound 는 해석 가능성 연구의 “선형 탐침으로 방향 찾기”를 입력 섭동 공격으로 뒤집은 사례입니다. 같은 탐침이 방어 측에서는 경계 마진 진단 도구가 됩니다.
한계와 열린 방향
이 논문의 한계는 평가 지표의 느슨함, 통계적 엄밀성 부재, 방어 부재, 그리고 white-box 생성 전제로 요약됩니다.
⚠️ 1. 저자가 인정한 한계
- 이 공격 벡터를 겨냥한 방어를 광범위하게 탐구하지 않았습니다.
- 실험은 고정된 섭동 예산 집합을 사용하며, 섭동 크기 대 공격 성공의 아키텍처별 세밀한 분석은 향후 과제입니다.
- NeurIPS 체크리스트에서 오차 막대·신뢰 구간·유의성 검정이 없다고 명시합니다.
🔒 2. 외부 관점의 한계
- 평가 지표 : ASR 이 거부 템플릿 문자열 매칭에 의존해, 바꿔 말한 거부나 안전한 비거부 응답에서 오판이 생깁니다. 무공격 기준선이 GPT-4o 에서 31.85% 라는 점이 그 느슨함을 보여줍니다. 의미 보존 사람 평가는 공저자 기반이며 사실 정확성과 안전 정렬을 제외하므로, 공격 응답의 유용성 측정에는 맞지만 안전 평가로는 편향 가능성이 있습니다.
- 범위 : white-box 소스 3개, black-box 대상 3개로 제한됩니다. 더 다양한 아키텍처, 더 최신 폐쇄형 시스템, 실제 제품의 조정 스택까지 일반화되는지는 불확실합니다.
- 가정 : 공격 생성은 소스 VLM 의 융합 표현과 gradient 접근을 전제합니다. 공격자가 적절한 소스 모델을 확보하지 못하거나 대상과의 아키텍처 불일치가 크면 전이 ASR 은 달라질 수 있습니다. 생성 단계와 전이 단계의 위험도는 구분해서 봐야 합니다.
- 적용 가능성 : 층별 분류기 학습 구조에 의존하므로, 종단 폐쇄 시스템, 은닉 표현이 노출되지 않는 시스템, 도구 증강·검색 증강 VLM 에는 같은 방식으로 적용하기 어렵습니다.
- 내부 불일치 : 탐사 정확도 “모든 층 100%” 서술과 Appendix A.2 의 초기 층 저성능, 94.38% 와 94.32% 의 평균 표기, Physical Harm 97.22% 와 97.03% 등 작은 불일치가 있습니다.
- 정의 누락 : $\mathcal{L}_{suffix}$ 가 정의되지 않았고 공식 코드 페이지가 명확하지 않아, 재현은 보충 자료 ZIP 과 하이퍼파라미터에 의존해야 합니다.
❓ 3. 열린 질문
- 융합 층 경계는 안전 미세조정 이후 어떻게 이동하는가? 지시 튜닝, RLHF/RLAIF, 안전 미세조정 중 언제 가장 크게 형성되는가?
- 표현 수준 적대적 학습으로 $\mathcal{L}{align}$ / $\mathcal{L}{geo}$ 방향을 무력화할 수 있는가? 내부 경계를 넓히는 방어가 유용성을 얼마나 손상시키는가?
- 거부 템플릿 ASR 대신 사람·모델 심판·정책 기반 루브릭을 쓰면 결과가 얼마나 달라지는가?
- Black-box 전이가 아키텍처 유사성 때문인지, 공유 학습 데이터·지시 튜닝 때문인지 분리할 수 있는가? 전이를 줄이려면 소스-대상 공유 표현을 줄이는 것이 효과적인가, 출력 정책을 강화하는 것이 효과적인가?
- 더 강한 상용 조정 층이 있는 운영 VLM 에서도 같은 전이 패턴이 유지되는가?
- 멀티모달 사고 연쇄, 도구 사용, 검색 맥락이 추가되면 경계 횡단이 더 쉬워지는가?
🧷 4. 내 판단과 연구 연결
- 판단 : 설득력은 높음에서 중간, 중요도는 높음, 새로움은 중간에서 높음, 재현 가능성은 중간, 실제 위험성은 높음입니다. 단, 소스 white-box 접근이 필요한 생성 단계와 black-box 전이 단계는 구분해야 합니다. 가장 강한 부분은 잠재 안전 경계 관점을 VLM jailbreak 에 연결해 실제 공격 목표로 조작화한 점, 이미지/텍스트를 따로 다루지 않고 융합 중심 공동 최적화로 설계한 점, white-box 뿐 아니라 black-box 전이까지 보여 위험 프레이밍이 강한 점입니다. 가장 약한 부분은 거부 템플릿 문자열 매칭에 의존하는 ASR, 부족한 방어 실험, 불명확한 공식 코드와 통계적 유의성 부재입니다.
- 기억할 점 : 안전성은 출력에서만 평가할 것이 아니라 융합 층 잠재 경계 마진으로도 평가해야 합니다. $\mathcal{L}_{sem}$ 을 제거하면 ASR 은 오르지만 의미 보존이 무너지는 트레이드오프가 있고, 조밀한 층별 안내가 마지막 층 전용 안내보다 강력합니다.
- 인용 용도 : VLM 안전 정렬이 시각 모달리티와 융합 표현 때문에 LLM 보다 넓은 공격면을 가진다는 근거, 이미지 전용·텍스트 전용·typography·시각 적대 예제 계열과 대비되는 잠재 경계 기반 공격, 융합 층 탐사·층별 분류기·경계 법선을 활용한 표현 공간 공격 목적함수, black-box VLM 에도 전이되는 교차 모달 jailbreak 사례, 출력 수준 거부 튜닝만으로 잠재 공간 조작을 막기 어렵다는 근거, MM-SafetyBench 기반 ASR 평가의 장점과 문자열 매칭 지표의 한계를 함께 논의하는 사례.
- 연구 연결 : 이 논문은 표현 수준 안전 실패를 다룹니다. “모델이 내부적으로 무엇을 부호화하는가”와 “출력 정책이 무엇을 말하게 하는가” 사이의 간극을 공격면으로 본다는 점이 정렬·해석 가능성 연구와 직접 연결됩니다. 가져다 쓸 아이디어로는 융합 층별 safe/unsafe 선형 분리 가능성 측정, 안전 경계 마진을 강건성 지표로 정의, 방어 평가에서 경계 거리·법선 정렬·교차 모달 일관성 측정, 텍스트 전용 거부 강건성과 멀티모달 잠재 강건성의 분리 평가가 있습니다. 비교 기준선으로는 다섯 모달리티 조건, UMK·FigStep·VAJM, 마지막 층 / 마지막 10개 층 / 전체 층 분류기 안내를 둘 수 있습니다. 확장으로는 unsafe 방향을 찾은 뒤 그 방향으로의 이동을 정규화하는 방어 측 탐사, 소스-대상 아키텍처·토크나이저·안전 정책 유사성으로 전이성 분해, 거부 템플릿 매칭 대신 정책 기반 심판 + 사람 판정 + 피해 심각도 점수로 ASR 지표 개선, 안전 미세조정 전후 경계 법선과 마진 변화 분석이 있습니다.
- 실행 항목
- MM-SafetyBench 또는 유사 벤치마크에서 거부 템플릿 ASR, 모델 심판 유해성, 사람 심각도 평가를 함께 비교하고 범주별 ASR 분산과 신뢰 구간 추가
- 융합 층별 safe/unsafe 선형 분리 가능성을 탐사하고 초기/중기/후기 층 경계 마진 시각화. 안전 미세조정 전후 경계 법선의 코사인 유사도와 마진 변화 측정
- 표현 정규화(unsafe 방향 이동 벌점), JailBound 류 섭동으로 적대적 학습 후 깨끗한 유용성과 강건 ASR 변화, 교차 모달 일관성 탐지기 실험
- Qwen2.5-VL-7B 또는 MiniGPT-4 에서 층별 분류기 탐사만 먼저 재현한 뒤 $I_0{+}T_1$, $I_1{+}T_0$, ${I_1,T_1}$ 를 작은 부분집합으로 비교. 공식 코드가 명확하지 않으므로 보충 ZIP 과 논문 하이퍼파라미터 기준 최소 구현부터 시작
- 후속 문헌: ELK / CCS 기반 잠재 지식 탐사, FigStep·VAJM·UMK·구성적 적대 공격, 표현 수준 안전 방어·거부 방향·활성화 조향·멀티모달 융합 층 적대 강건성
💡 Key Takeaway JailBound 의 가장 큰 메시지는 “안전 경계는 출력이 아니라 융합 층에 있다”는 것입니다. 같은 탐침이 공격과 방어 양쪽에 쓰일 수 있으므로, 다음 단계는 그 경계 마진을 정렬 과정 전반에서 추적하고 넓히는 일입니다.