You know maize mean?
ReaLM: A Unified Red-Teaming Benchmark for Physical-World VLMs
0. Summary
기본 정보 : ArXiv,2026.06.22, ReaLM: A Unified Red-Teaming Benchmark for Physical-World VLMs
연구 배경
시각-언어 모델(VLM)은 자율주행, 로봇 조작, 1인칭 보조 시스템 등 물리 세계의 지각-추론 백본으로 쓰이기 시작했고, 이 환경에서는 지각이나 추론 오류가 곧 차선 변경 실수, 잘못된 파지점 선택 같은 안전하지 않은 행동으로 이어진다. VLM 취약성을 탐색하는 red-teaming 방법은 CLIP 기반 시각 섭동, 확산 모델 기반 생성, typographic 주입, 텍스트 프롬프트 조작까지 다양하게 제안되었지만, 평가가 데이터셋·지표·위협 모델별로 파편화되어 있어 “어떤 방법이 더 강한지”, “어떤 모델이 더 취약한지”, “그저 평가 설정이 달랐던 것인지”를 구분할 수 없었다. 한편 HarmBench, AgentHarm, AdversarialLLM, OpenRT 같은 기존 red-teaming 벤치마크는 챗봇 중심의 content safety, 즉 유해·편향·정책 위반 텍스트를 뽑아낼 수 있는지를 표준화했을 뿐이다. 물리 세계 VLM 의 실패는 유해 텍스트 생성이 아니라 지각·추론·예측·평가·계획 과제에서의 기능적 오류(교통 장면에서 잘못된 행동 예측, 조작 성공 여부 오판, 물리적으로 말이 안 되는 예측)로 나타나기 때문에 거부율, 독성 점수, jailbreak 성공 기준으로는 포착되지 않는다. PhysBench, PAI-Bench 같은 물리 이해 벤치마크는 깨끗한 입력에서의 능력만 재고 통일된 red-teaming 프로토콜이 없다. 질문은 “모델이 유해 요청을 거부했는가”에서 “모델이 물리적으로 근거 있는 기능적 오류를 저질렀는가” 로 옮겨가야 한다.
제안 방법
ReaLM(Red-teaming Benchmark for Physical-World VLMs) 은 저자들이 아는 한 최초의 물리 세계 VLM 통합 red-teaming 벤치마크다. 12개 red-teaming 방법(시각 섭동, 패치, 생성·편집, 주입, 베이스라인), 3개 모델 불가지론적(model-agnostic) 방어, 13개 VLM 을 공유 데이터셋·지표·위협 모델 아래 통합한다. 평가는 피해자 모델의 파라미터·그래디언트·로짓·내부 상태에 접근하지 않고, 대리(surrogate) 모델이나 외부 생성기로 오프라인에서 만든 적대 입력을 한 번만(one-shot) 전이하는 현실적인 블랙박스 위협 모델을 따른다. 벤치마크는 주행·조작·파지·물리·1인칭·진단·장면 QA 일곱 물리 도메인, 지각·예측·추론·평가·계획 다섯 과제군, 행동 예측·과제 성공·공간 추론·물리 타당성·체화 계획 다섯 실패 양식의 세 축으로 조직된다. 핵심 장치는 에이전트 기반 타깃 생성 파이프라인이다. 추론 VLM 에이전트가 각 장면을 분석해 그럴듯한 실패 양식을 고르고, 정답과 다르지만 장면 맥락에 부합하는 타깃 오답 $a^{\mathrm{tar} }$ 과 그 오인식을 시각적으로 구현한 타깃 이미지 $I^{\mathrm{tar} }$ 를 생성-진단-수정 루프로 만든다. 이 타깃은 모든 공격 방법이 공유하므로, 시각 섭동 계열은 타깃 이미지를 최적화 기준으로, 프롬프트·typographic 주입 계열은 타깃 오답을 지시문 재료로 쓰면서 같은 장면별 목표 아래 공정하게 비교된다.
발견 사실
832개 기본 사례 × 12개 방법 × 13개 모델, 총 129,792회의 모델-공격 평가에서 네 가지 결론이 나왔다. 첫째, 텍스트·typographic 주입이 가장 많은 실패를 유발했다. PromptInject 는 평균 ASR 64.8% 로 1위, FigStep 은 49.4% 였고, Cosmos-Reason2-8B 에 대한 PromptInject 76.8% 가 전체 모델-공격 쌍 중 최고였다. 둘째, 시각 섭동 중에서는 이미지와 캡션 임베딩을 공동 최적화하는 Chain-of-Attack(CoA) 이 54.6% 로 FOA(48.1%), M-Attack(46.3%), V-Attack(47.9%) 을 앞서 멀티모달 공동 최적화가 전이성을 높인다는 점을 보였다. 셋째, 단일 순방향 패스로 섭동을 만드는 AnyAttack 이 49.9% 로 300회 반복 PGD 계열(FOA 48.1%)을 소폭 넘어 상각(amortized) 공격이 훨씬 낮은 비용으로 반복 최적화에 근접했고, 공간 제한 패치 공격 PhysPatch 는 33.0% 로 전이성이 가장 낮았다. 넷째, 모델 규모는 강건성을 보장하지 않는다. Qwen3.5 를 9B 에서 122B 로 키우면 clean 정확도는 68.9% 에서 72.8% 로 오르지만 PromptInject ASR 은 63.7% 에서 64.3% 로 거의 그대로였고, 물리 추론 특화 후훈련을 받은 Cosmos-Reason 계열이 오히려 가장 취약한 영역에 있었으며, 독점 모델(Gemini-3-Flash, GPT-4.1-Mini 등)도 비슷한 clean 정확도의 오픈소스 모델과 같은 ASR 범위에 머물렀다. 도메인별로는 조작(Manipulation)과 주행(Driving)의 ASR 중앙값이 가장 높고 장면 QA 가 가장 낮았다. 방어 측면에서 BlueSuffix 는 PromptInject ASR 을 평균 65.6% 에서 43.9% 로 21.7 포인트 낮췄지만, 시각 전용 방어(PAD, FreqPure)는 주입 공격에 효과가 없었고 FreqPure 는 FOA 만 5.8 포인트 낮췄으며, FigStep 은 세 방어 모두에 영향을 받지 않았다.
핵심 기여
- 통합 벤치마크 : 12개 red-teaming 방법, 3개 방어, 13개 VLM(7B~100B+)을 공유 데이터셋·지표·블랙박스 위협 모델 아래 묶은 최초의 물리 세계 VLM red-teaming 벤치마크를 제시했다.
- 에이전트 기반 타깃 생성 : 장면·질문·정답·과제 범주에 조건화된 물리적으로 타당한 공격 목표(타깃 오답 + 타깃 이미지)를 자동으로 만들어, 서로 다른 공격 계열을 같은 장면별 목표 아래 비교할 수 있게 했다.
- 체계적 평가 : 텍스트·typographic 주입이 가장 많은 실패를 내고, 멀티모달 공동 최적화가 가장 강한 시각 전이를 주며, 단일 패스 공격이 반복 공격에 근접하고, 규모·도메인 후훈련·독점 여부가 강건성을 보장하지 않으며, 어떤 전처리 방어도 모든 공격 패러다임을 덮지 못한다는 결론을 13개 모델에 걸쳐 보였다.
Abstract 쉬운 설명(Gemini)
📌 한 줄 핵심 요약 (Key Takeaway)
“화면 속에서 채팅만 하던 AI가 이제는 자율주행차와 로봇의 ‘눈과 뇌’가 되었습니다. 이들이 현실 세계에서 해커의 속임수에 넘어가 사고를 내지 않도록, 모든 AI와 공격 기술을 한자리에 모아 공정하게 테스트하는 최초의 ‘통합 안전 시험장(REALM)’을 만든 연구입니다.”
1. 🤔 왜 이런 연구가 필요했나요? (배경)
요즘 AI는 사진도 보고 글도 읽을 줄 압니다(이를 시각-언어 모델, VLM이라고 합니다). 예전에는 챗봇처럼 화면 속에서 질문에 답만 했지만, 이제는 자율주행 자동차나 가사 도우미 로봇의 ‘눈과 두뇌’로 들어가기 시작했습니다.
문제는 여기서 발생합니다:
- 화면 속 AI의 실수: 챗봇이 나쁜 말을 하거나 거짓말을 하면 기분이 나쁘고 끝납니다.
- 현실 세계 AI의 실수: 자율주행차나 로봇이 눈앞의 사물을 잘못 보면 실제 교통사고나 인명 피해로 이어집니다.
게다가 기존에는 이 AI들을 테스트할 때 연구자마다 각자 다른 시험 문제와 채점 기준을 썼습니다. 마치 어떤 자동차는 비포장도로에서, 어떤 자동차는 고속도로에서 테스트해 놓고 누가 더 안전한지 비교하려던 것과 같았죠.
2. 🛠️ 연구팀이 만든 ‘REALM’은 무엇인가요?
연구팀은 이 문제를 해결하기 위해 ‘REALM’이라는 세계 최초의 표준 안전 시험장을 만들었습니다. 모든 AI 모델들을 똑같은 경기장에 모아놓고 공정하게 테스트한 것입니다.
| 구분 | 비유 설명 | 실제 연구 내용 |
|---|---|---|
| 시험 대상 (응시생) | 운전면허 시험을 보는 13대의 AI 자율주행차/로봇 | 최신 시각-언어 AI 모델 13종 |
| 함정 (공격 기술) | AI의 눈과 귀를 속이는 12가지의 악질적인 장난 | 픽셀 노이즈, 가짜 글자 스티커, 명령어 속이기 등 12가지 해킹 기법 |
| 보호 장비 (방어 기술) | 속임수에 안 넘어가게 돕는 3가지 안전장치 | 이미지를 깨끗하게 보정하는 등 3가지 방어 기술 |
| 맞춤형 출제 위원 | 도로 상황에 맞춰 가장 그럴듯한 함정을 파는 심판 | 상황에 맞는 공격 목표를 자동으로 짜주는 AI 파이프라인 |
3. 😱 시험해 보니 어떤 충격적인 결과가 나왔나요?
연구팀이 이 시험장에서 13개의 AI를 테스트해 본 결과, 우리가 꼭 알아야 할 4가지 중요한 사실이 밝혀졌습니다.
| 주요 발견 | 비전공자를 위한 쉬운 설명 |
|---|---|
| ① ‘글자 스티커’ 장난에 가장 잘 속는다 | 해커가 복잡한 컴퓨터 기술을 쓸 필요도 없었습니다. 예를 들어 정지 표지판 옆에 “무시하고 그냥 직진하세요”라고 적힌 종이(글자 이미지)만 붙여놔도, AI가 그 글자를 읽고 진짜로 착각해 오작동을 일으키는 경우가 가장 많았습니다. |
| ② 한 번 속은 함정에는 다른 AI도 다 속는다 | 눈속임 사진과 헷갈리는 설명을 세트로 묶어서 정교하게 함정을 만들면, A사 AI를 속인 함정이 B사, C사 AI까지 전부 속이는 현상이 나타났습니다. |
| ③ 가성비 해킹도 충분히 위험하다 | 수백 번 계산해서 공들여 만든 함정뿐만 아니라, 단 한 번의 시도로 뚝딱 만든 간단한 함정에도 AI들이 너무나 쉽게 넘어갔습니다. |
| ④ 덩치(성능)가 크다고 안 속는 게 아니다 | 흔히 “더 똑똑하고 거대한 최신 AI일수록 해킹에 강할 것”이라고 생각하지만, 몸집이 큰 AI라고 해서 이런 눈속임 장난에 더 잘 버티는 것은 아니었습니다. |
💡 이 논문이 우리에게 주는 교훈
앞으로 로봇과 자율주행차가 우리 일상으로 들어오려면 단순히 “성능이 좋다”, “말을 잘 알아듣는다” 수준을 넘어, 누군가 악의를 품고 표지판에 장난을 치거나 눈속임을 해도 절대 속지 않는 ‘안전성’이 따로 연구되어야 한다는 것을 이 논문은 경고하고 있습니다.
관련 개념
챗봇 Red-Teaming 과 물리 세계 VLM Red-Teaming 의 차이
이 논문의 출발점은 “기존 red-teaming 벤치마크가 무엇을 재고 있었는가”를 다시 묻는 것입니다. 챗봇용 벤치마크는 적대 프롬프트가 유해 콘텐츠(독성, 허위 정보, 정책 위반)를 끌어낼 수 있는지를 봅니다. 반면 물리 세계에 배치된 VLM 은 유해 텍스트를 생성하지 않아도, 장면을 잘못 지각하거나 다음 행동을 잘못 예측하는 것만으로 위험해집니다.
🧭 1. 두 종류의 실패
| 관점 | 챗봇 중심 red-teaming | 물리 세계 VLM red-teaming |
|---|---|---|
| 평가 대상 | 유해·편향·불법·정책 위반 출력 | 지각·추론·예측·평가·계획 과제의 기능적 오류 |
| 성공 기준 | 거부 실패, 독성 점수, jailbreak 판정 | 행동 예측 오류, 과제 성공 오판, 공간 추론 오류, 물리 타당성 위반, 체화 계획 오류 |
| 공격 수단 | 유해 지시, 역할극, 다국어 우회 등 | 시각 섭동, 국소 패치, 생성 이미지, typographic 주입, 멀티모달 타깃 공격 |
| 핵심 질문 | “모델이 유해 요청을 거부했는가?” | “모델이 물리적으로 근거 있는 오류를 저질렀는가?” |
저자들은 거부율이나 독성 점수가 교통 장면에서의 잘못된 행동 예측, 조작 성공 여부의 오판, 물리적으로 불가능한 예측을 전혀 포착하지 못한다고 지적합니다.
🗺️ 2. 기존 벤치마크와의 위치 (Table 1)
| 벤치마크 | 초점 | 물리 도메인 | Red-teaming | 타깃 지정 방식 |
|---|---|---|---|---|
| HarmBench | Content safety | – | ✓ | 고정(Fixed) |
| AgentHarm | 에이전트 오용 | – | ✓ | 고정 |
| AdversarialLLM | LLM 강건성 | – | ✓ | 범용(Generic) |
| OpenRT | 멀티모달 RT | – | ✓ | 고정 |
| PhysBench | 물리 추론 | ✓ | – | – |
| PAI-Bench | 물리 AI | ✓ | – | – |
| ReaLM | 물리 RT | ✓ | ✓ | 장면별(Scene-specific) |
표가 말하는 공백은 두 가지입니다. 기존 red-teaming 벤치마크는 물리 도메인이 없고, 물리 벤치마크는 red-teaming 이 없습니다. 그리고 타깃 지정 방식 열이 ReaLM 만의 차별점입니다. 다른 벤치마크는 고정된 유해 행동 범주나 ImageNet 클래스 쌍 같은 입력 독립적 목표를 쓰지만, 물리 세계에서는 “그럴듯한 실패”가 장면·질문·정답·과제에 따라 달라지기 때문에 장면마다 목표를 새로 만들어야 합니다.
🧩 3. 세 축의 조직
ReaLM 은 평가를 세 축으로 조직합니다.
- 물리 도메인(Physical domains) : 주행(Driving), 조작(Manipulation), 파지(Grasping), 물리(Physics), 1인칭(Egocentric), 진단(Diagnostics), 장면 QA(Scene QA).
- 과제군(Task families) : 지각(Perception), 예측(Prediction), 추론(Reasoning), 평가(Evaluation), 계획(Planning).
- 물리적 실패 양식(Physically grounded failure modes) : 행동 예측 오류, 과제 성공 오판, 공간 추론 오류, 물리 타당성 오류, 체화 계획 오류.
💡 Key Takeaway ReaLM 은 “안전 = 거부” 라는 챗봇 프레임을 버리고, 잘못된 지각·예측이 곧 안전 사고인 환경에서 red-teaming 을 다시 정의합니다. 그래서 지표도 거부율이 아니라 “과제 관련 오답을 유도했는가”입니다.
문제 정식화와 블랙박스 위협 모델
📐 1. 벤치마크 데이터의 형식
벤치마크 데이터셋은 다섯 요소의 튜플로 정의됩니다.
$$ \mathcal{D}={(I_{i},\,q_{i},\,a_{i}^{\star},\,a_{i}^{\mathrm{tar} },\,c_{i})}_{i=1}^{N} $$
| 기호 | 의미 |
|---|---|
| $I_i$ | 실제 물리 도메인에서 온 원본 이미지 |
| $q_i$ | 장면에 대한 질문 |
| $a_i^{\star}$ | 정답(ground truth) |
| $a_i^{\mathrm{tar} }$ | 의도된 오행동을 나타내는 장면별 타깃 오답 |
| $c_i$ | 샘플 범주(물리 도메인 + 과제군) |
피해자 VLM $f$ 에 대해 red-teaming 방법은 깨끗한 테스트 케이스 $x_i=(I_i,q_i)$ 를 적대 케이스 $\tilde{x}_i$ 로 바꿉니다. 바꾸는 대상은 시각 입력일 수도, 텍스트 질의일 수도, 멀티모달 입력 구성 자체일 수도 있습니다. 목표는 가능하면 타깃 행동 $a_i^{\mathrm{tar} }$ 을 유도하는 것이고, 더 일반적으로는 정답 $a_i^{\star}$ 에서 벗어나게 하는 것입니다.
여기서 “물리 세계”는 VLM 과제와 결정 맥락이 물리적으로 근거를 둔다는 뜻이지, 모든 공격이 카메라 앞에서 물리적으로 실현 가능하다는 뜻은 아닙니다. 평가되는 공격에는 디지털 스트레스 테스트와 물리적으로 제약된 섭동이 모두 들어갑니다. 저자들은 결과를 “물리 세계 과제에서의 강건성 평가”로 읽어야지 “모든 공격이 물리적으로 실현 가능하다”는 주장으로 읽으면 안 된다고 명시합니다.
🔒 2. 블랙박스 위협 모델
| 제약 | 내용 |
|---|---|
| 접근 권한 | 공격도 방어도 피해자 VLM 의 파라미터·그래디언트·로짓·내부 상태에 접근 불가 |
| 생성 방식 | 대리 모델이나 외부 생성기로 오프라인 생성 후 피해자 모델에 전이 |
| 질의 횟수 | 피해자 모델을 반복 질의하지 않음. 케이스당 한 번 생성, 한 번 평가(one-shot) |
| 방어 위치 | 입력이 피해자 모델에 들어가기 전의 한 번의 전처리 단계로 제한 |
이 설정은 공격자도 방어자도 모델을 수정하거나 들여다볼 수 없는 플러그 앤 플레이 배포 환경을 반영합니다. 부작용으로, 적응형(adaptive) 공격이나 질의 기반 최적화 공격은 범위 밖이고, 적대적 학습 같은 가중치 수정 방어도 평가 대상에서 빠집니다(부록 J).
📏 3. 지표
- Attack Success Rate(ASR) : 적대 입력이 과제 관련 물리 오류를 반영하는 오답을 유도하면 성공으로 셉니다. 타깃은 방법 간 비교 가능한 공격을 만드는 데 쓰이고, ASR 자체는 정답으로부터의 과제 관련 이탈을 잽니다.
- Clean accuracy : 섭동 없는 입력에서의 정확도로, 각 모델의 기준 성능입니다.
답 추출에는 Qwen3-8B 를 심판으로 씁니다. ReaLM 은 구조화된 답 형식을 쓰기 때문에 최종 답 추출이 대체로 모호하지 않습니다. 140,556회 평가 호출 중 174건(0.12%)이 API 오류로 재시도되었고, 답 추출 파싱 실패는 관찰되지 않았다고 보고합니다.
💡 Key Takeaway ASR 의 정의가 “타깃을 맞췄는가”가 아니라 “정답에서 벗어났는가”라는 점이 중요합니다. 타깃은 공정 비교를 위한 공통 목표이고, 성공 판정은 그보다 넓은 기능적 오류입니다. 이 구분이 Appendix C 의 보정 실험과 연결됩니다.
에이전트 기반 타깃 생성 파이프라인(Agentic Target-Generation Pipeline)
🤖 1. 왜 타깃을 자동 생성해야 하는가
많은 VLM red-teaming 방법은 타깃 답, 의도한 오인식을 그린 참조 이미지, 또는 둘 다를 요구합니다. 기존에는 이 목표가 입력과 무관하게 정해졌습니다. HarmBench 는 고정 유해 행동을, 전이 기반 시각 공격은 ImageNet 클래스 쌍 같은 사전 정의 source–target 쌍을 씁니다. 물리 세계에서는 같은 시각 도메인 안에서도 행동 예측, 과제 완료 판단, 공간 추론, 체화 계획에 따라 필요한 타깃 오류가 다르기 때문에 고정 타깃 집합은 안전 관련 실패를 놓치거나 장면과 의미적으로 어긋난 타깃을 만들게 됩니다.
🔁 2. 추론-생성-수정 루프
파이프라인은 테스트 케이스 $(I_i, q_i, a_i^{\star}, c_i)$ 마다 두 가지를 산출합니다.
- 정답과 다르면서 장면 맥락에는 부합하는 그럴듯한 오답 $a_i^{\mathrm{tar} }$
- 의도한 오인식을 시각적으로 구현한 타깃 이미지 $I_i^{\mathrm{tar} }$
| 단계 | 담당 | 역할 |
|---|---|---|
| 추론 | 추론 VLM 에이전트 $g$ | 장면을 분석해 Section 3.1 의 과제 범주에 조건화된 그럴듯한 실패 양식을 식별. 예: 주행에서는 차량의 미래 기동을 오해하게, 조작에서는 그리퍼의 운동 방향을 다른 행동과 혼동하게 |
| 제안 | $g$ | 타깃 오답 $a_i^{\mathrm{tar} }$ 과, 그 오답이 맞게 보이는 장면을 묘사하는 이미지 생성 프롬프트 $p_i$ 를 제안 |
| 생성 | 이미지 생성 모델 $h$ (Qwen-Image) | $p_i$ 로부터 후보 타깃 이미지 $\hat{I}_i^{\mathrm{tar} }$ 생성. 시점·센서 관점 같은 도메인 제약을 프롬프트 앞에 붙여 도메인 일관성 유지 |
| 진단·수정 | $g$ | 생성 이미지가 의도한 타깃을 명확히 반영하지 않으면 불일치를 진단하고 프롬프트를 고쳐 재생성 |
파이프라인은 새 장면을 만드는 text-to-image 합성과, 과제 관련 공간 구조를 보존하면서 원본을 고치는 지시 기반 편집 둘 다 지원합니다. 생성된 타깃 명세는 의미 일관성·도메인 일관성·의도한 오인식과의 정합성을 사람이 표본 점검(spot-check)했습니다.
🎯 3. 여섯 가지 타깃 변환(Target transform)
에이전트 프롬프트(부록 G.2)는 실패 양식을 여섯 가지 타깃 변환 중 하나로 고르게 합니다. 이 변환은 Section 3.1 의 상위 실패 양식 분류와는 별개의, 타깃 구성용 세부 범주입니다.
| 타깃 변환 | 설명 | 사례 수 |
|---|---|---|
| State inversion | 과제 성공/실패를 뒤집음 | 401 |
| Spatial swap | 공간 관계나 방향을 바꿈 | 159 |
| Action confusion | 시각적으로 비슷한 행동을 혼동 | 88 |
| Temporal shift | 행동 순서의 다른 단계를 보여줌 | 77 |
| Attribute swap | 재질·색·물리 속성을 바꿈 | 63 |
| Count error | 물체 개수를 틀리게 | 44 |
에이전트는 (1) 원본 이미지에서 도메인과 핵심 물체를 식별하고, (2) 질문을 읽어 적용 가능한 실패 양식을 정하고, (3) 각 오답 선택지에 대해 “어떤 단일 시각 단서 변화가 그것을 정답으로 만드는지” 따지고, (4) 단서 변화가 시각적으로 가장 명확한 선택지를 고르고, (5) SOURCE_CUE → 정답, TARGET_CUE → 오답의 인과 사슬을 명시한 뒤, (6) TARGET_CUE 를 뚜렷하게 그리는 생성 프롬프트를 씁니다. 핵심 규칙은 타깃은 반드시 주어진 선택지 중 정답이 아닌 것이어야 한다는 점입니다.
🔀 4. 목표 구성과 공격 구현의 분리
이 설계의 요점은 “무엇을 틀리게 할 것인가”와 “어떻게 틀리게 할 것인가”를 분리한 것입니다. 에이전트 파이프라인이 장면마다 물리적으로 의미 있는 실패를 정하고, 각 red-teaming 방법은 그 목표를 시각 섭동·이미지 편집·프롬프트 주입·typographic 주입 중 자기 방식으로 실현합니다.
- 시각 섭동 계열은 $I_i^{\mathrm{tar} }$ 를 최적화 참조로 씁니다.
- 프롬프트·typographic 주입 계열은 $a_i^{\mathrm{tar} }$ 를 써서 지시문이나 보조 입력을 만듭니다.
- 생성된 타깃 이미지는 시각 타깃 공격의 참조일 뿐, 모든 방법에 공통인 적대 입력이 아닙니다.
🧪 5. 사전 공격 타깃 선택률 보정 (Appendix C, Table 5)
타깃 오답이 공격 전부터 체계적으로 쉽거나 어려운 선택지는 아닌지 확인하기 위해, 저자들은 깨끗한 입력에서 피해자 모델이 이미 타깃 답을 고르는 비율을 쟀습니다.
| 모델 | 사전 타깃 선택률 (%) |
|---|---|
| Qwen3.5-122B-A10B | 21.2 |
| Qwen3.5-27B | 22.6 |
| Qwen3.5-9B | 23.2 |
| Gemini-3-Flash | 23.4 |
| GPT-4.1-Mini | 25.4 |
| Qwen3-VL-8B | 29.2 |
| Cosmos-Reason2-8B | 27.8 |
| Cosmos-Reason1-7B | 30.9 |
| 평균 | 25.5 |
4지선다에서의 무작위 기준 25% 에 가깝습니다. 즉 ASR 차이가 타깃 답에 대한 사전 편향이 아니라 공격 효과에서 온다는 점을 어느 정도 보장합니다. 다만 이 보정은 시각 공격과 주입 공격 사이의 채널 접근 권한 차이까지 제거하지는 못한다고 저자들도 덧붙입니다.
💡 Key Takeaway 공정 비교의 핵심은 “같은 입력”이 아니라 “같은 목표“입니다. ReaLM 은 목표 생성을 공격 구현에서 떼어내고, 타깃이 사전에 유리하지 않다는 보정까지 제공해, 서로 다른 채널의 공격을 같은 장면별 목표 아래 놓습니다.
벤치마크 구성: 데이터셋과 피해자 모델
🗃️ 1. 데이터셋 구성 (Table 4)
ReaLM 은 물리 AI 벤치마크(PAI-Bench, PhysBench)에서 가져온 832개 기본 테스트 케이스로 구성됩니다. 각 케이스는 실제 이미지, 질문, 정답을 담고 있으며, 12개 방법 × 13개 모델의 원천 인스턴스가 됩니다.
| 도메인 | # | 과제군 | # |
|---|---|---|---|
| Driving | 65 | Perception | 196 |
| Manipulation | 109 | Prediction | 174 |
| Grasping | 97 | Reasoning | 204 |
| Physics | 158 | Evaluation | 180 |
| Egocentric | 75 | Planning | 78 |
| Diagnostics | 83 | ||
| Scene QA | 245 |
- 적대 테스트 케이스 : 832 × 12 = 9,984개
- 모델-공격 평가 : 9,984 × 13 = 129,792회 (clean 평가 별도)
🧠 2. 피해자 모델 13개 (Table 3)
| 계열 | 모델 | 접근 | 파라미터 / 활성 | 비전 인코더 | LLM 백본 |
|---|---|---|---|---|---|
| 독점 | Gemini-3-Flash | API | – | – | – |
| 독점 | Seed-2.0-Mini | API | – | – | – |
| 독점 | GPT-4.1-Mini | API | – | – | – |
| 독점 | Qwen3.6-Flash | API | – | – | – |
| Moonshot AI | Kimi-K2.5 | Open (API 접근) | 1T / 32B | – | – |
| Qwen3-VL | Qwen3-VL-8B | Open | 9B / 9B | SigLIP2-SO-400M | Qwen3-8B |
| Qwen3-VL | Qwen3-VL-30B-A3B | Open | 30B / 3B | SigLIP2-SO-400M | Qwen3-30B MoE |
| Qwen3-VL | Qwen3-VL-32B | Open | 33B / 33B | SigLIP2-SO-400M | Qwen3-32B |
| Qwen3.5 | Qwen3.5-9B | Open | 9B / 9B | Early-fusion ViT | Gated DeltaNet |
| Qwen3.5 | Qwen3.5-27B | Open | 27B / 27B | Early-fusion ViT | Gated DeltaNet |
| Qwen3.5 | Qwen3.5-122B-A10B | Open | 122B / 10B | Early-fusion ViT | Gated DeltaNet MoE |
| Cosmos-Reason | Cosmos-Reason1-7B | Open | 8.3B / 8.3B | Qwen2.5-VL ViT | Qwen2.5-VL-7B |
| Cosmos-Reason | Cosmos-Reason2-8B | Open | 8.8B / 8.8B | SigLIP2 (Qwen3-VL) | Qwen3-VL-8B |
아키텍처 관점에서 세 가지 대비가 들어 있습니다.
- Qwen3-VL : 공유 SigLIP2 비전 인코더(16×16 패치, 동적 해상도)를 Qwen3 LLM 에 붙인 bolt-on 인코더 구조.
- Qwen3.5 : 선형 어텐션과 소프트맥스 어텐션을 3:1 로 섞은 Gated DeltaNet 하이브리드에, 비전 토큰을 사전학습부터 함께 처리하는 early-fusion 구조.
- Cosmos-Reason : Qwen-VL 계열을 물리 추론·체화 AI 용으로 SFT + RL 후훈련한 모델. Reason1 은 Qwen2.5-VL-7B, Reason2 는 Qwen3-VL-8B 기반.
보조 모델로는 타깃 이미지 생성에 Qwen-Image, 답 추출 심판에 Qwen3-8B 를 씁니다. 모든 피해자 모델은 OpenRouter API 또는 로컬 vLLM 으로 기본 설정에서, 온도 0(탐욕 디코딩)으로 평가되어 결과가 결정적입니다. 실험은 단일 NVIDIA B200(192GB) 에서 수행되었습니다.
💡 Key Takeaway 13개 모델은 “크기”만이 아니라 인코더 결합 방식(bolt-on vs early-fusion), 도메인 후훈련 여부, 독점 vs 오픈이라는 세 변수를 대비할 수 있게 골라졌습니다. 뒤의 “규모·후훈련·독점 여부가 강건성을 보장하지 않는다”는 결론은 이 선택 덕분에 가능합니다.
12개 Red-Teaming 방법의 분류
ReaLM 의 공격들은 개입 채널로 묶입니다. 어느 채널을 건드리는지가 뒤의 결과 해석(채널 간 비교 vs 채널 내 비교)을 좌우하므로, 여기서는 각 방법이 무엇을 바꾸고 무엇을 기준으로 삼는지를 역할 수준에서 정리합니다. 구체적 최적화 설정은 논문 부록 D 에 있습니다.
🎨 1. 시각 섭동(Perturbation): 대리 앙상블 그래디언트 공격
피해자 모델에 접근할 수 없으므로, 이 계열은 CLIP 앙상블을 대리 모델로 삼아 $\ell_\infty$ 예산 안의 섭동을 PGD 로 최적화한 뒤 피해자에게 전이합니다. 공통 대리는 3-모델 CLIP 앙상블(ViT-B/16, ViT-B/32, LAION-400M)이고, 방법들은 손실의 형태로 구분됩니다.
| 방법 | 손실의 형태 | 타깃 참조 |
|---|---|---|
| FOA-Attack | 전역 코사인 유사도 + CLIP 패치 토큰 특징의 국소 최적 수송(OT) 정렬. 타깃 특징을 k-means 로 군집화해 정렬 | 타깃 이미지 |
| M-Attack | FOA 의 OT 항을 빼고 코사인 유사도만 최대화 | 타깃 이미지 |
| V-Attack | 최종 임베딩 대신 CLIP 어텐션의 Value 특징을 조작. 원본 텍스트 설명에서 멀어지고 타깃 텍스트 설명에 가까워지도록 | 원본·타깃 텍스트 (참조 이미지 불필요) |
| PA-Attack | 비표적(untargeted). CLS→패치 어텐션 가중치로 중요한 패치 토큰을 골라, 사전 계산된 OOD 프로토타입 중 가장 다른 것 쪽으로 밀어냄 | 없음 |
🔗 2. 멀티모달 공동 최적화와 패치 공격
| 방법 | 핵심 아이디어 |
|---|---|
| Chain-of-Attack (CoA) | 매 스텝 ClipCap 으로 캡션을 다시 생성하고, 이미지 임베딩과 텍스트 임베딩을 융합한 표현에 대해 삼중항(triplet) 형태의 손실을 최적화. 깨끗한 입력에서 멀어지고 타깃에 가까워지도록 교차 모달 정렬을 직접 활용 |
| PhysPatch | 섭동을 SAM 으로 분할한 공간 영역 안에만 가두고, 마스크된 그래디언트를 모멘텀으로 누적(MI-FGSM 계열). 인쇄 패치처럼 물리적으로 실현 가능한 위협을 대표 |
🖼️ 3. 생성·의미 편집 공격
| 방법 | 핵심 아이디어 |
|---|---|
| AdvDiffVLM | 확산 모델(LDM)의 잠재 공간에서 적대 이미지를 생성. 명시적 $\ell_\infty$ 제약 없이, DDIM 디노이징 중 4-모델 CLIP 앙상블의 정렬 그래디언트를 주입 |
| AdvEDM (AdvEDM-A) | 4-모델 CLIP 앙상블로 세밀한 의미 추가(A)/제거(R) 편집. CLS 정렬, 비타깃 패치 보존, 어텐션 재배치의 세 항을 결합. 본 논문은 타깃 영역으로 어텐션을 끌어오는 추가(A) 변형 사용 |
| AnyAttack | 사전학습된 디코더(27.9M 파라미터, LAION-400M 학습)가 타깃 이미지의 CLIP 특징을 입력받아 단일 순방향 패스로 섭동 생성. 반복 최적화 불필요, 이미지당 1초 미만 |
📝 4. 주입 공격과 베이스라인
이 계열은 대리 모델도, 그래디언트도, 섭동 예산도 필요 없습니다.
| 방법 | 개입 채널 | 핵심 아이디어 |
|---|---|---|
| FigStep | 보조 이미지 | 오해를 유도하는 텍스트를 이미지로 렌더링해 원본 이미지와 함께 제시. 원본 픽셀은 건드리지 않음 |
| PromptInject | 텍스트 프롬프트 | 타깃 답을 가리키는 적대 지시문을 프롬프트에 덧붙임. 단순 지시와 “지각 시스템이 이미 감지했다”는 식의 권위(authority) 수준 두 단계 지원 |
| ImageMix | 이미지 | 원본과 타깃 이미지를 알파 블렌딩하는 비적대 베이스라인. 타깃 쪽으로 치우친 시각 변화에 대한 민감도 측정용 |
⚙️ 5. 공통 설정과 채널 해석
- 표적(targeted) 시각 공격은 에이전트 파이프라인의 타깃 이미지를 쓰고, PA-Attack 만 비표적입니다. 주입 방법은 이미지 대신 타깃 답을 씁니다.
- 각 공격은 테스트 케이스당 고정 시드로 한 번 실행됩니다.
- 저자들은 채널 간 ASR 비교는 “벤치마크 수준의 취약성” 이고, 순수한 시각 강건성 비교는 채널 내(공격 계열 내)에서만 유효하다고 강조합니다. 주입 공격은 카메라만 조작할 수 있는 물리 환경보다 넓은 개입 면을 가정하기 때문입니다.
💡 Key Takeaway 12개 방법을 하나의 표에 놓으면 “가장 강한 공격”을 찾고 싶어지지만, 저자들은 그 유혹을 명시적으로 경계합니다. 같은 채널 안에서의 비교만이 강건성 결론이고, 채널 간 비교는 “어느 입력 면이 열려 있는가”의 답입니다.
방어 방법: 모델 불가지론적 전처리
세 방어는 모두 재학습이 필요 없고, 입력이 피해자 VLM 에 도달하기 전의 전처리 단계로 작동합니다.
| 방어 | 대상 채널 | 작동 방식 |
|---|---|---|
| PAD | 시각(패치) | 상호 정보(MI)와 변화 탐지(CD) 히트맵을 융합하고 형태학적 필터링을 거친 뒤, SAM ViT-L 로 적대 패치 영역을 분할·제거 |
| FreqPure | 시각(섭동) | 확산 디노이징의 각 단계에서 FFT 기반 진폭 교환과 위상 클리핑을 적용해, 적대 섭동이 집중되는 주파수 대역을 정화. 8단계 DDPM 디노이징 |
| BlueSuffix | 시각 + 텍스트 | (1) 확산 디노이징으로 이미지 정화, (2) GPT-4o 프롬프트 재작성으로 주입된 지시문 중화, (3) 미세조정된 GPT-2 LoRA 어댑터로 방어 접미사 생성. 세 요소는 독립적으로 켜고 끌 수 있음 |
블랙박스 프로토콜 때문에 적대적 학습이나 강건성 미세조정 같은 가중치 수정 방어는 포함되지 않습니다. 방어 평가는 9개 VLM(7B~122B, 오픈·독점)에서 FOA, AdvDiffVLM, AnyAttack, FigStep, PromptInject 다섯 패러다임에 대해 수행됩니다.
💡 Key Takeaway 세 방어는 “시각 전용 두 개 + 멀티모달 한 개”로 배치되어 있어, 뒤의 결과에서 텍스트 채널이 시각 채널과 독립적으로 방어되어야 하는 면이라는 점이 자연스럽게 드러납니다.
결과 1: 공격 효과 (Table 2)
13개 VLM, 온도 0, Qwen3-8B 심판. Clean 열은 섭동 없는 정확도(%), 나머지는 ASR(%)로 높을수록 취약합니다.
📊 1. 전체 표
| 모델 | Clean | FOA | MA | VA | CoA | PP | PA | Diff | DEM | Any | FS | PI | IM |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 독점 | |||||||||||||
| Gemini-3-Flash | 68.5 | 45.4 | 43.2 | 44.8 | 54.7 | 32.0 | 41.9 | 45.5 | 36.5 | 48.1 | 43.6 | 61.9 | 44.8 |
| Qwen3.6-Flash | 71.7 | 47.2 | 48.1 | 48.6 | 54.3 | 29.1 | 41.7 | 46.7 | 40.9 | 49.3 | 49.2 | 64.0 | 44.1 |
| Seed-2.0-Mini | 67.2 | 46.9 | 44.6 | 47.4 | 53.7 | 32.8 | 45.4 | 46.5 | 44.1 | 49.0 | 47.2 | 52.9 | 42.5 |
| GPT-4.1-Mini | 68.3 | 47.4 | 44.9 | 48.3 | 52.9 | 30.9 | 40.6 | 49.6 | 43.5 | 51.4 | 45.4 | 55.4 | 46.5 |
| 오픈소스 | |||||||||||||
| Qwen3.5-122B-A10B | 72.8 | 47.2 | 46.3 | 43.6 | 54.5 | 27.5 | 39.4 | 43.0 | 39.3 | 48.4 | 49.3 | 64.3 | 41.5 |
| Qwen3.5-27B | 71.2 | 45.8 | 44.8 | 44.1 | 51.6 | 29.3 | 38.1 | 44.8 | 38.8 | 48.0 | 49.5 | 66.0 | 42.1 |
| Qwen3.5-9B | 68.9 | 48.3 | 46.2 | 47.7 | 53.7 | 34.0 | 42.8 | 46.8 | 43.9 | 48.4 | 47.0 | 63.7 | 45.9 |
| Kimi-K2.5 | 68.3 | 48.0 | 43.9 | 47.5 | 56.3 | 32.3 | 43.0 | 46.7 | 41.6 | 48.1 | 48.3 | 59.5 | 43.0 |
| Qwen3-VL-32B | 66.9 | 47.1 | 46.1 | 49.0 | 55.3 | 32.7 | 42.3 | 46.5 | 43.1 | 49.5 | 49.3 | 64.0 | 43.9 |
| Qwen3-VL-30B-A3B | 64.1 | 49.9 | 49.7 | 50.4 | 55.1 | 35.0 | 46.9 | 48.9 | 44.5 | 51.9 | 53.7 | 64.3 | 48.0 |
| Qwen3-VL-8B | 61.9 | 51.6 | 49.7 | 50.8 | 56.1 | 37.4 | 46.6 | 50.8 | 46.8 | 51.9 | 53.5 | 74.8 | 47.1 |
| Cosmos-Reason2-8B | 63.2 | 47.7 | 45.4 | 48.7 | 56.1 | 36.2 | 44.4 | 46.8 | 44.0 | 50.8 | 48.6 | 76.8 | 44.8 |
| Cosmos-Reason1-7B | 59.6 | 52.9 | 49.0 | 51.8 | 56.0 | 40.1 | 49.8 | 49.0 | 48.4 | 53.6 | 58.2 | 74.8 | 48.1 |
| 13개 평균 | 67.1 | 48.1 | 46.3 | 47.9 | 54.6 | 33.0 | 43.3 | 47.0 | 42.7 | 49.9 | 49.4 | 64.8 | 44.8 |
약어: FOA = FOA-Attack, MA = M-Attack, VA = V-Attack, CoA = Chain-of-Attack, PP = PhysPatch, PA = PA-Attack, Diff = AdvDiffVLM, DEM = AdvEDM, Any = AnyAttack, FS = FigStep, PI = PromptInject, IM = ImageMix. 평균 행은 표의 13개 값을 산술 평균한 것으로, 본문이 보고한 PI 64.8, CoA 54.6, Any 49.9, FS 49.4, FOA 48.1, VA 47.9, MA 46.3, IM 44.8, PP 33.0 과 일치합니다.
📝 2. 텍스트 채널이 가장 큰 지시 추종 취약성을 드러냄
PromptInject 는 평균 64.8% 로 모든 모델에서 가장 높은 ASR 을 기록했습니다. FigStep 도 보이지 않는 노이즈가 아니라 보조 시각 지시를 넣는 것만으로 49.4% 를 냈습니다. 저자들은 이 결과를 “텍스트 주입이 더 강한 시각 섭동 공격”이라고 읽으면 안 된다고 못박습니다. 같은 블랙박스 프로토콜 아래 텍스트와 보조 지시 채널이 여전히 열린 개입 면이라는 뜻이며, 동시에 이 방법들은 카메라만 조작 가능한 물리 환경보다 넓은 개입 면을 가정합니다.
🔗 3. 멀티모달 공동 최적화가 시각 전이를 높임
시각 섭동 계열 안에서 CoA 가 54.6% 로 FOA(48.1%), M-Attack(46.3%), V-Attack(47.9%) 을 앞섭니다. ClipCap 으로 캡션을 다시 생성하며 이미지·텍스트 임베딩을 공동 최적화하는 CoA 는 이미지 특징 매칭만이 아니라 교차 모달 정렬을 활용합니다. 멀티모달 표현에 이끌린 섭동이 시각 특징 공간에서만 최적화된 섭동보다 피해자 VLM 간에 더 잘 전이된다는 해석입니다. CoA 는 전체 순위에서 PromptInject 다음 2위입니다. 다만 CLIP 대리 공격의 ASR 은 고정된 대리 계열 아래의 블랙박스 전이를 반영하는 것이지 시각 채널 강건성의 상한이 아닙니다.
⚡ 4. 상각 공격이 반복 최적화에 근접
AnyAttack 은 단일 순방향 패스만으로 평균 49.9% 를 기록해, 수백 회 최적화 스텝이 필요한 FOA(48.1%) 를 소폭 넘었습니다. 많은 테스트 케이스를 같은 프로토콜로 평가해야 하는 벤치마크 환경에서는 공격 생성 속도가 중요하므로, 상각 적대 생성기가 물리 세계 VLM 의 대규모 red-teaming 에 실용적이라는 시사점입니다.
📍 5. 공간 제한 섭동은 전이성이 떨어짐
PhysPatch 는 평균 33.0% 로 전체 이미지 섭동 방법(FOA, MA, VA, CoA)보다 크게 낮습니다. 섭동을 국소 영역에 가두면 물리적 타당성은 높아지지만 이질적인 VLM 간 블랙박스 전이는 어려워집니다. 반대로 비적대 베이스라인 ImageMix 가 44.8% 를 낸 점은 주목할 만합니다. 가장 강한 적대 방법보다는 낮지만 무시할 수 없는 수준으로, VLM 이 타깃 쪽으로 치우친 시각 변화에 얼마나 민감한지를 보여줍니다.
💡 Key Takeaway 순위는 PromptInject > CoA > AnyAttack ≈ FigStep > FOA ≈ VA > Diff > MA > IM > PA > DEM > PhysPatch 입니다. 방어자 관점에서 가장 불편한 사실은 두 가지입니다. 그래디언트 없는 주입 공격이 가장 강하고, 1초짜리 상각 공격이 300회 PGD 와 맞먹는다는 것입니다.
결과 2: 모델 취약성
📈 1. Clean 정확도는 평균 취약성과 상관하지만 강건성을 보장하지 않음
Figure 4 는 각 모델의 clean 정확도와 12개 방법 평균 ASR 을 대비합니다. clean 정확도가 낮은 모델은 대체로 높은 ASR 영역에 있습니다. Cosmos-Reason1-7B 는 clean 59.6% 로 가장 낮고 평균 ASR 52.6% 로 가장 높습니다. 더 정확한 Qwen3.5 계열은 낮은 ASR 쪽에 있습니다. 그러나 관계는 결정적이지 않습니다. 비슷한 clean 정확도의 모델들이 다른 평균 ASR 을 보이고, 높은 clean 정확도가 프롬프트·typographic 주입 같은 특정 공격에 대한 취약성을 없애지 못합니다.
| 모델 | Clean (%) | 평균 ASR (%) |
|---|---|---|
| Qwen3.5-122B-A10B | 72.8 | 45.4 |
| Qwen3.5-27B | 71.2 | 45.2 |
| Qwen3.6-Flash | 71.7 | 46.9 |
| Gemini-3-Flash | 68.5 | 45.2 |
| Qwen3.5-9B | 68.9 | 47.4 |
| Kimi-K2.5 | 68.3 | 46.5 |
| GPT-4.1-Mini | 68.3 | 46.4 |
| Seed-2.0-Mini | 67.2 | 46.1 |
| Qwen3-VL-32B | 66.9 | 47.4 |
| Qwen3-VL-30B-A3B | 64.1 | 49.9 |
| Cosmos-Reason2-8B | 63.2 | 49.2 |
| Qwen3-VL-8B | 61.9 | 51.4 |
| Cosmos-Reason1-7B | 59.6 | 52.6 |
(평균 ASR 은 Table 2 의 12개 공격 열을 산술 평균한 값입니다. 본문은 Cosmos-Reason1-7B 의 52.6% 만 명시합니다.)
📏 2. 규모 확장은 clean 정확도를 올리지만 취약성을 없애지 못함
Qwen3.5 계열에서 9B → 122B 로 키우면 clean 정확도는 68.9% → 72.8% 로 오르고 ASR 은 소폭 내려갑니다. 그러나 PromptInject ASR 은 63.7% → 64.3% 로 사실상 그대로입니다. Qwen3-VL 에서도 큰 변형이 8B 보다 평균 ASR 은 낮지만 모든 공격에 여전히 취약합니다. 저자들의 결론은 “clean 성능이 강할수록 평균 취약성은 낮아지는 경향이 있지만, 규모만으로는 채널을 가로질러 신뢰할 만한 강건성을 얻지 못한다“입니다.
🏭 3. 도메인 후훈련도 강건성을 보장하지 않음
Cosmos-Reason 계열은 물리 추론용으로 후훈련되었지만 Figure 4 의 고취약 영역에 있습니다. Cosmos-Reason1-7B 는 평균 ASR 최고이고, Cosmos-Reason2-8B 는 PromptInject 에서 76.8% 로 Table 2 전체에서 가장 높은 값을 기록했습니다. 물리 추론 능력 향상이 적대 강건성으로 자동 번역되지 않으며, 강건성에는 깨끗한 물리 추론 성능만이 아니라 적대적으로 구성된 물리 입력을 명시적으로 고려하는 학습 목표가 필요할 수 있다는 지적입니다.
🔐 4. 독점 모델이 일관되게 더 강건하지는 않음
Gemini-3-Flash, Seed-2.0-Mini, GPT-4.1-Mini, Qwen3.6-Flash 는 비슷한 clean 정확도의 오픈소스 모델과 같은 ASR 범위에 있고, 시각 섭동과 주입 공격 모두에 취약합니다. PromptInject 는 Gemini-3-Flash 에서 61.9%, Qwen3.6-Flash 에서 64.0% 로 여러 오픈소스 모델과 비슷합니다. 폐쇄형 배포나 독점 접근 자체가 블랙박스 red-teaming 아래의 강건성을 보장하지 않습니다.
🗺️ 5. 물리 도메인에 따라 취약성이 크게 다름
Figure 3(b) 에서 조작(Manipulation)과 주행(Driving)의 ASR 중앙값이 가장 높고, 파지(Grasping)와 물리(Physics)가 뒤따르며, 장면 QA 가 가장 낮습니다. 행동 중심 도메인일수록 작은 지각 변화가 예측된 행동을 바꾸기 쉽다는 뜻입니다. 장면 QA 에서 강건해 보이는 모델도 조작이나 주행에서는 취약할 수 있으므로, 단일 설정이 아니라 여러 물리 도메인에 걸쳐 평가해야 합니다.
💡 Key Takeaway 규모, 도메인 후훈련, 독점 접근은 흔히 강건성의 대리 지표로 쓰이지만, ReaLM 에서는 셋 다 PromptInject 앞에서 무력합니다. 특히 물리 추론을 위해 후훈련된 모델이 가장 취약하다는 결과는, 능력 훈련과 강건성 훈련이 별개 목표임을 보여줍니다.
결과 3: 방어 분석 (Table 6)
9개 VLM 에서 세 전처리 방어를 다섯 공격 패러다임에 적용한 ASR(%) 입니다. “None” 은 무방어 기준선이며, 본문 표는 대표 5개 모델과 9개 모델 평균을 보여줍니다.
📊 1. 전체 표
| 모델 | 방어 | FOA | Diff | Any | FS | PI |
|---|---|---|---|---|---|---|
| Cosmos2-8B | None | 47.7 | 46.8 | 50.8 | 48.6 | 76.8 |
| PAD | 47.5 | 47.6 | 50.6 | 48.4 | 76.5 | |
| FreqPure | 43.1 | 46.7 | 49.3 | 47.4 | 76.2 | |
| BlueSuffix | 45.6 | 48.2 | 51.1 | 51.8 | 46.0 | |
| Qwen-VL-8B | None | 51.6 | 50.8 | 51.9 | 53.5 | 74.8 |
| PAD | 51.4 | 51.5 | 51.7 | 52.8 | 74.5 | |
| FreqPure | 46.4 | 51.1 | 50.6 | 52.3 | 74.3 | |
| BlueSuffix | 46.0 | 49.9 | 51.9 | 55.4 | 48.2 | |
| Qwen3.5-122B | None | 47.2 | 43.0 | 48.4 | 49.3 | 64.3 |
| PAD | 47.0 | 44.3 | 48.2 | 48.7 | 64.0 | |
| FreqPure | 40.5 | 41.8 | 45.1 | 47.1 | 63.8 | |
| BlueSuffix | 41.2 | 42.7 | 47.2 | 47.7 | 39.8 | |
| Gemini-Flash | None | 45.4 | 45.5 | 48.1 | 43.6 | 61.9 |
| PAD | 45.1 | 44.9 | 47.8 | 44.0 | 61.5 | |
| FreqPure | 38.0 | 45.8 | 48.4 | 44.2 | 61.4 | |
| BlueSuffix | 38.1 | 45.3 | 47.2 | 45.2 | 41.2 | |
| GPT-4.1-Mini | None | 47.4 | 49.6 | 51.4 | 45.4 | 55.4 |
| PAD | 47.2 | 46.6 | 51.0 | 45.1 | 55.2 | |
| FreqPure | 43.3 | 46.7 | 47.8 | 48.2 | 55.0 | |
| BlueSuffix | 44.4 | 45.0 | 48.7 | 49.5 | 43.4 | |
| Avg (9) | None | 48.1 | 47.0 | 50.0 | 49.1 | 65.6 |
| PAD | 47.8 | 46.8 | 49.8 | 48.9 | 65.3 | |
| FreqPure | 42.4 | 45.8 | 47.6 | 48.7 | 65.1 | |
| BlueSuffix | 43.6 | 45.6 | 48.8 | 50.8 | 43.9 |
📝 2. 텍스트 채널 방어가 가장 큰 ASR 감소
BlueSuffix 는 PromptInject ASR 을 평균 65.6% → 43.9% 로 21.7 포인트 낮췄고, 9개 모델 모두에서 일관되었습니다. 반면 시각 전용 방어(PAD, FreqPure)는 주입 ASR 을 전혀 줄이지 못했습니다(평균 65.3%, 65.1%). 저자들은 이를 텍스트 채널이 별개의, 독립적으로 방어 가능한 공격 면이라는 증거로 읽습니다.
🌊 3. 주파수 필터링은 그래디언트 기반 섭동에만 작동
FreqPure 는 FOA ASR 을 평균 5.8 포인트(48.1 → 42.4) 낮췄습니다. BlueSuffix 도 디노이징 구성 요소 덕분에 비슷한 4.6 포인트(→ 43.6) 감소를 냈습니다. 그러나 두 방어 모두 확산 기반(Diff), 의미 편집, typographic(FS) 공격에는 ASR 을 줄이지 못했습니다. AnyAttack 도 FreqPure 에서 2.4 포인트(50.0 → 47.6) 정도의 작은 감소에 그쳤습니다.
🚫 4. 어떤 전처리 방어도 모든 패러다임을 덮지 못함
텍스트 정화는 주입을, 주파수 필터링은 그래디언트 섭동을 막습니다. 그러나 ReaLM 의 모든 패러다임에서 일관되게 ASR 을 줄이는 방어는 없습니다. 특히 FigStep 은 세 방어 모두에 영향을 받지 않았고, BlueSuffix 아래서는 오히려 평균 49.1% → 50.8% 로 소폭 올랐습니다. PAD 는 다섯 패러다임 모두에서 거의 변화가 없었는데, 평가된 공격 중 PAD 가 겨냥하는 국소 패치 공격(PhysPatch)이 방어 평가에 포함되지 않은 점도 원인일 수 있습니다. 저자들은 이 결과가 시각 정화와 텍스트 정화를 결합한 다층 전략의 필요성을 뒷받침한다고 봅니다.
💡 Key Takeaway 방어 결과는 공격 결과의 거울상입니다. 가장 강한 공격(PromptInject)은 텍스트 정화로 큰 폭 줄일 수 있지만, 두 번째로 흔한 typographic 주입(FigStep)은 세 방어 모두 비껴갑니다. 이미지 안의 글자를 “지시”로 읽는 경로는 시각 정화로도 텍스트 정화로도 닿지 않는 사각지대입니다.
한계와 열린 방향
⚠️ 1. 저자가 인정한 한계
- 단일 이미지·단일 턴 : ReaLM 은 단일 이미지, 단일 턴 시나리오만 평가한다. 다중 프레임 비디오 입력으로의 확장은 향후 과제다(부록 J).
- 전처리 방어만 평가 : 적대적 학습이나 강건성 미세조정은 가중치 수정이 필요해 블랙박스 프로토콜과 맞지 않으므로 빠졌다.
- 물리적 실현 가능성의 비균질성 : 평가된 공격에는 디지털 스트레스 테스트와 물리 제약 섭동이 섞여 있어, 결과는 “물리 과제에서의 강건성 평가”이지 “모든 공격이 물리적으로 실현 가능하다”는 주장이 아니다.
- 채널 접근 권한의 차이 : 주입 공격은 카메라만 조작 가능한 환경보다 넓은 개입 면을 가정한다. 사전 타깃 선택률 보정(부록 C)은 타깃 난이도만 점검할 뿐 이 채널 차이는 제거하지 못한다.
- 대리 계열 고정 : CLIP 대리 공격의 ASR 은 고정된 대리 계열 아래의 전이를 반영하며 시각 채널 강건성의 상한이 아니다.
- 윤리 : 모든 공격은 공개된 대리 모델을 쓰는 블랙박스 설정이며, 이미 발표된 것 이상의 새 공격 능력을 노출하지 않는다고 밝힌다(부록 I).
🔒 2. 외부 관점의 한계
- 타깃 생성기와 심판의 LLM 의존 : 타깃 오답·타깃 이미지는 VLM 에이전트와 Qwen-Image 가, 답 추출은 Qwen3-8B 가 맡는다. 생성 타깃의 품질은 사람 표본 점검만 거쳤고, 점검 규모나 불합격률은 보고되지 않는다. 타깃 이미지가 “의도한 오인식”을 얼마나 명확히 구현하는지에 따라 시각 타깃 공격의 ASR 상한이 달라지는데, 이 변동 요인은 정량화되지 않았다.
- ASR 의 성공 기준이 비표적 : 성공은 “정답에서 벗어남”이므로, 타깃 쪽으로 틀린 경우와 무관한 쪽으로 틀린 경우(일반적 성능 저하)가 구분되지 않는다. 표적 성공률(target hit rate)을 함께 보고하면 “오인식 유도”와 “단순 교란”을 분리할 수 있었을 것이다.
- 단일 실행·고정 시드 : 각 공격은 케이스당 한 번, 고정 시드로 실행된다. 결정적 디코딩이라 평가 쪽 분산은 없지만, 공격 생성 쪽 분산(시드에 따른 ASR 변동)이나 신뢰 구간은 제시되지 않는다.
- 비적대 베이스라인의 해석 : ImageMix 가 44.8% 라는 점은 “타깃 이미지를 30% 섞기만 해도 거의 절반이 틀린다”는 뜻이다. 이는 공격의 강함보다 타깃 이미지 자체가 질문에 대한 강한 시각 증거라는 뜻일 수 있어, 적대 방법의 ASR 중 얼마가 “적대성” 덕분인지는 ImageMix 를 뺀 증분으로 봐야 한다.
- PAD 평가의 불일치 : PAD 는 패치 제거 방어인데 방어 평가의 다섯 패러다임에 PhysPatch 가 없다. PAD 가 “효과 없음”으로 보이는 것은 설계 대상이 평가에서 빠진 탓일 수 있다.
- 도메인 간 사례 수 불균형 : Scene QA 245개 대 Driving 65개로 편차가 크다. 도메인별 ASR 중앙값 비교에서 작은 도메인의 추정 분산이 크다.
❓ 3. 열린 질문
- 비디오·다중 턴·행동 피드백이 있는 폐루프(closed-loop) 환경에서는 같은 순위가 유지되는가? 특히 체화 계획 오류는 단일 프레임보다 시간 축에서 더 잘 드러날 가능성이 있다.
- 타깃 이미지를 “참조”로만 쓰는 시각 공격과 “직접 입력”하는 ImageMix 사이의 간극(CoA 54.6 vs IM 44.8)은 어디서 오는가? 교차 모달 정렬이 전이성을 높인다면, 피해자 모델의 인코더 결합 방식(bolt-on vs early-fusion)에 따라 전이 패턴이 달라지는지가 흥미로운 후속 분석이다.
- FigStep 을 막으려면 어떤 전처리가 필요한가? 이미지 속 텍스트를 OCR 로 뽑아 텍스트 정화에 넘기는 방식이 자연스러운 후보지만, 정당한 표지판·라벨까지 지워 clean 정확도를 해칠 수 있다.
- 적응형 공격자(방어를 알고 우회하는)를 허용하면 BlueSuffix 의 21.7 포인트 감소가 얼마나 남는가?
- 후훈련이 취약성을 키우는지(Cosmos-Reason2 가 기반 Qwen3-VL-8B 보다 PromptInject 에 76.8 vs 74.8 로 더 취약) 아니면 단지 줄이지 못하는 것인지는 통제 비교가 필요하다.
🧷 4. 내 판단과 연구 연결
- 이 논문의 가장 가치 있는 부분은 결과표보다 “공정 비교 = 같은 목표”라는 설계 원칙과 그것을 실현한 에이전트 타깃 생성 파이프라인이다. jailbreak 벤치마크에서 흔히 보는 “같은 유해 질의 집합” 대신, 장면별로 “무엇이 그럴듯한 실패인가”를 먼저 정하는 접근은 content safety 벤치마크에도 옮겨올 만하다. 예컨대 같은 이미지에 대해 “어떤 능력 전이가 유해로 가는가”를 먼저 정의하고 공격을 비교하는 식이다.
- 방어자 관점에서 가장 실용적인 발견은 채널 독립성이다. 텍스트 정화는 주입만, 주파수 정화는 그래디언트 섭동만 막는다. 이는 방어를 단일 점수로 평가하면 안 되고, 공격 채널별 커버리지 행렬로 보고해야 한다는 뜻이다. 내가 다루는 멀티모달 jailbreak 방어 평가에서도 “어느 채널의 공격을 막았는가”를 분리해 보고하는 관행이 필요하다.
- FigStep 이 모든 방어를 비껴가는 결과는 표현 수준 방어 연구에 직접 연결된다. 전처리로 닿지 않는 경로라면, 모델 내부에서 “이미지 속 텍스트를 지시로 수용하는” 표현을 탐지·억제하는 쪽이 자연스러운 다음 단계다. ReaLM 의 FigStep 케이스는 그런 내부 탐지기의 테스트베드로 쓸 수 있다.
- 비적대 베이스라인(ImageMix)을 항상 함께 보고하는 설계는 따라 할 만하다. 적대 방법의 성과를 증분으로 읽게 만들어, “공격이 강하다”와 “모델이 시각 증거에 민감하다”를 구분하게 해 준다.