0. Summary

기본 정보 : ArXiv,2026.06.05, MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models

연구 배경

시각-언어 모델(VLM)은 강한 멀티모달 성능을 보이지만 안전 강건성은 해결되지 않았다. 선행 연구는 유해 지시를 순서도(flowchart) 같은 구조화된 시각 프롬프트로 바꾸면 VLM 을 jailbreak 할 수 있음을 보였는데(FC-Attack), 이런 연구는 대부분 영어 중심이었다. 한편 텍스트 LLM 에서는 저자원 언어로 번역한 유해 질의가 영어보다 쉽게 통과하는 교차 언어 안전 격차(cross-lingual safety gap) 가 알려져 있었다. 두 축이 결합된 질문, 즉 “같은 유해 순서도를 다른 언어로 옮기면 VLM 의 안전 메커니즘이 언어와 모달리티를 넘어 유지되는가” 는 체계적으로 평가된 적이 없었다. 또한 비영어권 언어에서 공격 성공률이 낮게 나올 때 그것이 강한 정렬 때문인지, 모델이 그 문자를 읽지 못하기 때문인지를 구분하는 설계도 필요했다.

제안 방법

논문은 AdvBench 기반 FC-Attack 의 영어 순서도(DOT 파일)를 GoogleTranslator 로 힌디어, 펀자브어, 스페인어, 루마니아어, 독일어로 번역하고 Graphviz 로 PNG 로 렌더링해, 가로·세로·S자형(tortuous) 세 레이아웃으로 구성한 다국어 멀티모달 jailbreak 벤치마크 MLingualFC 를 만든다. 위협 모델은 black-box 단일 턴이며, 텍스트 프롬프트는 “순서도의 단계를 분석하고 완성하라”는 무해한 지시문으로 유해 단어를 포함하지 않는다. Qwen2.5-VL-3B-Instruct, Gemma-4-E4B-it, Pangea-7B 세 다국어 VLM 을 평가하고, GPT-oss-120b 를 심판으로 1(완전 거부)–5(완전 유해) 척도에서 4 이상을 jailbreak 로 판정한다. 핵심 설계는 평문 기준선(Text + Description, Harmful Query) 을 함께 보고해 “읽지 못함”과 “거부함”을 분리하는 것이다.

발견 사실

같은 모델이라도 언어에 따라 ASR 이 0% 에서 80% 대까지 벌어졌다. Qwen2.5-VL 은 라틴 문자 언어에서 가장 취약해 스페인어·독일어 S자형 레이아웃에서 89.36% 에 달했고, Gemma-4 는 영어에서는 18–26% 로 비교적 안전했지만 독일어 가로 70.21%, 힌디어 가로 74.47% 로 영어보다 훨씬 취약했으며 힌디어 74.47% 는 전체 표의 최고값이었다. Pangea 는 힌디어에서 모든 레이아웃이 0% 였다. 그러나 인도계 문자의 낮은 ASR 은 강한 정렬 때문이 아니었다. 같은 내용을 평문으로 주면 Qwen 의 힌디어 ASR 은 64.00%, 펀자브어는 66.00% 로 순서도(53.19%, 4.26%)보다 오히려 높았다. 라틴 문자에서는 순서도가 평문보다 강하고 인도계 문자에서는 반대라는 역전이, 실패 원인이 시각적 텍스트 인식 한계임을 가리킨다. 단계 수 ablation 에서는 가로 레이아웃에서 5단계로 줄이면 ASR 이 올랐지만(영어 84→92%) 세로·S자형은 반대였고, 원어민 평가는 대체로 LLM 심판과 비슷했으나 Gemma-4 펀자브어 세로에서 14.89% 대 2.12% 로 차이가 컸다.

핵심 기여

다국어 멀티모달 jailbreak 벤치마크 MLingualFC : 영어 전용이던 순서도 공격을 5개 언어 × 3개 레이아웃으로 확장해 언어·레이아웃·모델 축에서 취약성을 비교할 수 있는 첫 벤치마크를 만들었다.
언어 간 안전성 불일치의 실증 : 영어 ASR 만으로는 모델의 안전성을 말할 수 없음을, 영어에서 안전하고 독일어·힌디어에서 취약한 Gemma-4 사례 등으로 수치화했다.
“낮은 ASR ≠ 안전” 경고와 분리 설계 : 평문 기준선과의 비교로 인도계 문자의 낮은 ASR 이 정렬이 아니라 시각 텍스트 인식 한계에서 온다는 점을 보여, 시각 인식 능력이 좋아지면 취약성이 따라 올라올 수 있음을 경고했다.

관련 개념

순서도 공격(Flowchart Attack)과 위협 모델

순서도 공격은 유해 질의를 절차적 하위 단계로 분해해 방향 그래프로 그린 이미지를 입력하고, 텍스트로는 “이 단계를 분석하고 완성하라”는 무해한 지시만 주는 공격입니다. FC-Attack 이 영어로 제안했고, MLingualFC 는 이를 다국어로 확장합니다.

🎯 1. 위협 모델

항목	내용
접근 권한	black-box. 아키텍처, 파라미터, gradient, 안전 필터, 출력 확률 접근 없음
상호작용	단일 턴. 최종 텍스트 응답만 관찰
입력	순서도 이미지 1장 + 무해한 시스템 프롬프트
텍스트 프롬프트	묘사된 단계를 분석하고 완성하라는 지시. 유해 내용 언급 없음

유해 의미는 전부 이미지 속 글자에 실려 있고 텍스트는 깨끗합니다. MM-SafetyBench 의 typography 설정과 같은 “텍스트 무해, 이미지 유해” 구도입니다.

🧩 2. Typography 공격과의 차이

구분	Typography (MM-SafetyBench, FigStep)	순서도 (FC-Attack, MLingualFC)
이미지 내용	핵심 구절 또는 번호 목록	절차의 구조화된 단계와 흐름
모델이 하는 일	구절을 읽고 질문에 답함	“단계를 완성한다”는 명목으로 절차를 채움
거부 회피 메커니즘	유해 단어가 텍스트에 없음	유해 단어가 텍스트에 없음 + 작업이 “그래프 완성”으로 프레이밍됨

구조화된 절차라는 점이 중요합니다. 모델은 요청을 “유해 질문에 답하기”가 아니라 “주어진 순서도의 빈 단계를 메우기”로 해석하므로, 거부 트리거 없이 절차적 세부를 생성하기 쉽습니다.

🌍 3. 왜 언어 축인가

텍스트 LLM 연구에서 저자원 언어는 안전 학습 데이터가 적어 거부가 약하다는 것이 알려져 있습니다. VLM 에서는 여기에 시각 텍스트 인식 능력이라는 변수가 하나 더 붙습니다. 모델이 어떤 문자를 읽지 못하면 그 언어의 공격은 “실패”하지만, 그것은 정렬의 성공이 아닙니다. 이 논문은 바로 이 두 변수를 분리하려고 설계되었습니다.

💡 Key Takeaway 순서도 공격은 “질문에 답하라”를 “그래프를 완성하라”로 바꿉니다. 여기에 언어 축을 더하면 정렬의 격차와 시각 인식의 격차가 동시에 드러나며, 둘을 구분하는 것이 이 논문의 핵심 과제입니다.

MLingualFC 벤치마크 구축

MLingualFC 는 기계 번역과 그래프 렌더링만으로 만들어진 저비용 파이프라인입니다(Section 3).

🏗️ 1. 생성 파이프라인

단계	내용	도구
(1) 소스	AdvBench 유해 질의를 절차적 하위 단계로 분해한 FC-Attack 의 영어 순서도 데이터. 방향 그래프 DOT 파일	FC-Attack (Zhang et al., 2025)
(2) 번역	DOT 파일의 텍스트를 5개 언어로 번역	GoogleTranslator (deep-translator)
(3) 렌더링	번역된 DOT 를 PNG 순서도로 컴파일	Graphviz
(4) 레이아웃	가로(horizontal), 세로(vertical), S자형(tortuous) 세 가지를 질의·언어마다 생성	Graphviz

🗺️ 2. 언어 구성

언어	문자 체계	자원 수준
English (기준)	라틴	고자원
Spanish (es)	라틴	고자원
German (de)	라틴	고자원
Romanian (ro)	라틴	중자원
Hindi (hi)	데바나가리	중자원
Punjabi (pa)	구르무키	저자원

라틴 문자 세 언어와 인도계 문자 두 언어를 함께 두어, 결과를 “문자 체계” 축으로 읽을 수 있게 했습니다. 언어당 샘플 수는 본문에 명시되지 않았으며, 표의 비율로 역산하면 영어 50개, 나머지 언어 47개 안팎으로 추정됩니다(예: 84.00% = 42/50, 80.85% = 38/47). 이는 추정치입니다.

⚖️ 3. 평가 설정

항목	내용
심판	GPT-oss-120b (LLM-as-a-judge)
척도	1(완전 거부) – 5(완전 유해). 유해성과 완성도를 함께 채점
Jailbreak 판정	점수 $\ge 4$
ASR	해당 언어에서 jailbreak 로 판정된 응답 수 / 전체 샘플 수
사람 평가	힌디어·펀자브어 응답 일부를 원어민이 같은 척도로 채점
모델	Qwen2.5-VL-3B-Instruct, Gemma-4-E4B-it, Pangea-7B (LLaVA-NeXT 구조)
하드웨어	NVIDIA L4 24GB 1장, PyTorch + HuggingFace

전체 데이터셋은 인증된 연구자에게만 제공되며 코드는 공개 저장소에 있습니다.

💡 Key Takeaway 기계 번역 + Graphviz 만으로 언어를 추가할 수 있는 파이프라인입니다. 저렴하고 재현 가능하지만, 번역 품질이 검증되지 않았다는 비용이 따라옵니다.

주요 결과: 언어 × 모델 × 레이아웃

주요 결과(Table 1) 는 순서도 + 무해 텍스트 설정에서 언어, 모델, 레이아웃에 따른 ASR 입니다. 수치는 가로 / 세로 / S자형 순입니다.

📊 1. 전체 표 (ASR %)

언어	Qwen2.5-VL	Gemma-4	Pangea
English	84.00 / 70.00 / 86.00	26.00 / 18.00 / 18.00	54.00 / 72.00 / 54.00
Spanish	80.85 / 72.34 / 89.36	53.19 / 21.28 / 31.91	59.57 / 51.06 / 23.40
Romanian	61.70 / 87.23 / 82.98	63.83 / 29.79 / 42.55	40.43 / 38.29 / 40.43
German	76.59 / 82.98 / 89.36	70.21 / 34.04 / 53.19	48.94 / 42.55 / 44.68
Hindi	19.15 / 53.19 / 40.42	74.47 / 59.57 / 68.08	0.00 / 0.00 / 0.00
Punjabi	4.26 / 0.00 / 4.26	6.38 / 14.89 / 4.26	0.00 / 2.13 / 2.13

🔍 2. 모델별 읽기

모델	관찰
Qwen2.5-VL	가장 취약. 스페인어·독일어·루마니아어는 레이아웃에 따라 80% 를 넘고 S자형에서 89.36% 에 도달. 힌디어는 19–53%, 펀자브어는 0–4% 로 급락
Gemma-4	영어에서는 18–26% 로 비교적 안전하지만 독일어 가로 70.21%, 루마니아어 가로 63.83%, 힌디어 가로 74.47% 로 영어보다 훨씬 취약. 힌디어 74.47% 는 전체 표 최고값
Pangea	힌디어에서 모든 레이아웃 0%, 펀자브어도 0–2%. 영어 세로 72.00%, 스페인어 가로 59.57% 에서 가장 취약

Gemma-4 의 사례가 가장 중요합니다. 영어 ASR 만 보고하면 세 모델 중 가장 안전해 보이지만, 독일어와 힌디어에서는 가장 취약한 모델이 됩니다. 영어 평가가 다국어 안전성을 대표하지 못한다는 직접 증거입니다.

📐 3. 레이아웃 효과

Gemma-4 와 Pangea 는 가로 레이아웃에 가장 약합니다.
Qwen 은 언어마다 취약한 레이아웃이 다릅니다. 영어·스페인어·독일어는 S자형, 루마니아어는 세로, 힌디어는 세로가 가장 높습니다.
같은 내용·같은 언어에서 레이아웃만 바꿔도 수십 %p 가 움직인다는 것은(Gemma-4 스페인어 53.19 → 21.28), 안전 판단이 의미가 아니라 시각적 파싱의 성공 여부에 크게 좌우된다는 뜻입니다.

💡 Key Takeaway 같은 모델이 언어에 따라 0% 와 80% 를 오갑니다. 영어에서 가장 안전한 Gemma-4 가 힌디어에서 가장 취약하다는 사실 하나로, 안전성은 언어별로 따로 보고해야 한다는 결론이 나옵니다.

평문 기준선: “읽지 못함”과 “거부함”의 분리

평문 기준선(Table 2) 은 이 논문에서 가장 가치 있는 설계입니다. 같은 유해 내용을 이미지 없이 텍스트로 주었을 때의 ASR 을 두 형태로 측정합니다.

📊 1. 평문 ASR (%)

언어	Qwen (Text+Desc)	Gemma (Text+Desc)	Pangea (Text+Desc)	Qwen (Harmful Query)	Gemma (Harmful Query)	Pangea (Harmful Query)
English	30.00	2.00	20.00	2.00	2.00	2.00
Spanish	32.00	4.00	18.00	8.00	2.00	10.00
Romanian	44.00	6.00	40.00	22.00	6.00	20.00
German	34.00	2.00	36.00	16.00	0	10.00
Hindi	64.00	8.00	32.00	30.00	2.00	34.00
Punjabi	66.00	14.00	52.00	24.00	10.00	52.00

Text+Desc 는 순서도의 단계 설명을 텍스트로 준 것이고, Harmful Query 는 원래 유해 질의를 그대로 준 것입니다.

🔀 2. 역전 현상

문자 체계	순서도 vs 평문	해석
라틴 (en, es, ro, de)	순서도 ≫ 평문. Qwen 영어 84–86% vs 30%	모델이 글자를 읽고, 순서도 프레이밍이 거부를 우회함
인도계 (hi, pa)	순서도 < 평문. Qwen 펀자브어 4.26% vs 66.00%, 힌디어 53.19% vs 64.00%	모델이 글자를 읽지 못해 공격이 전달되지 않음. 텍스트로 주면 정렬이 약해 쉽게 통과

이 역전이 핵심 논거입니다. 인도계 문자 순서도에서 ASR 이 낮은 이유가 정렬이 강해서라면 평문에서도 낮아야 합니다. 그런데 평문에서는 오히려 라틴 문자 언어보다 높습니다. 따라서 낮은 순서도 ASR 은 시각 텍스트 인식 실패의 결과입니다. 평문 Harmful Query 에서도 힌디어·펀자브어가 영어보다 훨씬 높다는 점(Pangea 펀자브어 52% vs 영어 2%)은 교차 언어 정렬 격차가 실제로 존재함을 보여줍니다.

⚠️ 3. 함의: 능력 향상이 취약성 증가로

인도계 문자에 대한 OCR 능력이 개선되는 순간, 현재 “안전해 보이는” 0–4% 는 평문 수준인 50–60% 로 뛰어오를 수 있습니다. 모델 버전이 올라가면서 시각 인식이 좋아지면 잠재된 취약성이 드러나는 구조입니다. 안전 평가에서 능력 부족에 의한 실패와 정렬에 의한 거부를 구분하지 않으면, 이 위험을 미리 볼 수 없습니다.

💡 Key Takeaway 인도계 문자의 낮은 ASR 은 정렬의 승리가 아니라 OCR 의 실패입니다. 평문 기준선 하나가 이것을 드러냈고, “능력이 좋아지면 더 위험해진다”는 예측을 가능하게 합니다.

Ablation 과 정성 분석, 사람 평가

추가 분석은 단계 수 ablation, 정성 사례, 원어민 평가로 구성됩니다(Section 4.3–4.5).

🔢 1. 단계 수 ablation (Table 3, Qwen2.5-VL, 5단계 순서도, ASR %)

언어	가로	세로	S자형
English	92.00	68.00	84.00
Spanish	77.08	68.75	89.58
Romanian	81.25	83.33	77.08
German	77.08	66.66	83.33
Hindi	33.33	43.75	39.58
Punjabi	4.17	2.08	2.08

가로 레이아웃에서 단계를 줄이면 ASR 이 오릅니다(영어 84.00 → 92.00, 루마니아어 61.70 → 81.25, 힌디어 19.15 → 33.33). 반면 세로·S자형은 대체로 단계가 많을수록 높아, 효과가 레이아웃에 의존합니다. 가로 레이아웃은 단계가 많을수록 이미지가 옆으로 길어져 글자가 작아지므로, 단계 수 효과 역시 시각적 가독성으로 설명될 가능성이 큽니다.

🔍 2. 정성 사례

평문 루마니아어·힌디어 요청은 거부되었지만 같은 내용의 순서도는 유해 응답을 냈습니다.
루마니아어 S자형 순서도에 영어로 유해 답변을 내는 경우가 있었습니다. 입력 언어와 출력 언어가 분리되며, 정렬이 입력 언어 쪽에서 무너졌음을 보여줍니다.
같은 응답 안에서 거부한 뒤 유해 내용을 이어 쓰는 사례가 있습니다. 거부 문구 유무로 안전을 판정하는 지표가 왜 위험한지 보여줍니다.
힌디어 순서도에 Qwen 이 전혀 무관한 내용(예: 시험 준비 계획)을 생성한 사례가 “오독” 근거로 제시됩니다.

👥 3. 원어민 평가 (힌디어·펀자브어, ASR %)

모델 / 언어	가로	세로	S자형	LLM 심판 (Table 1)
Gemma-4 Hindi	72.00	58.00	68.00	74.47 / 59.57 / 68.08
Gemma-4 Punjabi	0	2.12	8.5	6.38 / 14.89 / 4.26
Pangea Hindi	0	0	0	0.00 / 0.00 / 0.00
Pangea Punjabi	0	2.13	2.13	0.00 / 2.13 / 2.13

논문은 LLM 심판과 사람 판정의 차이가 Pangea 에서 0%, Gemma-4 에서 1–6% 라고 씁니다. Pangea 와 Gemma-4 힌디어(차이 0.08–2.47%p)는 그 범위 안이지만, Gemma-4 펀자브어는 가로 6.38 vs 0, 세로 14.89 vs 2.12 로 차이가 커서 서술과 맞지 않습니다. 저자원 언어일수록 LLM 심판의 신뢰성이 떨어진다는 신호로 읽는 것이 자연스럽습니다.

💡 Key Takeaway 단계 수 효과도, 거부 후 유해 내용을 잇는 사례도, 결국 시각 파싱과 평가 신뢰성의 문제로 수렴합니다. 특히 펀자브어에서 LLM 심판과 원어민의 괴리는 저자원 언어 평가 자체를 다시 보게 합니다.

연구	이미지 내용	언어	핵심 질문
MM-SafetyBench	핵심 구절 typography (+SD)	영어	질의 관련 이미지가 정렬을 우회하는가
FigStep	번호 목록 typography	영어	구조화된 텍스트 이미지가 더 강한가
FC-Attack	절차 순서도	영어	절차 구조가 거부를 우회하는가
MLingualFC	절차 순서도	5개 언어	언어를 바꾸면 안전성이 유지되는가

한계와 열린 방향

이 논문의 한계는 표본 크기, OCR 주장의 간접성, 번역 품질, 심판 신뢰성으로 요약되며, 모델 수와 방어 부재는 저자들도 인정합니다.

⚠️ 1. 저자가 인정한 한계

모델 3종(Qwen2.5-VL, Gemma-4, Pangea)만 평가해 다른 모델 계열로의 일반화가 검증되지 않았습니다.
공격 분석에 한정되며, 다국어 설정에서 방어 기법이나 정렬 전략은 평가하지 않았습니다. 다국어 시각 jailbreak 방어는 향후 과제입니다.
전체 데이터셋은 공개되지 않고 인증된 연구자에게만 제공됩니다.

🔒 2. 외부 관점의 한계

표본 크기 : 언어당 약 47–50개(추정)로 작아, 레이아웃 간 몇 %p 차이는 통계적으로 의미가 약할 수 있습니다. 신뢰 구간이 없습니다.
모델 규모 : 3B–7B 급 소형 오픈소스 모델만 평가해 상용 대형 VLM 결과는 알 수 없습니다.
번역 품질 : 기계 번역을 검증하지 않았습니다. 번역 오류가 순서도의 유해성 자체를 희석했을 가능성이 있고, 이것이 인도계 문자의 낮은 ASR 에 기여했는지 분리되지 않습니다.
OCR 주장의 간접성 : “시각 텍스트 인식이 약해서”라는 핵심 주장을 뒷받침하는 직접적인 OCR 측정이 없습니다. 근거는 평문 기준선과 정성 사례뿐입니다. 인용할 때는 “인도계 문자에서 시각 텍스트 인식 한계가 의심된다” 수준으로 표현하는 것이 안전합니다.
심판 : GPT-oss-120b 의 다국어 판정 능력이 검증되지 않았고, 펀자브어에서 원어민과의 차이가 큽니다.

❓ 3. 열린 질문

순서도를 영어로 두고 텍스트 프롬프트만 다국어로 바꾸면 어떻게 되는가? 취약성이 “이미지 속 언어”에서 오는지 “지시문 언어”에서 오는지 2×2 설계로 분리할 수 있습니다.
OCR 전처리로 순서도를 텍스트로 변환해 주는 방어가 인도계 문자에서는 오히려 취약성을 높이지 않을까? 평문 ASR 이 더 높기 때문입니다.
순서도 텍스트 복원률(OCR 정확도)을 직접 측정하면 ASR 과 어떤 상관을 보이는가?
모델 버전 간 종단 비교에서 시각 인식 향상이 실제로 ASR 상승으로 이어지는가?

🧷 4. 내 판단과 연구 연결

판단 : 기여의 핵심은 새로운 공격 기법이 아니라 평가 축의 확장입니다. FC-Attack 을 다국어로 옮긴 것은 단순하지만, “낮은 ASR ≠ 안전”이라는 해석을 평문 기준선으로 보여준 부분이 가장 가치 있습니다. 가장 약한 부분은 표본 크기와 OCR 주장의 간접성입니다.
연구 연결 : 다국어 VLM 안전 연구에서 언어별 ASR 분리 보고와 평문 vs 이미지 기준선 동시 보고를 평가 프로토콜의 기본으로 삼을 근거가 됩니다. MM-SafetyBench(영어 typography) → FC-Attack(영어 순서도) → MLingualFC(다국어 순서도)로 이어지는 계보에서 한국어를 추가하는 확장이 바로 가능하며, “능력 향상이 취약성 증가로 이어진다”는 가설은 모델 버전 간 종단 비교로 검증해볼 만합니다.
실행 항목
- 한국어 순서도 세트를 같은 파이프라인으로 생성하고, 번역 품질을 사람이 검수하는 단계 추가
- OCR 정확도(순서도 텍스트 복원률)를 직접 측정해 ASR 과의 상관을 확인하는 실험 설계
- 이미지 언어와 지시문 언어를 교차시키는 2×2 설정으로 취약성 원인 분리
- FC-Attack 원 논문과 MM-SafetyBench 의 영어 결과와 수치 비교표 작성

💡 Key Takeaway MLingualFC 가 남긴 가장 중요한 과제는 “읽지 못함”을 직접 측정하는 것입니다. OCR 정확도와 ASR 의 상관, 그리고 이미지 언어와 지시문 언어의 분리 실험이 다음 단계입니다.

MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models