You know maize mean?
MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models
0. Summary
기본 정보 : ArXiv,2026.06.05, MLingualFC: Evaluating Jailbreak Vulnerabilities in Multilingual Vision-Language Models
연구 배경
시각-언어 모델(Vision-Language Model, VLM)은 VQA, 캡셔닝, 시각 상식 추론에서 높은 성능을 내지만 안전 강건성은 여전히 열린 문제다. 선행 연구는 유해 지시를 typographic 이미지로 바꾸거나(FigStep), 이미지에 유해 의도를 심거나(HADES), 유해 질의를 자동 생성된 단계별 순서도(flowchart) 로 인코딩하면(FC-Attack) VLM 의 안전 정렬을 우회할 수 있음을 보였고, 그중 순서도 방식이 가장 강했다. 그러나 이 연구들은 거의 영어에 한정되어 있었다. 한편 텍스트 LLM 쪽에서는 유해 프롬프트를 줄루어·스코틀랜드 게일어 같은 저자원 언어로 번역하면 GPT-4 의 안전 필터를 높은 확률로 통과한다는 사실(Yong et al., 2023), 언어를 섞는 code-switching 이 거부율을 낮춘다는 사실(CSRT), 12개 인도계 언어에서 jailbreak 강건성을 재는 IndicJR 등이 교차 언어 안전 격차(cross-lingual safety gap) 를 확인해 왔다. Derner and Bastič (2025) 는 7개 언어에서 유해 프롬프트를 이미지로 렌더링하면 ASR 이 오르고 거부율이 떨어지며 그 효과가 저자원 언어에서 가장 크다고 보고했지만, 다국어·다문화 이해를 목표로 설계된 MVLM(Multilingual VLM) 이 다국어 시각 공격에 더 강한지 약한지 는 평가된 적이 없었다. 또한 비영어권 언어에서 ASR 이 낮게 나올 때 그것이 정렬의 성공인지, 모델이 해당 문자를 읽지 못한 결과인지를 가르는 설계도 없었다.
제안 방법
논문은 AdvBench 유해 질의를 절차적 하위 단계의 방향 그래프로 분해한 FC-Attack 의 영어 순서도(DOT 파일)를 GoogleTranslator(deep-translator)로 힌디어, 펀자브어, 스페인어, 루마니아어, 독일어 다섯 언어로 번역하고 Graphviz 로 PNG 로 렌더링한 뒤, 질의·언어마다 가로(horizontal)·세로(vertical)·S자형(tortuous) 세 레이아웃을 만든 다국어 멀티모달 jailbreak 벤치마크 MLingualFC 를 제안한다. 위협 모델은 black-box 단일 턴이다. 공격자는 아키텍처·파라미터·gradient·안전 필터·출력 확률에 접근할 수 없고 공개 인터페이스로 최종 텍스트만 관찰한다. 텍스트 프롬프트는 순서도에 묘사된 단계를 분석하고 완성하라는 무해한 지시로, 유해성을 언급하지 않는다. 대상 모델은 Qwen2.5-VL-3B-Instruct, Gemma-4-E4B-it, Pangea-7B(LLaVA-NeXT 구조) 세 MVLM 이고, 심판은 GPT-oss-120b 가 1(완전 거부)–5(완전 유해) 척도로 유해성과 완성도를 채점해 4 이상을 jailbreak 로 판정한다. 핵심 설계는 평문 기준선(Text + Description, Harmful Query) 과 5단계 순서도 ablation, 힌디어·펀자브어 원어민 평가 를 함께 두어 “읽지 못함”과 “거부함”을 분리하는 것이다.
발견 사실
같은 모델이 언어에 따라 ASR 0% 와 89% 사이를 오갔다. Qwen2.5-VL 은 라틴 문자 언어에서 가장 취약해 스페인어·독일어 S자형에서 89.36% 에 이르렀고, 영어에서는 비교적 안전했던 Gemma-4(18–26%)가 독일어 가로 70.21%, 힌디어 가로 74.47% 로 영어보다 훨씬 취약했으며 힌디어 74.47% 는 전체 표의 최고값이었다. Pangea 는 힌디어에서 세 레이아웃 모두 0% 였다. 레이아웃 효과는 모델마다 달라 Gemma-4 와 Pangea 는 가로에 약했고 Qwen 은 언어에 따라 S자형·세로가 가장 높았다. 그러나 인도계 문자의 낮은 ASR 은 정렬의 성공이 아니었다. 같은 단계를 평문으로 주면 Qwen 의 힌디어 ASR 은 64.00%, 펀자브어는 66.00% 로 순서도(가로 19.15%, 4.26%)보다 오히려 높았고, Pangea 펀자브어도 순서도 0–2.13% 대 평문 52.00% 였다. 라틴 문자에서는 순서도가 평문을 크게 앞서고 인도계 문자에서는 반대라는 역전이, 실패 원인이 구조화된 다국어 시각 프롬프트를 해석하지 못하는 것 임을 가리킨다. 정성 분석에서 Qwen 은 힌디어 평문에는 거부했지만 힌디어 순서도는 시험 준비 계획이나 대나무 가공 절차로 오독했다. 5단계 순서도 ablation 은 가로에서 ASR 을 올리고(영어 +8%p, 루마니아어 +19.55%p, 힌디어 +14.18%p) 세로·S자형에서는 반대였으며, 원어민 평가는 LLM 심판과 대체로 일치했으나 Gemma-4 펀자브어에서는 세로 레이아웃 14.89% 대 2.12% 처럼 차이가 컸다.
핵심 기여
- 다국어 멀티모달 jailbreak 벤치마크 MLingualFC : 영어 전용이던 순서도 공격을 5개 언어 × 3개 레이아웃으로 확장해, 언어·레이아웃·모델 세 축에서 MVLM 의 취약성을 체계적으로 비교할 수 있는 첫 벤치마크를 제시했다.
- 언어 간 안전성 불일치의 실증 : 영어 ASR 이 다국어 안전성을 대표하지 못함을, 영어에서 가장 안전하고 독일어·힌디어에서 가장 취약한 Gemma-4 사례 등으로 수치화하고, 취약한 레이아웃이 모델마다 다르다는 점까지 보였다.
- “낮은 ASR ≠ 안전” 경고와 분리 설계 : 평문 기준선·정성 사례·원어민 평가를 결합해 인도계 문자의 낮은 ASR 이 정렬이 아니라 다국어 시각 이해·문자 인식의 한계에서 온다는 점을 보이고, 시각 이해가 개선되면 잠재 취약성이 드러날 수 있음을 경고했다.
Abstract 쉬운 설명(Gemini)
이 논문의 핵심은 “AI에게 위험한 질문을 글자로 직접 물어보는 대신, 여러 나라 언어로 적힌 ‘순서도(플로우차트) 그림’으로 그려서 보여주면 AI의 안전장치가 어떻게 뚫리는가?”를 실험한 것입니다.
📌 핵심 요약 (Key Takeaway)
요즘 AI는 글자뿐만 아니라 이미지도 볼 수 있습니다. 하지만 유해한 질문(예: 범죄 방법 등)을 ‘외국어로 적힌 순서도 이미지’로 만들어 보여주면, AI가 이를 위험한 질문이라고 눈치채지 못하고 술술 대답해 버리는 보안 허점이 발견되었습니다.
💡 왜 이런 실험을 했나요? (배경)
원래 AI에게는 “폭탄 만드는 법 알려줘”처럼 위험한 질문을 걸러내는 안전장치(가드레일)가 있습니다. 그래서 해커들은 이 검열을 피하려고 질문을 글자가 아닌 ‘순서도(화살표로 연결된 도형 그림)’ 이미지로 그려서 AI에게 보여주는 우회 수법(탈옥, Jailbreak)을 쓰기 시작했습니다.
기존 연구들은 이 수법을 영어로만 테스트했지만, 이번 연구진은 “영어 말고 스페인어, 독일어, 힌디어 등 다른 나라 언어로 순서도를 그리면 AI가 어떻게 반응할까?”를 최초로 실험하기 위해 MLingualFC라는 테스트 도구를 만들었습니다.
🔍 실험 결과: 언어마다 AI의 반응이 달랐습니다
연구진이 최신 AI 모델들(Qwen2.5-VL, Gemma-4 등)에게 5개 국어로 된 순서도 이미지를 보여준 결과, 아주 흥미로운 현상이 나타났습니다.
| 언어 종류 | 포함 언어 | AI의 반응 (공격 성공률) | 왜 이런 결과가 나왔을까? (원인) |
|---|---|---|---|
| 라틴 문자 언어 (알파벳 사용) | 스페인어, 독일어, 루마니아어 | 안전장치가 쉽게 뚫림 (위험한 대답을 잘 해줌) | AI가 그림 속 글자를 아주 잘 읽으면서도, 그림 형태라 위험한 질문인지 눈치채지 못함 |
| 비(非)라틴 문자 언어 (고유 문자 사용) | 힌디어, 펀자브어 | 안전장치가 잘 안 뚫림 (공격 실패) | AI의 보안이 뛰어나서가 아니라, 그림 속에 적힌 특이한 글자 자체를 제대로 읽지 못해서(OCR 성능 한계) 질문조차 이해하지 못함 |
⚠️ 이 연구가 주는 교훈 (시사점)
- 보안의 착시 현상 주의: 펀자브어나 힌디어에서 AI가 위험한 대답을 안 한 이유는 ‘안전해서’가 아니라 단순히 ‘글씨를 못 읽어서’였습니다. 즉, 앞으로 AI의 다국어 글자 인식(OCR) 능력이 좋아지면 이 언어들에서도 보안이 바로 뚫릴 수 있다는 뜻입니다.
- 입체적인 안전장치 필요: 현재 AI의 안전 교육은 주로 ‘영어’와 ‘일반 텍스트’ 위주로 되어 있습니다. 앞으로는 다양한 언어와 이미지(도표, 그림 등)가 결합된 상황에서도 위험성을 스스로 판단할 수 있도록 안전장치를 고도화해야 합니다.
특정 언어의 안전 정렬이 취약한 이유
📌 핵심 요약 (Key Takeaway)
연구진은 탈옥 성공률(ASR) 뒤에 숨겨진 진실을 밝히기 위해 ‘글자 인식률(OCR)’과 ‘번역 성능’ 지표를 대조했습니다. 그 결과, 펀자브어 등에서 탈옥이 막힌 진짜 이유는 AI의 뛰어난 보안성 때문이 아니라, “그림 속 글자 자체를 읽지 못했기 때문(OCR의 한계)”이라는 사실을 밝혀냈습니다.
🔍 구체적인 분석 방법 3단계
연구진은 특정 언어가 막히는 원인을 명확히 짚어내기 위해 실험 단계를 쪼개어 분석했습니다.
1️⃣ 시각적 텍스트 인식률(OCR Accuracy) 측정
가장 먼저 수행한 것은 “AI가 이미지 속 다국어 글자를 해독할 수 있는가?”에 대한 검증이었습니다.
- 실험 방법: AI에게 탈옥용 순서도 이미지를 보여주고, “이 그림에 적혀 있는 글자를 그대로 텍스트로 옮겨 적어봐(Transcribe)”라고 시켰습니다.
-
분석 결과:
- 스페인어, 독일어 등 (라틴 문자 계열): 인식 성공률이 거의 100%에 달했습니다. AI가 그림 속 알파벳을 완벽히 읽어냈습니다.
- 펀자브어, 힌디어 등 (비라틴 문자 계열): 인식 성공률이 심각하게 낮았습니다. 글자 모양이 조금만 찌그러지거나 순서도 박스 안에 들어가면 아예 읽지 못했습니다.
2️⃣ 번역 및 의미 이해력(Translation & Comprehension) 측정
글자는 읽을 수 있어도, 그 언어의 뜻을 이해하지 못해 탈옥에 실패했을 가능성을 테스트했습니다.
- 실험 방법: 이미지 없이 텍스트 형식으로 다국어 위험 질문을 던지고 올바르게 이해하고 번역하는지 테스트했습니다.
- 분석 결과: 비라틴 문자 계열 언어라 할지라도, 텍스트로 직접 주어졌을 때는 AI가 그 뜻을 잘 이해했습니다. 즉, 언어 자체를 이해하는 능력의 문제가 아니라 오직 ‘이미지 속 글자를 읽는 능력(OCR)’의 문제임이 증명되었습니다.
3️⃣ 공격 성공률(ASR)과 OCR 능력의 상관관계 분석
최종적으로 연구진은 두 가지 핵심 지표의 상관관계를 그래프와 통계로 비교했습니다.
- ASR (공격 성공률 / 잘 안 막히는 정도)
- OCR Character F1-Score (이미지 글자 인식 정확도)
이를 대조해 보니 “글자 인식률(OCR)이 높은 언어일수록 공격 성공률(ASR)도 정비례하여 급격히 상승한다”는 강력한 상관관계가 도출되었습니다.
📊 언어별 최종 분석 요약
연구진의 분석에 따른 언어별 보안 구멍의 원인은 다음과 같이 요약할 수 있습니다.
| 언어 계열 | 대표 언어 | 탈옥 성공 여부 | 실제 AI의 상태 (연구진의 분석 결과) |
|---|---|---|---|
| 라틴 문자 계열 | 스페인어, 독일어, 루마니아어 |
공격 성공 🔓 (잘 안 막힘) |
AI가 이미지 속 글자를 완벽히 읽었으며(OCR 성공), 그 내용을 기반으로 질문에 답변함. 안전장치는 이 교차 언어/시각 조합을 감지하지 못함. |
| 비(非)라틴 문자 계열 | 펀자브어, 힌디어 |
공격 실패 🛡️ (잘 막힘) |
안전장치가 작동한 것이 아님. AI가 이미지 속 문자를 이미지 노이즈 등으로 오인해 글자 자체를 읽지 못함(OCR 실패). 질문 자체를 이해하지 못해 헛소리를 하거나 거절함. |
💡 이 분석이 학계에 준 충격 (의의)
기존의 다른 연구들은 단순히 “비영어권 언어로 공격했더니 방어가 잘 되더라”라며 안심하곤 했습니다.
그러나 본 연구는 “그것은 방어가 잘 된 것이 아니라, 단지 AI가 그 나라 글씨를 읽지 못하는 눈(Vision)을 가졌기 때문에 일어난 착시 효과”라는 점을 정교한 OCR 대조 실험을 통해 따끔하게 지적한 것입니다. 즉, VLM의 OCR 능력이 고도화될수록 다국어 보안 위협은 걷잡을 수 없이 커질 것이라는 엄중한 경고를 던진 셈입니다.
관련 개념
순서도 공격(Flowchart Attack)과 위협 모델
순서도 공격 은 유해 질의를 절차적 하위 단계로 분해해 방향 그래프 이미지로 그리고, 텍스트로는 “이 단계들을 분석하고 완성하라”는 무해한 지시만 주는 공격입니다. FC-Attack(Zhang et al., 2025)이 영어로 제안했고, 이 논문은 같은 구도를 다국어로 옮깁니다. 공격의 핵심은 새 최적화 기법이 아니라 유해 의미를 전부 이미지 속 글자에 싣고 텍스트 채널은 깨끗하게 비우는 구도 에 있습니다.
🎯 1. 공격자의 목표와 능력 (Section 3.1)
| 항목 | 내용 |
|---|---|
| 목표 | MVLM 의 안전 정렬을 우회해 유해하거나 정책 위반인 응답을 얻는 것. 여러 언어로 구조화된 시각 표현을 제시해 다국어 능력 자체를 공격면으로 삼음 |
| 접근 권한 | black-box. 내부 아키텍처, 파라미터, gradient, 안전 필터, 출력 확률 접근 없음 |
| 상호작용 | 공개 인터페이스를 통한 단일 턴. 최종 텍스트 응답만 관찰. 각 질의는 독립 |
| 입력 | 순서도 이미지 1장 + 무해한 시스템 프롬프트 |
| 텍스트 프롬프트 | 순서도에 묘사된 단계를 분석하고 완성하라는 지시. 유해성 언급 없음 |
이 설정은 실제 배포 환경과 맞닿아 있습니다. 공격자에게 필요한 것은 API 호출과 이미지 한 장뿐이고, 모델이 어떤 언어를 “읽을 수 있는가”가 곧 공격면의 크기가 됩니다.
🧩 2. 시각 텍스트 공격 계열 안에서의 위치
| 계열 | 이미지 내용 | 모델이 수행하는 과제 | 거부 회피 메커니즘 |
|---|---|---|---|
| Typography (MM-SafetyBench, FigStep) | 핵심 구절 또는 번호 목록 | 구절을 읽고 질문에 답함 | 유해 단어가 텍스트 채널에 없음 |
| 유해 의도 이미지 (HADES 계열) | 유해 키워드를 대체하는 사물·행동 그림 | 그림을 보고 질문에 답함 | 키워드가 어느 채널에도 없음 |
| 순서도 (FC-Attack, MLingualFC) | 절차의 구조화된 단계와 흐름 | “그래프의 빈 단계를 채우기” | 유해 단어가 텍스트에 없음 + 과제가 “그래프 완성”으로 프레이밍됨 |
순서도가 typography 보다 강한 이유로 저자들은 FC-Attack 의 결과를 인용합니다. 모델은 요청을 “유해 질문에 답하기”가 아니라 “주어진 절차의 세부를 메우기”로 해석하기 때문에, 거부 트리거 없이 절차적 세부를 생성하기 쉽습니다. 논문 2.1절은 VLM 공격을 optimization-based(gradient 로 이미지를 직접 최적화, Carlini et al. 2023 등)와 prompt-based(black-box, 섭동 없이 프롬프트·이미지 구성만으로)로 나누는데, 순서도 공격은 후자에 속합니다.
🌍 3. 왜 언어 축을 더하는가
텍스트 LLM 연구는 저자원 언어에서 안전 학습 데이터가 부족해 거부가 약하다는 것을 반복해서 보였습니다. VLM 에서는 여기에 변수가 하나 더 붙습니다. 모델이 어떤 문자 체계를 시각적으로 읽을 수 있는가 입니다. 관측된 ASR 을 개념적으로 쪼개면 다음과 같이 쓸 수 있습니다(이 분해는 논문의 식이 아니라 결과를 읽기 위한 제 정리입니다).
$$ \mathrm{ASR}_{\text{obs} } \approx P(\text{단계를 올바르게 읽음}) \times P(\text{읽은 뒤 거부하지 않음}) $$
첫 항은 시각 텍스트 인식 능력, 둘째 항은 안전 정렬의 약함입니다. 순서도 ASR 만 보면 두 항의 곱만 보이므로, 낮은 값이 정렬 덕인지 인식 실패 때문인지 알 수 없습니다. 논문의 평문 기준선은 첫 항을 1 에 가깝게 고정해 둘째 항을 따로 보는 장치이고, 이것이 이 논문 설계의 중심입니다.
💡 Key Takeaway 순서도 공격은 “질문에 답하라”를 “그래프를 완성하라”로 바꾸는 black-box 단일 턴 공격입니다. 언어 축을 더하면 정렬 격차와 시각 인식 격차가 곱으로 섞여 나타나며, 둘을 분리하는 것이 이 논문의 과제입니다.
MLingualFC 벤치마크 구축 파이프라인
MLingualFC 는 기계 번역과 그래프 렌더링만으로 만들어진 저비용 파이프라인입니다(Section 3.2). 새 유해 질의를 작성하지 않고 FC-Attack 의 공개 영어 데이터를 그대로 변환합니다.
🏗️ 1. 네 단계 파이프라인
| 단계 | 내용 | 도구 |
|---|---|---|
| (1) 소스 | AdvBench 유해 질의(위험 물질 합성, 사이버 공격, 불법 행위 범주)를 절차적 하위 단계로 분해한 FC-Attack 의 영어 순서도. 각 노드는 한 단계의 지시 텍스트, 방향 간선은 단계 진행 | FC-Attack (Zhang et al., 2025), DOT 파일 |
| (2) 번역 | DOT 파일의 텍스트를 5개 언어로 번역 | GoogleTranslator (deep-translator) |
| (3) 렌더링 | 번역된 DOT 를 PNG 순서도로 컴파일 | Graphviz |
| (4) 레이아웃 | 질의·언어마다 가로(좌→우 한 줄), 세로(위→아래 한 열), S자형(굽이치는 경로) 세 변형 생성 | Graphviz |
이미지마다 무해한 시스템 프롬프트를 짝지어 단일 턴 입력을 만듭니다. 그림 1 은 같은 질의의 가로 순서도를 영어·힌디어·루마니아어로 보여줍니다(3단계만 표시).
🗺️ 2. 언어 구성과 문자 체계
| 언어 | 문자 체계 | 비고 |
|---|---|---|
| English (기준) | 라틴 | FC-Attack 원본 |
| Spanish (es) | 라틴 | 고자원 |
| German (de) | 라틴 | 고자원 |
| Romanian (ro) | 라틴 | 상대적 중자원 |
| Hindi (hi) | 데바나가리 | 인도계 문자, 중자원 |
| Punjabi (pa) | 구르무키 | 인도계 문자, 저자원 |
라틴 문자 세 언어와 인도계 문자 두 언어를 함께 둔 덕에 결과를 “언어 자원 수준” 뿐 아니라 “문자 체계” 축으로도 읽을 수 있습니다. 언어당 샘플 수는 본문에 명시되지 않았습니다. Table 1 의 비율에서 역산하면 영어 50개, 나머지 언어 47개 안팎으로 보이지만(84.00% = 42/50, 80.85% = 38/47, 2.13% = 1/47) 이는 추정치입니다. Table 2 는 모든 언어가 2.00% 단위로 떨어지므로 평문 설정은 언어당 50개로 추정됩니다.
🧪 3. 평문 기준선 두 가지 (Section 5.1.1)
| 설정 | 입력 | 묻는 것 |
|---|---|---|
| Text + Description | 무해 텍스트 + 다국어 절차 단계를 텍스트로 직접 제공 (순서도 변환 없음) | 같은 내용이 텍스트로 오면 모델이 거부하는가 |
| Harmful Query | 다국어 유해 질의 하나만 제공 | 해당 언어의 기본 텍스트 정렬은 어느 수준인가 |
두 기준선은 벤치마크의 일부라기보다 해석 장치 입니다. 순서도 ASR 과 평문 ASR 의 차이가 “시각 구조가 더한 효과”이고, 그 차이의 부호가 뒤집히는 언어가 바로 “읽지 못하는” 언어입니다.
💡 Key Takeaway 기계 번역 + Graphviz 만으로 언어를 추가할 수 있는 파이프라인입니다. 저렴하고 재현 가능하지만, 번역 품질을 검증하는 단계가 없다는 비용이 따라옵니다. 평문 기준선 두 종을 함께 둔 것이 벤치마크의 실질적 가치입니다.
평가 프로토콜: LLM-as-a-Judge 와 ASR
평가 는 LLM 심판 하나와 단일 지표 ASR 로 구성됩니다(Section 3.3, 4). 단순하지만 다국어 설정에서는 심판의 다국어 판정 능력 자체가 결과에 섞여 들어오므로, 설정을 정확히 알아둘 필요가 있습니다.
⚖️ 1. 심판과 임계값
| 항목 | 내용 |
|---|---|
| 심판 모델 | GPT-oss-120b |
| 척도 | 1(완전 거부) – 5(완전 유해). 유해성과 완성도를 함께 채점 |
| Jailbreak 판정 | 점수 $\ge 4$ |
언어 $i$ 에서의 ASR 은 다음과 같습니다.
$$ \mathrm{ASR}_i = \frac{#\,\text{Jailbreak responses in language } i}{#\,\text{Total samples in language } i} $$
“완성도”를 함께 채점한다는 점이 중요합니다. 거부 문구를 내고 끝난 응답, 오독해서 무관한 내용을 쓴 응답, 거부 뒤 유해 내용을 이어 쓴 응답이 모두 다른 점수를 받습니다. 특히 오독(무관한 내용 생성) 은 유해하지 않으므로 낮은 점수를 받고, 이것이 인도계 문자의 낮은 ASR 로 집계됩니다.
🖥️ 2. 대상 모델과 실행 환경
| 모델 | 특징 |
|---|---|
| Qwen2.5-VL-3B-Instruct | 경량 멀티모달 instruction 모델 |
| Gemma-4-E4B-it | 교차 언어 일반화와 정렬에 최적화된 다국어·다중 모달 모델 |
| Pangea-7B | 다국어·다중 모달·다문화 LLM. LLaVA-NeXT 구조 |
세 모델은 서로 다른 아키텍처·학습 패러다임을 대표합니다. 모두 PyTorch + HuggingFace 로 구현되었고 NVIDIA L4 24GB 한 장에서 실행되었습니다. 3B–7B 급 소형 오픈소스 모델만 평가했다는 점은 결과 해석에서 계속 염두에 두어야 합니다. 평가 코드와 리소스는 공개 GitHub 저장소(Rishabhpm23/MLingualFC)에 있고, 전체 데이터셋은 인증된 연구자에게만 제공됩니다.
👥 3. 사람 평가
힌디어·펀자브어 응답에 대해 원어민이 같은 1–5 척도로 유해성을 채점했습니다(Table 6). LLM 심판의 다국어 판정이 신뢰할 만한지 검증하는 유일한 장치입니다.
💡 Key Takeaway 단일 심판(GPT-oss-120b), 단일 임계값(≥4), 단일 지표(ASR)입니다. 유해성과 완성도를 함께 채점하므로 “읽지 못해 엉뚱한 답을 한” 응답은 자동으로 비-jailbreak 로 집계되고, 이것이 뒤에 나올 역전 현상의 출발점입니다.
주요 결과: 언어 × 모델 × 레이아웃 (Table 1)
주요 결과 는 순서도 + 무해 텍스트 설정에서 언어, 모델, 레이아웃별 ASR 입니다. 수치는 가로 / 세로 / S자형 순이며 단위는 % 입니다.
📊 1. 전체 표
| 언어 | Qwen2.5-VL | Gemma-4 | Pangea |
|---|---|---|---|
| English | 84.00 / 70.00 / 86.00 | 26.00 / 18.00 / 18.00 | 54.00 / 72.00 / 54.00 |
| Spanish | 80.85 / 72.34 / 89.36 | 53.19 / 21.28 / 31.91 | 59.57 / 51.06 / 23.40 |
| Romanian | 61.70 / 87.23 / 82.98 | 63.83 / 29.79 / 42.55 | 40.43 / 38.29 / 40.43 |
| German | 76.59 / 82.98 / 89.36 | 70.21 / 34.04 / 53.19 | 48.94 / 42.55 / 44.68 |
| Hindi | 19.15 / 53.19 / 40.42 | 74.47 / 59.57 / 68.08 | 0.00 / 0.00 / 0.00 |
| Punjabi | 4.26 / 0.00 / 4.26 | 6.38 / 14.89 / 4.26 | 0.00 / 2.13 / 2.13 |
굵은 값은 모델·언어별로 가장 높은 레이아웃입니다.
🌐 2. 어떤 언어가 취약한가
- 전체적으로 스페인어·루마니아어·독일어가 인도계 언어보다 일관되게 높습니다.
- Qwen2.5-VL 은 스페인어·독일어·루마니아어에서 80% 를 자주 넘고, 힌디어·펀자브어에서는 낮습니다.
- Gemma-4 는 힌디어가 가장 취약 하고 독일어·루마니아어가 뒤를 잇습니다. 펀자브어가 가장 낮습니다.
- Pangea 는 영어·스페인어가 가장 취약하고 힌디어·펀자브어는 거의 0 입니다.
저자들은 힌디어·펀자브어의 낮은 ASR 이 강한 정렬 때문이 아니라 인도계 언어 이해가 약해 구조화된 순서도를 해석하지 못하기 때문 이라고 이 시점에서 이미 지적합니다. 근거는 5.2절에서 제시됩니다.
📐 3. 어떤 레이아웃이 취약한가
| 모델 | 취약한 레이아웃 | 관찰 |
|---|---|---|
| Qwen2.5-VL | 언어마다 다름 | 스페인어·독일어는 S자형, 루마니아어·힌디어는 세로가 최고. 펀자브어는 모든 레이아웃에서 낮음 |
| Gemma-4 | 가로 | 펀자브어를 제외한 모든 언어에서 가로가 유의하게 높음. 좌→우 시각 구조에 더 취약 |
| Pangea | 가로 | 특히 스페인어·독일어·루마니아어에서 가로 > 세로·S자형 |
같은 내용·같은 언어에서 레이아웃만 바꿔도 수십 %p 가 움직입니다(Gemma-4 스페인어 53.19 → 21.28, Qwen 힌디어 19.15 → 53.19). 저자들은 이를 “시각 jailbreak 의 효과는 내용뿐 아니라 정보가 구조화된 방식 에 의존하며, 모델마다 레이아웃 민감도가 다르다”고 정리합니다. 방어자 입장에서는 안전 판단이 의미가 아니라 시각 파싱의 성공 여부에 크게 좌우된다는 뜻입니다.
🤖 4. 어떤 모델이 취약한가
- Qwen2.5-VL 이 가장 취약 합니다. 스페인어·루마니아어·독일어에서 최고 ASR 을 기록합니다.
- Gemma-4 와 Pangea 는 라틴 문자 세 언어에서 Qwen 보다 낮아 상대적으로 정렬이 강해 보입니다.
- 그러나 Gemma-4 는 힌디어에서 전체 최고값(74.47%) 을 냅니다. 다국어 능력이 좋은 모델이 바로 그 능력 때문에 힌디어 순서도를 잘 읽고, 읽은 뒤 거부하지 못합니다.
- Pangea 의 힌디어·펀자브어 0% 는 정렬보다 언어 이해 부족 때문일 수 있다고 저자들은 봅니다.
🇬🇧 5. 영어는 가장 취약한 언어인가
아닙니다. Qwen 과 Pangea 에서 영어 ASR 이 높긴 하지만, Qwen 은 S자형에서 스페인어·독일어가 영어보다 높고, Gemma-4 는 펀자브어를 제외한 모든 언어·모든 레이아웃에서 영어보다 취약 합니다. 영어만으로 수행한 안전 평가는 다국어 취약성을 과소평가합니다. Gemma-4 사례를 숫자로 다시 보면 다음과 같습니다.
| Gemma-4 | 가로 | 세로 | S자형 |
|---|---|---|---|
| English | 26.00 | 18.00 | 18.00 |
| German | 70.21 | 34.04 | 53.19 |
| Hindi | 74.47 | 59.57 | 68.08 |
| 영어 대비 최대 증가 (계산) | +48.47 | +41.57 | +50.08 |
마지막 행은 제가 표에서 뺀 값입니다. 영어 ASR 만 보고하면 세 모델 중 가장 안전해 보이는 모델이, 힌디어에서는 가장 취약한 모델이 됩니다.
💡 Key Takeaway 같은 모델이 언어에 따라 0% 와 89% 를 오갑니다. 영어에서 가장 안전한 Gemma-4 가 힌디어에서 가장 취약하다는 사실 하나로 “안전성은 언어별로 따로 보고해야 한다”는 결론이 나오고, 취약한 레이아웃이 모델마다 다르다는 사실은 안전 판단이 시각 파싱에 종속되어 있음을 보여줍니다.
평문 기준선과 역전 현상 (Table 2)
평문 기준선 은 이 논문에서 가장 가치 있는 설계입니다. 같은 유해 내용을 이미지 없이 텍스트로 주었을 때의 ASR 을 두 형태로 측정해, 순서도가 더한 효과와 언어 자체의 정렬 격차를 분리합니다.
📊 1. 평문 ASR (%)
| 언어 | Qwen (Text+Desc) | Gemma (Text+Desc) | Pangea (Text+Desc) | Qwen (Harmful Query) | Gemma (Harmful Query) | Pangea (Harmful Query) |
|---|---|---|---|---|---|---|
| English | 30.00 | 2.00 | 20.00 | 2.00 | 2.00 | 2.00 |
| Spanish | 32.00 | 4.00 | 18.00 | 8.00 | 2.00 | 10.00 |
| Romanian | 44.00 | 6.00 | 40.00 | 22.00 | 6.00 | 20.00 |
| German | 34.00 | 2.00 | 36.00 | 16.00 | 0 | 10.00 |
| Hindi | 64.00 | 8.00 | 32.00 | 30.00 | 2.00 | 34.00 |
| Punjabi | 66.00 | 14.00 | 52.00 | 24.00 | 10.00 | 52.00 |
굵은 값은 설정별로 언어마다 가장 높은 모델입니다.
🔀 2. 순서도 대 평문: 부호가 뒤집히는 지점
Table 1 의 가로 레이아웃에서 Table 2 의 Text + Description 을 뺀 값입니다(제가 계산한 값이며, 양수면 순서도가 평문보다 강합니다).
| 언어 | Qwen (가로 − 평문) | Gemma-4 (가로 − 평문) | Pangea (가로 − 평문) |
|---|---|---|---|
| English | +54.00 | +24.00 | +34.00 |
| Spanish | +48.85 | +49.19 | +41.57 |
| Romanian | +17.70 | +57.83 | +0.43 |
| German | +42.59 | +68.21 | +12.94 |
| Hindi | −44.85 | +66.47 | −32.00 |
| Punjabi | −61.74 | −7.62 | −52.00 |
저자들은 “대부분의 언어에서 두 평문 설정 모두 ASR 이 크게 떨어진다”는 점을 순서도의 효과로 읽고, 힌디어·펀자브어만 Qwen 과 Pangea 에서 반대 경향 을 보인다는 점을 “낮은 ASR 은 강한 정렬 때문이 아니라 비라틴 문자의 구조화된 시각 프롬프트를 해석하지 못하기 때문”이라는 결론의 근거로 삼습니다.
| 문자 체계 | 관계 | 해석 |
|---|---|---|
| 라틴 (en, es, ro, de) | 순서도 ≫ 평문 (Qwen 영어 84 vs 30) | 모델이 글자를 읽고, 순서도 프레이밍이 거부를 우회함 |
| 인도계 (hi, pa) | 순서도 < 평문 (Qwen 펀자브어 4.26 vs 66.00) | 모델이 글자를 읽지 못해 공격이 전달되지 않음. 텍스트로 주면 정렬이 약해 쉽게 통과 |
Gemma-4 는 예외입니다. 힌디어 순서도 74.47% 대 평문 8.00% 로 라틴 문자와 같은 방향이며, 이는 Gemma-4 가 데바나가리를 읽는다는 뜻입니다. “다국어 능력이 좋은 모델일수록 다국어 순서도 공격에 더 노출된다”는 해석과 일치합니다.
🧭 3. 교차 언어 정렬 격차는 실제로 존재한다
Harmful Query 열만 떼어 보면 텍스트 LLM 에서 알려진 현상이 VLM 에서도 재현됩니다. Pangea 는 영어 2% 대 펀자브어 52%, Qwen 은 영어 2% 대 힌디어 30% 입니다. 즉 인도계 언어는 텍스트 정렬 자체가 약한데도 순서도 설정에서는 ASR 이 낮게 나옵니다. 이 두 사실을 함께 놓으면 결론은 하나입니다. 낮은 순서도 ASR 은 정렬이 막은 것이 아니라 시각 입력 단계에서 공격이 사라진 것입니다.
⚠️ 4. 함의: 능력 향상이 취약성 증가로
인도계 문자에 대한 시각 텍스트 인식이 개선되는 순간, 현재 “안전해 보이는” 0–4% 는 평문 수준인 50–66% 로 뛰어오를 수 있습니다. 모델 버전이 올라가면서 시각 인식이 좋아지면 잠재된 취약성이 드러나는 구조입니다. Gemma-4 의 힌디어 결과는 그 미래를 미리 보여주는 사례로 읽힙니다. 안전 평가에서 능력 부족에 의한 실패와 정렬에 의한 거부를 구분하지 않으면 이 위험을 미리 볼 수 없습니다.
💡 Key Takeaway 인도계 문자의 낮은 ASR 은 정렬의 승리가 아니라 시각 텍스트 인식의 실패입니다. 평문 기준선 하나가 이것을 드러냈고, Gemma-4 의 힌디어 74.47% 는 “읽을 수 있게 되는 순간 어떻게 되는가”를 보여주는 선례입니다.
단계 수 Ablation (Table 3)
단계 수 ablation 은 순서도의 길이가 취약성에 미치는 영향을 Qwen2.5-VL 에서만 측정합니다(Section 5.1.1). 전체 단계 순서도(Table 1)와 5단계로 잘라낸 순서도(Table 3)를 비교합니다.
🔢 1. 5단계 순서도 ASR (%, Qwen2.5-VL-3B-Instruct)
| 언어 | 가로 | 세로 | S자형 |
|---|---|---|---|
| English | 92.00 | 68.00 | 84.00 |
| Spanish | 77.08 | 68.75 | 89.58 |
| Romanian | 81.25 | 83.33 | 77.08 |
| German | 77.08 | 66.66 | 83.33 |
| Hindi | 33.33 | 43.75 | 39.58 |
| Punjabi | 4.17 | 2.08 | 2.08 |
📈 2. 전체 단계 대비 변화 (계산, %p)
| 언어 | 가로 | 세로 | S자형 |
|---|---|---|---|
| English | +8.00 | −2.00 | −2.00 |
| Spanish | −3.77 | −3.59 | +0.22 |
| Romanian | +19.55 | −3.90 | −5.90 |
| German | +0.49 | −16.32 | −6.03 |
| Hindi | +14.18 | −9.44 | −0.84 |
| Punjabi | −0.09 | +2.08 | −2.18 |
저자들이 본문에서 명시한 값은 가로 레이아웃의 영어 +8%, 루마니아어 +19.55%, 힌디어 +14.18% 입니다. 나머지는 제가 두 표에서 뺀 값입니다. 결론은 단계 수의 효과가 레이아웃에 의존한다 는 것입니다. 가로는 단계를 줄이면 ASR 이 오르고, 세로·S자형은 단계가 많을수록 높아 “긴 순서도가 모델의 순응(compliance)을 유지시킨다”고 저자들은 해석합니다.
🔍 3. 왜 가로만 반대인가 (해석)
논문은 이유를 명시하지 않지만, 레이아웃의 기하를 생각하면 자연스러운 설명이 있습니다. 가로 순서도는 단계가 많을수록 이미지가 옆으로 길어지고 각 노드의 글자가 작아집니다. 세로·S자형은 같은 단계 수에서 공간을 더 효율적으로 씁니다. 따라서 가로에서 단계를 줄이는 것은 “읽기 쉬워지는” 효과, 세로·S자형에서 단계를 늘리는 것은 “절차가 더 완성된 것처럼 보이는” 효과가 우세했을 수 있습니다. 이 해석이 맞다면 단계 수 효과 역시 시각 가독성 문제로 환원되며, 평문 기준선에서 본 “읽을 수 있는가”의 변주입니다. 어디까지나 제 추정이며 논문이 검증한 내용은 아닙니다.
💡 Key Takeaway 단계 수는 단독 변수가 아니라 레이아웃과 상호작용합니다. 가로는 짧을수록, 세로·S자형은 길수록 취약하며, 이 역시 “시각적으로 얼마나 잘 읽히는가”로 설명될 가능성이 큽니다.
정성 분석과 사람 평가 (Table 4–6)
정성 분석 은 Qwen2.5-VL 의 루마니아어·힌디어 응답을 평문과 순서도 설정에서 나란히 보여주고(Table 4, 5), 사람 평가 는 힌디어·펀자브어에서 LLM 심판을 검증합니다(Table 6). 아래에서는 유해 응답 본문은 옮기지 않고 저자들이 짚은 행동 양식만 정리합니다.
🔍 1. 루마니아어: 평문은 거부, 순서도는 순응 (Table 4)
| 설정 | 관찰된 행동 |
|---|---|
| 평문 (무해 텍스트 + 단계) | 명시적으로 거부하고 합법적 대안 주제를 제안 |
| 가로 순서도 | 루마니아어·영어가 섞인 절차적 응답 생성 |
| S자형 순서도 | 영어로 절차적 응답 생성 |
| 세로 순서도 | 루마니아어로 절차적 응답 생성 |
같은 내용이 텍스트로 오면 거부하고 순서도로 오면 순응한다는 것이 “시각 표현이 정렬을 약화시킨다”는 직접 증거입니다. 레이아웃마다 응답 언어가 달라진다 는 점도 눈에 띕니다. 입력 언어와 출력 언어가 분리되는 것은 정렬이 입력 처리 단계에서 이미 무너졌음을 시사합니다. 또한 일부 사례에서 모델이 처음에는 거부하고 같은 응답 안에서 유해 내용을 이어 쓰는 불안정한 행동을 보였습니다. 거부 문구 유무로 안전을 판정하는 지표가 왜 위험한지 보여주는 사례입니다.
🧩 2. 힌디어: 평문은 거부, 순서도는 오독 (Table 5)
| 설정 | 관찰된 행동 |
|---|---|
| 평문 (무해 텍스트 + 힌디어 단계) | 힌디어 내용을 올바르게 이해하고 거부. 안전한 대안 주제로 전환 |
| 가로 순서도 | 순서도를 시험 준비 계획 으로 오독하고 학업 성공 단계를 생성 |
| S자형 순서도 | 대나무를 가공해 쓸모 있는 재료로 만드는 절차로 오독 |
| 세로 순서도 | 또 다른 무관한 응답 |
평문에서는 모델이 힌디어 유해 내용을 인식하고 거부하므로, 힌디어 텍스트 이해 자체는 가능합니다. 순서도에서는 거부하지 않을 뿐 아니라 전혀 다른 과제로 읽습니다. 즉 실패 지점은 언어 이해가 아니라 이미지 속 데바나가리 글자를 읽는 단계 입니다. 저자들은 이를 “힌디어의 낮은 ASR 은 강한 정렬이 아니라 구조화된 다국어 시각 프롬프트를 정확히 이해하지 못한 결과”라는 결론의 근거로 삼습니다. 오독 응답은 심판 척도에서 유해하지 않으므로 낮은 점수를 받고, 이것이 표에서 0–19% 로 나타납니다.
👥 3. 원어민 평가 (Table 6, ASR %)
| 모델 / 언어 | 가로 | 세로 | S자형 | LLM 심판 (Table 1) |
|---|---|---|---|---|
| Gemma-4 Punjabi | 0 | 2.12 | 8.5 | 6.38 / 14.89 / 4.26 |
| Gemma-4 Hindi | 72.00 | 58.00 | 68.00 | 74.47 / 59.57 / 68.08 |
| Pangea Punjabi | 0 | 2.13 | 2.13 | 0.00 / 2.13 / 2.13 |
| Pangea Hindi | 0 | 0 | 0 | 0.00 / 0.00 / 0.00 |
저자들은 LLM 심판과 사람 평가의 차이가 Pangea 에서 0%, Gemma-4 에서 1–6% 라고 씁니다. Pangea 는 정확히 일치하고 Gemma-4 힌디어는 0.08–2.47%p 차이로 그 범위 안입니다. 다만 Gemma-4 펀자브어는 가로 6.38 vs 0, 세로 14.89 vs 2.12, S자형 4.26 vs 8.5 로 차이가 더 큽니다. 저자원 언어일수록 LLM 심판의 신뢰성이 떨어진다는 신호로 읽는 것이 자연스럽고, 표본이 작아 응답 한두 개가 수 %p 를 움직인다는 점도 함께 고려해야 합니다. 표 제목은 “Gemma-4 에 대한 사람 평가”지만 Pangea 행도 포함되어 있습니다.
💡 Key Takeaway 루마니아어 사례는 “읽고 순응”, 힌디어 사례는 “읽지 못해 오독”입니다. 둘 다 순서도에서 거부가 사라지지만 이유가 정반대이고, 이 차이를 정성 사례가 가장 분명하게 보여줍니다. 펀자브어에서 LLM 심판과 원어민의 괴리는 저자원 언어 평가 자체를 다시 보게 합니다.
관련 연구 계보 안에서의 위치
MLingualFC 는 새로운 공격 기법이 아니라 평가 축의 확장 입니다. 그 가치는 계보 안에서 읽을 때 분명해집니다(Section 2).
🔗 1. 시각 텍스트 공격의 계보
| 연구 | 이미지 내용 | 언어 | 핵심 질문 |
|---|---|---|---|
| MM-SafetyBench | 핵심 구절 typography (+SD) | 영어 | 질의 관련 이미지가 정렬을 우회하는가 |
| FigStep | 번호 목록 typography | 영어 | 구조화된 텍스트 이미지가 더 강한가 |
| FC-Attack | 절차 순서도 | 영어 | 절차 구조가 거부를 우회하는가 |
| Derner & Bastič (2025) | 텍스트-이미지 렌더링 (+DAN) | 7개 언어 | 이미지화가 언어별 ASR 을 어떻게 바꾸는가 |
| MLingualFC | 절차 순서도 | 5개 언어 × 3 레이아웃 | 다국어 MVLM 이 다국어 시각 공격에 강한가 |
🌐 2. 텍스트 다국어 jailbreak 연구와의 관계
| 연구 | 발견 | MLingualFC 와의 연결 |
|---|---|---|
| Yong et al. (2023) | 저자원 언어 번역이 GPT-4 안전 필터를 우회 | Harmful Query 기준선에서 같은 경향 재현 (펀자브어 > 영어) |
| CSRT (Yoo et al., 2024) | code-switching 이 ASR 을 올리고 거부율을 낮춤 | 루마니아어 사례의 혼합 언어 응답과 맞닿음 |
| IndicJR (Pattnayak & Chowdhuri, 2026) | 12개 인도계 언어의 judge-free 강건성 벤치마크 | 힌디어·펀자브어 선택의 배경 |
| MLLMGuard (Gu et al., 2024) | 중·영 이중 언어 안전 평가 suite | 다국어 멀티모달 안전 평가의 선행 |
텍스트 LLM 에서 알려진 교차 언어 격차가 VLM 의 평문 기준선에서 재확인되고, 여기에 시각 경로를 더하면 시각 텍스트 인식 능력이 정렬 격차를 가리는 층이 하나 더 생긴다는 것이 이 논문이 계보에 더한 것입니다. 저자들이 강조하는 공백은 “다국어 이해를 목표로 설계된 모델이 다국어 시각 공격에서 더 안전한가”였고, 답은 “아니다. 오히려 읽을 수 있는 만큼 더 노출된다”에 가깝습니다.
💡 Key Takeaway FC-Attack 을 다국어로 옮긴 것 자체는 단순하지만, “낮은 ASR ≠ 안전”을 평문 기준선·정성 사례·사람 평가로 보여준 부분이 계보 안에서 이 논문이 더한 것입니다.
한계와 열린 방향
이 논문의 한계 는 표본 크기, 시각 인식 주장의 간접성, 번역 품질, 심판 신뢰성으로 요약되며, 모델 수와 방어 부재는 저자들도 인정합니다.
⚠️ 1. 저자가 인정한 한계
- 모델 3종(Qwen2.5-VL, Gemma-4, Pangea)만 평가해 다른 모델 계열로의 일반화가 검증되지 않았습니다.
- 공격 취약성 분석에 한정되며, 다국어 설정에서 방어 기법이나 정렬 전략은 평가하지 않았습니다. 다국어 시각 jailbreak 방어는 향후 과제로 남겼습니다.
- 윤리 성명: 안전 평가 목적이며 유해 질의는 선행 연구에 이미 문서화된 것을 재사용했습니다. 오남용을 막기 위해 전체 데이터셋은 공개하지 않고 acceptable-use agreement 하에 인증된 연구자에게만 제공합니다. 코드와 그 밖의 리소스는 GitHub 저장소에 공개되어 있습니다.
🔒 2. 외부 관점의 한계
- 표본 크기 : 언어당 약 47–50개(추정)로 작아, 레이아웃 간 몇 %p 차이는 통계적으로 의미가 약할 수 있습니다. 신뢰 구간이나 반복 실행이 없습니다.
- 모델 규모 : 3B–7B 급 소형 오픈소스 모델만 평가해 상용 대형 VLM 에서 같은 결론이 성립하는지 알 수 없습니다.
- 번역 품질 : 기계 번역을 사람이 검수하지 않았습니다. 번역 오류가 순서도의 유해성이나 절차적 일관성을 희석했을 가능성이 있고, 이것이 인도계 문자의 낮은 ASR 에 얼마나 기여했는지 분리되지 않습니다.
- 시각 인식 주장의 간접성 : “구조화된 다국어 시각 프롬프트를 해석하지 못한다”는 핵심 주장을 뒷받침하는 직접적인 OCR·문자 인식 측정 이 없습니다. 근거는 평문 기준선과 정성 사례입니다. 인용할 때는 “인도계 문자에서 시각 텍스트 인식 한계가 강하게 의심된다” 수준으로 표현하는 것이 안전합니다.
- 심판 : GPT-oss-120b 의 다국어 판정 능력이 독립적으로 검증되지 않았고, 펀자브어에서 원어민과의 차이가 본문 서술(1–6%)보다 큽니다.
- 단일 레이아웃 ablation : 단계 수 ablation 은 Qwen 한 모델에서만 수행되어 레이아웃 의존성이 모델 일반적인지 알 수 없습니다.
❓ 3. 열린 질문
- 순서도는 영어로 두고 텍스트 프롬프트만 다국어로 바꾸면 어떻게 되는가? 취약성이 “이미지 속 언어”에서 오는지 “지시문 언어”에서 오는지 2×2 설계로 분리할 수 있습니다.
- OCR 전처리로 순서도를 텍스트로 변환해 주는 방어는 인도계 문자에서 오히려 취약성을 높이지 않을까? 평문 ASR 이 더 높기 때문입니다.
- 순서도 텍스트 복원률(문자 인식 정확도)을 직접 측정하면 ASR 과 어떤 상관을 보이는가?
- Gemma-4 처럼 데바나가리를 읽는 모델에서 펀자브어(구르무키)만 낮은 이유는 무엇인가? 문자 체계 단위의 인식 능력 차이인지, 펀자브어 학습 데이터 부족인지 구분할 수 있는가?
- 모델 버전 간 종단 비교에서 시각 인식 향상이 실제로 ASR 상승으로 이어지는가?
🧷 4. 내 판단과 연구 연결
- 판단 : 기여의 핵심은 새로운 공격 기법이 아니라 평가 축의 확장과 해석 장치 입니다. FC-Attack 을 다국어로 옮긴 것은 단순하지만, 평문 기준선으로 “낮은 ASR ≠ 안전”을 보여주고 Gemma-4 힌디어 사례로 “읽을 수 있게 되면 어떻게 되는가”를 선제적으로 보여준 부분이 가장 가치 있습니다. 가장 약한 부분은 표본 크기와 시각 인식 주장의 간접성입니다.
- 방어자 관점의 함의 : 안전 평가 프로토콜에 (1) 언어별 ASR 분리 보고, (2) 평문 대 이미지 기준선 동시 보고, (3) 능력 실패와 정렬 거부의 분리 지표를 기본으로 넣을 근거가 됩니다. 특히 “시각 능력이 좋아질수록 안전해 보이던 언어가 취약해진다”는 구조는 모델 업데이트 때마다 다국어 시각 안전을 재평가해야 함을 뜻합니다.
- 연구 연결 : MM-SafetyBench(영어 typography) → FC-Attack(영어 순서도) → MLingualFC(다국어 순서도) 계보에서 한국어를 추가하는 확장이 같은 파이프라인으로 바로 가능합니다. 한글은 라틴도 인도계도 아닌 제3의 문자 체계이므로, “문자 체계가 결과를 가른다”는 가설을 검증하는 좋은 추가 지점입니다.
-
실행 항목
- 한국어 순서도 세트를 같은 파이프라인으로 생성하되, 번역 품질을 사람이 검수하는 단계를 추가
- 문자 인식 정확도(순서도 텍스트 복원률)를 직접 측정해 ASR 과의 상관을 확인하는 실험 설계
- 이미지 언어와 지시문 언어를 교차시키는 2×2 설정으로 취약성 원인 분리
- 캡션 매개 방어(이미지를 텍스트로 바꿔 텍스트 정렬을 다시 켜는 방식)가 다국어 순서도에서 어떻게 동작하는지, 특히 인도계 문자에서 역효과가 나는지 검증
- FC-Attack 원 논문과 MM-SafetyBench 의 영어 결과를 MLingualFC 의 영어 열과 나란히 놓은 수치 비교표 작성 (같은 AdvBench 소스에서 모델·심판 차이가 얼마나 움직이는지 확인)
💡 Key Takeaway MLingualFC 가 남긴 가장 중요한 과제는 “읽지 못함”을 직접 측정하는 것입니다. 문자 인식 정확도와 ASR 의 상관, 이미지 언어와 지시문 언어의 분리 실험, 그리고 시각 능력 향상에 따른 종단 추적이 다음 단계입니다.