You know maize mean?
Benchmarking Arabic Dialects for Math Problems
0. Summary
- 기본 정보 : ArXiv,2026.10.20, Benchmarking Arabic Dialects for Math Problems
- 연구 배경 : LLM의 수학적 추론 평가는 영어 중심이고, 아랍어는 대부분 현대 표준 아랍어(Modern Standard Arabic, MSA)로만 다뤄져 왔다. 그러나 아랍권 교실에서는 교과서는 MSA로 쓰이지만 실제 수업 설명은 방언(Dialectal Arabic, DA)으로 이루어지는 양층언어(diglossia) 상황이 일반적이다. 또한 기존 다국어 벤치마크(MGSM 등)는 영어 문제를 직역하기 때문에, 미국식 이름·지명·달러 단위가 그대로 남아 아랍 문화권 사용자에게는 낯선 텍스트가 된다. 이 논문은 “언어 변종(variety)”과 “문화적 엔티티 정렬(localization)”을 서로 직교하는 두 축으로 분리해, 수학 추론 성능이 각 축에 어떻게 반응하는지, 그리고 모델 내부 계산이 실제로 달라지는지를 묻는다.
- 제안 방법 : MGSM-Rev2의 250개 초등 수학 서술형 문제(Math Word Problem, MWP)를 MSA와 5개 주요 방언(이집트 EGY, 에미리트 UAE, 요르단 JOR, 모로코 MOR, 사우디 KSA)으로 전문 번역가가 수동 번역한 뒤, 이름·지명·통화·숫자 표기 네 가지 엔티티를 지역별 등가물로 치환하는 반자동 지역화 단계를 거쳐 번역본(Translated, T)과 지역화본(Localized, L)이라는 평행 벤치마크 DAR-MGSM(Dialectal Arabic Multilingual Grade School Math)을 구축했다. 아랍어 특화 모델과 다국어 모델 11개를 평가하고, Gemma 4 계열 3개 모델에 대해 잔차 스트림(residual stream) 궤적의 RMS 거리, 샘플링 대조 실험, 엔티티 스팬 활성 패칭(activation patching)으로 지역화가 내부 계산을 어떻게 바꾸는지 분석했다.
- 발견 사실 : 11개 모델 평균 정확도는 번역본 65.5%에서 지역화본 63.4%로 떨어졌고, 소형 아랍어 특화 모델(Atlas-Chat, Nile-Chat)에서는 하락이 통계적으로 유의했다. 반면 GPT-5.4, Gemma4-26B 같은 대형 모델은 집계 정확도가 거의 변하지 않았지만, 어떤 문제를 맞히는지는 달라졌다. Gemma 4 세 모델에서 지역화 가능한 3,582쌍 중 316쌍(8.8%)이 한쪽에서만 정답인 불일치(discordant) 쌍이었고, 이런 쌍의 잔차 스트림 궤적 거리(평균 RMS 약 1.50)는 양쪽 모두 정답인 쌍(약 0.29)의 다섯 배가 넘었다. 지역화에 의한 궤적 이동은 18개 모델–방언 조합 중 17개에서 시드 간 샘플링 변동을 넘어섰으며, 엔티티 스팬 활성 패칭은 최적 레이어에서 54.7%의 정답 복원율과 0.31의 원본 궤적 근접 이득을 보여 무관 스팬 대조군(35.7%, 0.22)을 앞섰다.
- 핵심 기여 :
- DAR-MGSM 벤치마크 : MSA와 5개 아랍 방언에 대해 번역본·지역화본을 모두 제공하는 최초의 수동 큐레이션 초등 수학 추론 벤치마크(변종당 250문제, 총 1,500문제 × 2버전)를 공개했다.
- 번역과 지역화의 분리 평가 : 같은 문제 구조를 유지한 채 엔티티 유형(이름·통화·지명·숫자)별로 지역화 효과를 통제 실험하여, 문화적 지역화가 직역이 감추는 모델 취약성을 드러냄을 11개 모델에서 체계적으로 보였다.
- 기계론적 해석 분석 : 집계 정확도가 아닌 쌍별 불일치율, 잔차 스트림 RMS 궤적 거리, 샘플링 대조, 양방향 활성 패칭과 네 가지 대조군을 결합해, 지역화가 표면 어휘만이 아니라 모델의 내부 추론 경로를 바꾸며 엔티티 스팬 표현이 그 변화에 인과적으로 관여함을 보였다.
Abstract 쉬운 설명(Gemini)
전공 지식이 없어도 한눈에 이해하실 수 있도록, 일상적인 비유를 들어 아주 쉽게 풀어서 설명해 드릴게요!
📌 한 줄 요약
“AI에게 똑같은 수학 문제를 내더라도, 문제 속 인물 이름이나 화폐 단위만 그 나라 문화에 맞게 바꾸면 AI가 갑자기 헷갈려 하며 더 많이 틀린다”는 사실을 밝혀낸 연구입니다.
💡 왜 이런 연구를 했을까요? (배경)
우리가 쓰는 챗GPT 같은 AI는 영어로 된 수학 문제는 아주 잘 풉니다. 하지만 전 세계 사람들이 모두 영어만 쓰지는 않죠. 특히 아랍권에서는 공식적인 ‘표준 아랍어’ 외에도 이집트, 모로코, 사우디 등 지역마다 쓰는 ‘사투리(방언)’와 문화가 완전히 다릅니다.
연구진은 이런 궁금증이 생겼습니다.
“AI가 아랍어 사투리로 된 수학 문제도 잘 풀까? 그리고 미국식 배경으로 된 문제를 아랍 현지 상황에 맞게 바꾸면 어떻게 될까?”
🧪 어떻게 실험했나요? (2가지 버전 비교)
연구진은 똑같은 수학 문제를 두고 두 가지 버전의 시험지를 만들어서 11개의 AI에게 풀게 했습니다. 한국 상황으로 비유해 볼게요.
| 구분 | 버전 1: 단순 번역 시험지 | 버전 2: 문화 현지화 시험지 |
|---|---|---|
| 특징 | 영어 단어만 그 지역 말(사투리)로 그대로 번역한 문제 | 사람 이름, 장소, 돈 단위를 실제 그 지역 문화로 바꾼 문제 |
| 쉬운 예시 | “존(John)이 월마트에서 베이글 3개를 6달러에 샀습니다…” | “철수가 전통시장에서 호떡 3개를 6,000원에 샀습니다…” |
| 수학적 원리 | $6 \div 3 = 2$ (완전히 동일) | $6,000 \div 3 = 2,000$ (완전히 동일) |
사람이 보기에는 이름과 화폐만 바뀌었을 뿐 수학적으로는 똑같은 난이도의 문제입니다.
📉 실험 결과, 무엇을 발견했나요?
AI들에게 두 시험지를 풀게 했더니 아주 흥미로운 결과가 나왔습니다.
| 핵심 발견 | 비전공자를 위한 쉬운 설명 |
|---|---|
| 1. 현지화 시험지에서 성적 하락 | AI들은 ‘존과 달러’가 나오는 단순 번역 시험지는 꽤 잘 풀었지만, 현지 이름과 현지 화폐가 나오는 시험지에서는 오답을 훨씬 많이 냈습니다. |
| 2. AI의 ‘진짜 실력’ 탄로 | 기존에는 영어 문제를 단순히 번역만 해서 AI를 테스트했는데, 그렇게 하면 AI의 진짜 실력이 부풀려진다는 것을 알게 되었습니다. 실제 현지인들이 쓰는 단어와 문화가 들어가면 AI가 맥락을 놓치기 때문입니다. |
| 3. AI 머릿속 생각 경로의 변화 | 연구진이 AI의 머릿속(뇌파 같은 내부 신호)을 들여다봤더니, 똑같은 수학 문제인데도 단어가 현지화되면 AI가 문제를 푸는 ‘생각의 길(회로)’ 자체가 아예 달라진다는 것을 발견했습니다. |
🎯 이 연구가 왜 중요할까요?
AI가 진정한 의미로 전 세계 사람들을 돕기 위해서는 단순히 ‘언어(말)’만 번역할 줄 아는 것을 넘어, 그 지역의 ‘문화와 생활 맥락’까지 이해해야 한다는 점을 꼬집은 연구입니다.
즉, 앞으로 AI를 만들고 평가할 때는 각 나라의 사투리와 실제 문화적 배경까지 반영해서 꼼꼼하게 테스트해야 한다는 중요한 기준을 제시한 셈입니다.
DAR-MGSM 벤치마크 구축 및 검증 방법
연구진이 구축한 DAR-MGSM 벤치마크 데이터셋은 기계적으로 대충 번역한 것이 아니라, 데이터의 오류와 편향을 없애기 위해 다단계의 수작업 검증 및 품질 관리(Quality Control) 파이프라인을 거쳤습니다.
비전공자분도 이해하기 쉽도록, 연구진이 실험 데이터를 어떻게 검증하고 다듬었는지 단계별로 정리해 드립니다.
🔍 실험 데이터 구축 및 검증 4단계 파이프라인
연구진은 원본 영어 문제(MGSM/GSM8K 기반)를 아랍어 방언 및 현지화 데이터로 변환하면서 다음 4단계를 거쳤습니다.
| 단계 | 검증 항목 | 수행 내용 및 방법 |
|---|---|---|
| 1단계: 모국어 화자 전문 번역가 투입 | 자연스러운 방언 구사 | 각 대상 지역(이집트, 레반트, 걸프, 마그레브 등) 출신의 원어민(Native Speaker) 언어학자 및 번역가를 직접 고용하여 번역 및 현지화 작업을 수작업으로 진행. |
| 2단계: 수학적 논리 보존 검증 | 정답 및 계산 일치 여부 | 인명, 통화 단위(달러 $\rightarrow$ 디나르/리얄), 고유명사를 바꿀 때 수학적 계산식과 최종 숫자 정답이 원본과 정확히 일치하는지를 검증 (단위 환산 과정에서 숫자가 어긋나지 않도록 통제). |
| 3단계: 교차 교정 (Cross-Validation) | 작업자 편향 제거 | 번역자 A가 작업한 문제를 동일 방언의 제3자 원어민 검수자 B가 독립적으로 재검토. 문화적 치환이 억지스럽지 않은지, 방언 표현이 어색하지 않은지 이중 블라인드 체크. |
| 4단계: 모델 간 공정성 검증 (Pilot Test) | 평가 템플릿 표준화 | 프롬프트 서식(지시문, 문제 제시 방식) 차이로 인한 점수 왜곡을 방지하기 위해 표준화된 프롬프트 템플릿을 설정하고 사전 테스트 진행. |
💡 핵심 검증 포인트 3가지
비전공자의 관점에서 연구진이 특히 신경 쓴 검증 포인트는 크게 세 가지입니다.
-
“수학 문제 자체가 바뀌면 안 된다” (변인 통제)
- 문제를 현지화하면서 숫자가 바뀌거나 계산 단계가 추가되면, AI가 ‘문화’ 때문에 틀린 건지 ‘문제가 더 복잡해져서’ 틀린 건지 알 수 없게 됩니다.
- 따라서 연구진은 수학적 연산 구조와 난이도는 100% 동일하게 유지하도록 철저히 검증했습니다.
-
“기계 번역 특유의 어색한 번역투 배제”
- 구글 번역기 등으로 돌린 어색한 아랍어가 아니라, 실제 현지인들이 일상에서 말하는 진짜 방언 구어체(Dialectal authenticity)가 자연스럽게 반영되었는지 원어민이 문장 하나하나를 다듬었습니다.
-
“문화적 대표성 검증”
- 단순히 이름만 바꾸는 수준을 넘어, 현지에서 실제로 흔히 쓰는 식재료, 장소, 화폐, 전통 품목 등이 상식적이고 자연스럽게 녹아들었는지 현지 문화 관점에서 적절성을 교차 검증했습니다.
관련 개념
아랍어 양층언어와 방언 수학 평가의 공백
이 논문의 출발점은 언어학적 사실 하나입니다. 아랍어는 양층언어(diglossia) 상황에 있습니다(Ferguson, 1959). 공식 문서·교과서·뉴스는 현대 표준 아랍어(MSA)로 쓰이지만, 일상 대화와 실제 교실 수업은 지역 방언(Dialectal Arabic, DA)으로 이루어집니다. 저자들은 Amin and Badreddine (2020)이 과학 수업에서, Amara (1996)가 수학 수업에서 방언이 개념 설명에 광범위하게 쓰인다고 기록했음을 인용합니다.
📚 1. 기존 수학 추론 벤치마크의 아랍어 처리
| 벤치마크 | 성격 | 아랍어 처리 |
|---|---|---|
| GSM8K (Cobbe et al., 2021) | 약 8,500개 영어 초등 MWP | 영어 전용 |
| MGSM (Shi et al., 2023) | GSM8K 일부를 10개 언어로 번역 | 지역화 없이 직역, MSA만 |
| MGSM-Rev2 (Peter et al., 2026) | MGSM 수정판, 250문제 | MSA만 |
| MGSM8KInstruct (Chen et al., 2024) | MGSM 기반 다국어 지시 데이터 | MSA만 |
| BenchMAX, MathMist | 다국어 평가 스위트 | MSA를 여러 언어 중 하나로 포함 |
| AGSM8K, Qudurat, ArabicMWPs (Alenezi and Salman, 2026) | 대규모 아랍어 수학 데이터 | 기계 번역 + 수동 검토, MSA |
| ArMATH (Alghamdi et al., 2022) | 수동 작성 MSA MWP | MSA |
| DialectalArabicMMLU (Altakrori et al., 2026) | 방언 평가 | 객관식 QA, 수학 서술형 아님 |
저자들이 아는 한, 아랍 방언 전반에 걸쳐 초등 수학 추론을 평가하는 벤치마크는 없었습니다. 따라서 방언 변이가 LLM의 수학 추론에 미치는 영향 자체가 미탐구 영역이었습니다.
🌍 2. “직역”의 문제
MGSM은 교차 언어 비교를 쉽게 하기 위해 의도적으로 지역화 없이 번역했습니다. 그 결과 영어 원문의 미국 중심 엔티티가 그대로 남습니다. 논문의 Figure 1 예시를 보면 다음과 같습니다.
| 버전 | 이름 | 장소 | 통화 |
|---|---|---|---|
| 영어 원문 | Lloyd | Toulouse | dollar |
| MSA 직역 | Lloyd(음역) | Toulouse | dollar |
| 이집트 방언 지역화 | Metwally | Cairo | Egyptian pounds |
뉴욕이 배경인 문제에 달러가 나오는 것과 이집트가 배경인 문제에 달러가 나오는 것은 다릅니다. 저자들은 이런 선택이 문제가 “얼마나 자연스럽게 해석되고 처리되는지”에 영향을 준다고 봅니다. Farsi et al. (2025), Zhou et al. (2025) 등 문화 인식 NLP 연구도 직역이 사회문화적 차이를 가리고 언어적 자연스러움을 떨어뜨린다고 지적해 왔습니다.
🧭 3. 다국어 추론의 영어 편향
Saji et al. (2026)은 모델이 영어로 추론할 때 다른 언어로 직접 추론할 때보다 최종 정답 정확도가 높다는 것을 보였습니다. 이는 학습·최적화 파이프라인에서 영어가 지배적이기 때문입니다. 이 논문은 그 관찰을 한 단계 더 밀어, 같은 언어 안에서도 문화적 엔티티가 바뀌면 추론이 달라지는가를 묻습니다.
💡 Key Takeaway 아랍어는 교과서(MSA)와 교실(방언)의 언어가 다른 양층언어이고, 기존 벤치마크는 MSA 직역만 다뤄 왔습니다. 이 논문은 방언 축과 문화 엔티티 축을 분리한 첫 수학 추론 벤치마크를 만들어 그 공백을 메우려 합니다.
번역 대 지역화: 두 개의 직교 축
이 논문의 설계 핵심은 벤치마크 변형을 만드는 두 차원을 직교(orthogonal) 하게 분리한 것입니다.
🔀 1. 두 차원의 정의
| 차원 | 무엇을 바꾸는가 | 무엇을 유지하는가 |
|---|---|---|
| 언어적 번역(linguistic translation) | 문제의 언어(영어 → MSA / 5개 방언) | 엔티티(이름·장소·통화)는 원문 그대로 |
| 문화적 엔티티 정렬 / 지역화(localization) | 이름·장소·통화·숫자 표기를 지역 등가물로 치환 | 문제의 언어와 수학적 구조 |
번역본(T)과 지역화본(L)은 같은 수학 문제를 공유하므로, 두 버전의 정확도 차이는 오직 엔티티 치환 효과로 귀속됩니다. 이것이 “통제된 연구(controlled study)”를 가능하게 하는 장치입니다.
🧩 2. 지역화 대상 엔티티 네 종류
| 엔티티 유형 | 예시 (영어 → 방언별) |
|---|---|
| 이름(name) | Lloyd → Musa(MSA), Metwally(EGY), Walid(JOR), Abdul Rahim(KSA), Ibrahim(MOR), Mumin(UAE) |
| 장소(location) | Toulouse → Toulouse(MSA), Cairo(EGY), Irbid(JOR), Riyadh(KSA), Marrakech(MOR), Al-Ain(UAE) |
| 통화(currency) | dollar → dollar(MSA), pound(EGY), dinar(JOR), riyal(KSA), dirham(MOR), dirham(UAE) |
| 숫자(numerals) | 252, 5 → 아랍-인도 숫자 체계(٢٥٢, ٥)로 표기, 모로코는 서양 아라비아 숫자 유지 |
Table 2에 따르면 MSA 지역화본은 장소를 Toulouse로, 통화를 dollar로 유지하고 이름만 Musa로 바꿉니다. 부록 D는 이 점을 활용해, MSA의 “장소만 치환”과 “통화만 치환” 조건이 번역본과 동일한 텍스트이므로 세 조건 간 차이는 순수한 실행 간 변동(run-to-run variation)이라고 설명합니다.
📐 3. 왜 이 분리가 중요한가
한 쪽 축만 바꾸면 효과를 분리할 수 없습니다. 기존 벤치마크들은 번역만 했거나(MGSM, AGSM8K) 아예 새로 작성했기 때문에(ArMATH), “같은 문제가 문화적으로 재배치되었을 때” 모델이 어떻게 반응하는지를 측정할 수 없었습니다. DAR-MGSM은 1,500개 번역 문제 각각에 지역화 쌍이 존재하는 평행 코퍼스 구조라서, 쌍별(paired) 분석과 활성 패칭 같은 대조 실험이 가능해집니다.
💡 Key Takeaway 번역은 언어를, 지역화는 엔티티를 바꿉니다. 둘을 직교 축으로 분리해 평행 쌍을 만들었기 때문에, 정확도 차이와 내부 표현 차이를 엔티티 치환 효과로 깨끗하게 귀속시킬 수 있습니다.
DAR-MGSM 구축: 수동 번역과 품질 관리
데이터셋은 MGSM-Rev2의 250개 영어 MWP를 출발점으로 합니다. 저자들은 자동 번역을 명시적으로 금지하고 전문 번역가를 고용했습니다.
👥 1. 번역 조직
변종(MSA + 5개 방언)마다 전담 번역자(Translate, T), 검토자(Review, R), 검증자(Validate, V) 세 역할을 두었습니다. 부록 A의 Table 5에 따르면 18명의 주석자(A1–A18)가 참여했고, 모두 아랍어 원어민으로 자신의 모국 방언이나 거주국 방언을 담당했으며, 시급 15달러를 받았습니다. 배경은 언어학(L), 언어 주석자(LA), 전산언어학자(CL), 컴퓨터과학(CS)으로 구성됩니다.
📋 2. 번역 지침의 핵심
| 지침 | 내용 |
|---|---|
| 엔티티 보존 | 장소·이름·통화는 원문 그대로 유지, 지역화 금지 (지역화는 별도 단계) |
| 자연스러움 | 방언 번역은 MSA와의 중복을 최소화하고 자연스럽게 |
| 차용어 | 방언에서 실제로 쓰는 형태 사용 (예: email은 음역형 إيميل) |
| 철자 변이 | 의미가 유지되는 범위의 방언 철자 변이 허용, 단 한 방언 안에서는 일관되게 |
| 숫자 형식 | 원문이 숫자면 숫자, 단어면 단어로; 아랍-인도 숫자와 서양 아라비아 숫자 모두 허용 |
| 자동 번역 | 과학 연구용 데이터이므로 엄격히 금지 |
부록 B의 철자 지침은 Habash et al. (2018)을 따라, Ta Marbuta/Ha, Alif Maqsura/Ya, 함자 형태, 어원적 변이(ق/أ, ت/ث 등), 접어 분리·병합, 장단모음 표기 같은 변이를 “허용 가능한 방언 변이”로 규정합니다. 반면 함자 유무로 의미가 바뀌는 경우(سأل “물었다” vs سال “흘렀다”)는 철자 오류로 처리합니다.
🔍 3. 품질 관리 수정률 (Table 6)
외부 업체 번역을 받은 뒤 원어민이 사내 검토를 했고, 대폭 수정 또는 재번역이 필요했던 문제 수는 다음과 같습니다.
| 변종 | 수정 / 전체 | 비율 |
|---|---|---|
| MSA | 124/250 | 49.6% |
| 이집트(EGY) | 41/250 | 16.4% |
| 요르단(JOR) | 77/250 | 30.8% |
| 모로코(MOR) | 90/250 | 36.0% |
| 에미리트(UAE) | 70/250 | 28.0% |
| 사우디(KSA) | 10/250 | 4.0% |
수정의 주된 원인은 “double”, 비율 관계 같은 수학적 관계를 표현하는 영어 표현의 오해석이었습니다. 저자들은 이 수치가 최종 벤치마크의 잔존 오류율이 아니라 구축 과정의 수정 횟수임을 강조합니다. 최종 번역 데이터셋은 변종당 250문제, 총 1,500문제입니다.
💡 Key Takeaway 자동 번역을 금지하고 변종별 3인(번역·검토·검증) 체계로 수동 구축했으며, MSA조차 절반 가까운 문제가 사내 검토에서 수정될 만큼 수학 표현 번역은 까다로웠습니다.
반자동 지역화 파이프라인과 표면 변화량
지역화는 번역본 위에 얹는 반자동(semi-automated) 단계입니다. 핵심 아이디어는 엔티티를 먼저 플레이스홀더로 추상화한 뒤 방언별로 치환하는 것입니다.
🏗️ 1. 파이프라인 단계
-
플레이스홀더 삽입 : MSA 데이터셋에서 지역화 가능한 엔티티를
[person_m](남성 이름) 같은 플레이스홀더로 반자동 치환합니다. 번역문에 플레이스홀더를 고정(anchoring)하면 문제의 구조적·논리적 무결성이 유지됩니다. -
인덱싱 : 같은 범주 엔티티가 한 문제에 여럿 나오면
[person_m_1],[person_m_2]처럼 고유 인덱스를 붙여 구분합니다. - 방언으로 사영 : 구조적 휴리스틱으로 MSA의 플레이스홀더를 각 방언 번역문에 투영합니다.
- 지역별 치환 : 이름·장소는 지역 등가물로, 통화는 국가별 단위로, 숫자·퍼센트 기호는 아랍-인도 숫자 체계로 바꿉니다(모로코 제외).
- 최종 인간 검증 : 이름 범주에서 전체 방언 합산 47건의 잘못된 치환이 있었고(전체 치환의 1% 미만), 주로 스크립트가 이름이 한 번만 등장한다고 가정해 두 번 이상 나오는 경우 실패한 것이었습니다.
250문제 중 51문제는 지역화할 엔티티가 없었습니다(숫자 표기 차이만 존재). 부록 C의 Table 7에 따르면 문제당 평균 지역화 횟수는 영어 기준 5.79, MSA 5.30, EGY 5.32, JOR 5.64, KSA 5.55, MOR 5.59, UAE 5.40입니다.
📏 2. 지역화가 만드는 표면 차이 (Table 8)
| 스킴 | N | 문자 차이 | 단어 차이 | 문자 편집 수 | 단어 편집 수 |
|---|---|---|---|---|---|
| 전체(All) | 1,194 | 10.8% | 18.0% | 19.1 | 6.2 |
| 이름(Names) | 1,190 | 6.3% | 7.2% | 10.9 | 2.4 |
| 통화(Currency) | 522 | 5.7% | 11.4% | 10.6 | 4.2 |
| 장소(Location) | 173 | 2.2% | 1.5% | 4.4 | 0.5 |
| 숫자(Numerals) | 1,329 | 3.4% | 9.3% | 5.9 | 3.1 |
전체 지역화를 적용해도 문자 수준 차이는 약 11%, 단어 수준 차이는 18%에 그칩니다. 저자들은 이를 “광범위한 재작성이 아니라 작고 표적화된 편집”이라고 요약합니다. 이 수치는 뒤에서 중요한 의미를 갖습니다. 표면 텍스트의 10~18%만 바뀌었는데도 내부 궤적과 정답이 바뀐다면, 그 효과는 단순한 텍스트 길이나 분포 변화로는 설명되지 않습니다.
💡 Key Takeaway 플레이스홀더 추상화 → 인덱싱 → 방언 사영 → 지역 치환 → 인간 검증의 반자동 파이프라인으로 지역화본을 만들었고, 표면 변화는 문자 기준 약 11%로 작고 표적화되어 있습니다.
실험 설정: 11개 모델, 프롬프트, 디코딩
🧪 1. 평가 모델 (Table 9)
| # | 모델 | 식별자 | 접근 | 성격 |
|---|---|---|---|---|
| 1 | Atlas-Chat-2B | MBZUAI-Paris/Atlas-Chat-2B | 로컬 | 모로코 방언 특화 |
| 2 | Nile-Chat-4B | MBZUAI-Paris/Nile-Chat-4B | 로컬 | 이집트 방언 특화 |
| 3 | Atlas-Chat-9B | MBZUAI-Paris/Atlas-Chat-9B | 로컬 | 모로코 방언 특화 |
| 4 | c4ai-r7b | CohereLabs/c4ai-command-r7b-arabic-02-2025 | 로컬 | 아랍어 특화 |
| 5 | Jais2-8B-Chat | inception42/Jais-2-8B-Chat | 로컬 | 아랍어 특화 |
| 6 | Qwen2.5-7B | Qwen/Qwen2.5-7B-Instruct | 로컬 | 다국어 |
| 7 | Gemma4-2B | google/gemma-4-E2B-it | 로컬 | 다국어 (E2B, 유효 2B) |
| 8 | Gemma4-4B | google/gemma-4-E4B-it | 로컬 | 다국어 (E4B, 유효 4B) |
| 9 | Gemma4-26B | google/gemma-4-26B-A4B-it | 로컬 | 다국어 MoE, 활성 4B |
| 10 | Qwen-3.6 | qwen/qwen3.6-plus | OpenRouter | 다국어 플래그십 |
| 11 | GPT-5.4 | openai/gpt-5.4 | OpenRouter | 다국어 플래그십 |
⚙️ 2. 프롬프트와 디코딩
- 기본 지시문: “Solve the provided math problem. End with ‘The answer is: [number]’.” 이 지시를 시스템 메시지로, 문제를 사용자 메시지로 각 모델의 채팅 템플릿에 맞춰 넣습니다(시스템 역할이 없으면 사용자 메시지 앞에 붙임). 최대 1,024 토큰 생성.
- Gemma 4 모델은 해석 분석 파이프라인을 공유하므로 설정이 다릅니다. 시스템 프롬프트 “You are a helpful assistant.”, 최대 512 토큰, “Final answer: [number]”로 끝내라는 지시.
- 추론(thinking) 모드는 GPT-5.4, Qwen-3.6, Gemma 4 모두 비활성화. 로컬 모델과 Qwen-3.6은 탐욕 디코딩(온도 0). GPT-5.4는 OpenRouter가 온도를 전달하지 않아 제공자 기본 샘플링 사용.
- 각 모델은 변종·조건당 1회 실행이며, 반복 실행 평균은 내지 않았습니다. 토큰 한도에 도달한 응답은 생성된 그대로 채점.
- 정답 추출: 숫자를 추출해 참조 정답과 비교하고 천 단위 구분자를 제거해 정규화합니다. 모로코 방언은 천 단위 구분자로 마침표를, 다른 방언은 쉼표를 씁니다.
- 하드웨어: 아랍어 특화 모델과 Qwen2.5-7B는 A100 40GB 한 장에서 bf16 무양자화, Gemma 4는 V100 32GB 한 장. API 비용은 총 약 100달러.
🎲 3. 실행 간 변동의 추정
MSA에서 “장소만 치환”과 “통화만 치환” 조건은 번역본과 텍스트가 동일하므로, 세 조건 간 차이는 순수 실행 변동입니다. 11개 모델 중 7개는 세 조건에서 완전히 같은 답을 냈고, 나머지 4개의 정확도 변동은 최대 0.8포인트(Qwen-3.6은 2.8포인트), 전체 모델 평균은 0.2포인트에 그쳤습니다. 이 수치가 뒤의 지역화 효과(평균 2.1포인트 하락)를 해석하는 기준선이 됩니다.
💡 Key Takeaway 아랍어 특화 5개와 다국어 6개, 총 11개 모델을 추론 모드 없이 탐욕 디코딩으로 평가했으며, 동일 텍스트 조건으로 측정한 실행 변동은 평균 0.2포인트로 지역화 효과보다 훨씬 작습니다.
벤치마크 결과: 지역화가 드러내는 취약성
저자들의 한 줄 결론은 “문화적 지역화는 직역이 감추는 모델의 취약성을 드러낸다”입니다.
📊 1. 전체 결과 (Table 3, 정확도 %)
T = 번역본, L = 지역화본입니다.
| 모델 | MSA T | MSA L | EGY T | EGY L | JOR T | JOR L | KSA T | KSA L | MOR T | MOR L | UAE T | UAE L | 평균 T | 평균 L |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Atlas-Chat-2B | 28.8 | 23.6 | 22.8 | 13.2 | 24.8 | 20.8 | 21.6 | 18.4 | 24.4 | 23.6 | 28.0 | 20.0 | 25.1 | 19.9 |
| Nile-Chat-4B | 38.0 | 28.4 | 35.2 | 32.4 | 36.8 | 31.2 | 35.2 | 24.4 | 15.2 | 14.8 | 36.4 | 36.0 | 32.8 | 27.9 |
| Atlas-Chat-9B | 66.0 | 61.6 | 55.2 | 52.0 | 61.6 | 58.4 | 56.4 | 55.2 | 58.4 | 60.0 | 62.4 | 61.2 | 60.0 | 58.1 |
| c4ai-r7b | 72.4 | 69.2 | 67.2 | 62.4 | 68.0 | 65.6 | 62.8 | 57.2 | 54.4 | 55.2 | 71.6 | 72.8 | 66.1 | 63.7 |
| Jais2-8B-Chat | 68.8 | 68.8 | 66.4 | 53.2 | 70.8 | 65.6 | 62.0 | 54.8 | 56.4 | 54.4 | 70.0 | 67.2 | 65.7 | 60.7 |
| Qwen2.5-7B | 75.6 | 69.6 | 69.6 | 63.6 | 72.0 | 72.0 | 62.0 | 65.2 | 38.8 | 38.4 | 76.8 | 74.0 | 65.8 | 63.8 |
| Gemma4-2B | 73.6 | 71.6 | 66.8 | 69.2 | 67.6 | 66.8 | 63.2 | 61.6 | 50.4 | 45.2 | 73.2 | 74.0 | 65.8 | 64.7 |
| Gemma4-4B | 84.4 | 81.2 | 80.0 | 79.6 | 82.8 | 84.0 | 75.2 | 73.2 | 66.4 | 66.8 | 85.6 | 83.2 | 79.1 | 78.0 |
| Gemma4-26B | 85.6 | 86.0 | 88.0 | 87.6 | 90.8 | 90.4 | 78.4 | 80.0 | 80.4 | 79.6 | 91.6 | 90.0 | 85.8 | 85.6 |
| Qwen-3.6 | 86.4 | 84.8 | 87.2 | 87.6 | 91.2 | 90.4 | 78.0 | 76.8 | 79.2 | 80.0 | 91.2 | 90.0 | 85.5 | 84.9 |
| GPT-5.4 | 90.0 | 89.2 | 89.2 | 90.0 | 93.2 | 94.8 | 85.6 | 86.4 | 84.4 | 84.8 | 92.0 | 93.2 | 89.1 | 89.7 |
| 평균 | 70.0 | 66.7 | 66.1 | 62.8 | 69.1 | 67.3 | 61.9 | 59.4 | 55.3 | 54.8 | 70.8 | 69.2 | 65.5 | 63.4 |
원 논문은 T와 L 중 높은 쪽을 굵게, McNemar 검정에서 $p < 0.05$ 로 유의한 차이를 밑줄로 표시하지만, 본문 텍스트에서는 유의 표시가 어느 셀인지 복원할 수 없어 여기서는 생략합니다. 본문 설명에 따르면 Nile-Chat, Atlas-Chat 같은 소형 아랍어 특화 모델의 T–L 차이는 유의했고, 대형 플래그십 모델의 차이는 유의하지 않았습니다.
🔍 2. 네 가지 읽기
(a) 모델 크기에 따라 하락 폭이 다릅니다. Atlas-Chat-2B는 평균 25.1 → 19.9(−5.2), Nile-Chat-4B는 32.8 → 27.9(−4.9), Jais2-8B-Chat은 65.7 → 60.7(−5.0)으로 크게 떨어지지만, Gemma4-26B(85.8 → 85.6), Qwen-3.6(85.5 → 84.9)은 거의 변화가 없고 GPT-5.4는 오히려 89.1 → 89.7로 소폭 올랐습니다. 모델이 커질수록 성능이 좋아지고 지역화 민감도는 줄어듭니다.
(b) 모든 변종에서 평균이 떨어졌습니다. 변종별 평균 하락은 MSA −3.3, EGY −3.3, JOR −1.8, KSA −2.5, MOR −0.5, UAE −1.6입니다. MSA와 이집트 방언에서 하락이 가장 큽니다.
(c) 모로코 방언이 가장 어렵습니다. 번역본·지역화본 모두에서 모로코 평균(55.3 / 54.8)이 가장 낮고, 특히 Qwen2.5-7B(38.8)와 Nile-Chat-4B(15.2)가 급락합니다. 모로코 방언은 MSA와 어휘·문법 거리가 멀고, 다른 방언과 달리 서양 아라비아 숫자와 마침표 천 단위 구분자를 쓴다는 점이 영향을 줄 수 있습니다. 흥미롭게도 모로코 특화 Atlas-Chat-9B는 모로코에서 지역화 후 오히려 58.4 → 60.0으로 올랐습니다.
(d) 유의하지 않음이 불변을 뜻하지는 않습니다. 저자들은 대형 모델의 T–L 차이가 유의하지 않더라도, 조사해 보면 같은 문제를 틀리는 것이 아니었다고 강조합니다. 이것이 다음 절의 해석 분석으로 이어지는 동기입니다.
🧮 3. 엔티티 유형별 효과 (Table 10, Table 11)
Table 10은 250문제 전체에서 11개 모델 평균을, Table 11은 각 스킴이 적용되는 문제 부분집합에서만 계산한 평균을 보여줍니다.
| 변종 | T | L (전체) | 이름만 | 통화만 | 장소만 | 숫자만 |
|---|---|---|---|---|---|---|
| MSA | 70.0 | 66.7 | 67.5 | 69.9 | 70.1 | 69.2 |
| EGY | 66.1 | 62.8 | 66.9 | 63.6 | 66.0 | 65.5 |
| JOR | 69.1 | 67.3 | 68.7 | 68.5 | 69.1 | 68.1 |
| KSA | 61.9 | 59.4 | 62.0 | 61.0 | 61.4 | 60.6 |
| MOR | 55.3 | 54.8 | 54.4 | 54.2 | 54.9 | 55.5 |
| UAE | 70.8 | 69.2 | 69.7 | 69.1 | 70.9 | 69.1 |
개별 엔티티 하나만 바꾸면 전체 지역화보다 변화가 작습니다. 저자들은 Mary → Fatema, 달러 → 디르함 같은 치환 유형에 따라 성능이 달라진다고 보고하며, 이것이 “지역화가 모델의 정답 능력에 영향을 줄 수 있다”는 증거라고 해석합니다. Table 11(적용 가능한 문제만)에서는 장소 치환 셀이 MSA 75.8, EGY 78.8, UAE 84.8처럼 높게 나오는데, 이는 장소 엔티티가 있는 문제 부분집합(173개 수준)이 상대적으로 쉬운 문제였을 가능성을 시사하며 스킴 간 직접 비교에는 주의가 필요합니다.
💡 Key Takeaway 11개 모델 평균은 지역화로 65.5%에서 63.4%로 떨어지고, 소형 아랍어 특화 모델은 유의하게 하락합니다. 대형 모델은 집계 정확도가 유지되지만, 그것이 “같은 문제를 맞힌다”는 뜻은 아닙니다.
집계 정확도가 가리는 것: 쌍별 불일치
여기서부터가 이 논문의 해석가능성 분석입니다. 저자들은 Gemma 4 계열 3개 모델(2B, 4B, 26B)에 대해 번역본 프롬프트(baseline)와 지역화본 프롬프트를 쌍으로 비교합니다. 분석 대상을 Gemma 4로 한정한 이유는 계산 가능성(tractability)입니다.
🔢 1. 네 가지 정답 그룹
각 문제 쌍은 다음 네 그룹 중 하나에 속합니다.
| 그룹 | 번역본 | 지역화본 |
|---|---|---|
| 둘 다 정답(both correct) | ✓ | ✓ |
| 둘 다 오답(neither correct) | ✗ | ✗ |
| 번역본만 정답(baseline only) | ✓ | ✗ |
| 지역화본만 정답(localized only) | ✗ | ✓ |
뒤의 두 그룹을 불일치(discordant) 쌍이라고 부릅니다. 집계 정확도는 불일치 쌍의 두 방향이 서로 상쇄되면 변하지 않지만, 불일치율은 그 이동을 그대로 드러냅니다.
📊 2. 모델별 불일치율 (Table 4, 전체 지역화)
| 모델 | N | 불일치 수 | 불일치율 | 평균 정확도 변화 |
|---|---|---|---|---|
| Gemma4-2B | 1,194 | 154 | 12.9% | −1.7 pp |
| Gemma4-4B | 1,194 | 95 | 8.0% | −1.8 pp |
| Gemma4-26B | 1,194 | 67 | 5.6% | −0.3 pp |
N = 1,194는 지역화 가능한 199문제 × 6변종입니다(지역화 엔티티가 없는 51문제는 제외). 불일치율은 모델 규모에 따라 12.9% → 8.0% → 5.6%로 감소하지만, 가장 큰 26B 모델에서도 20쌍 중 1쌍 이상은 정답 여부가 뒤집힙니다. 정확도 변화 −0.3pp만 보면 “불변”처럼 보이는 Gemma4-26B가 실제로는 67개 문제에서 다르게 행동합니다.
🧩 3. 스킴별 불일치 (Table 13, Gemma 4 세 모델 × 6변종 합산)
| 스킴 | N | 불일치 수 | 불일치율 | 평균 정확도 변화 | 지역화본만 정답 / 번역본만 정답 |
|---|---|---|---|---|---|
| 전체(All) | 3,582 | 316 | 8.8% | −1.2 pp | 136 / 180 |
| 이름(Names) | 3,570 | 311 | 8.7% | −0.2 pp | 152 / 159 |
| 통화(Currency) | 1,566 | 153 | 9.8% | −3.0 pp | 53 / 100 |
| 장소(Location) | 519 | 29 | 5.6% | +0.2 pp | 15 / 14 |
| 숫자(Numerals) | 3,987 | 217 | 5.4% | +0.3 pp | 114 / 103 |
| 합계 | 13,224 | 1,026 | 7.8% | −0.6 pp | 470 / 556 |
마지막 열이 핵심입니다. 이름 치환은 평균 정확도 변화가 −0.2pp에 불과하지만 불일치율은 8.7%로, 152쌍은 지역화본에서만 맞히고 159쌍은 번역본에서만 맞힙니다. 즉 두 방향이 거의 정확히 상쇄되어 집계 수치가 “변화 없음”으로 보이는 것입니다. 통화 치환은 불일치율도 가장 높고(9.8%) 방향도 비대칭(53 vs 100)이라 정확도 하락(−3.0pp)으로 드러납니다. 숫자 체계 치환은 불일치율이 가장 낮습니다(5.4%).
저자들의 결론은 명확합니다. “집계 정확도만으로는 효과가 가려진다. 지역화는 개별 예시를 정답 집합과 오답 집합 사이에서 이동시킨다.”
💡 Key Takeaway Gemma4-26B는 평균 정확도가 0.3pp만 변했지만 5.6%의 문제에서 정답 여부가 뒤집혔습니다. 이름 치환은 양방향 뒤집힘이 거의 정확히 상쇄되어 집계 수치에서는 보이지 않습니다.
잔차 스트림 궤적 거리와 정답 뒤집힘
저자들의 가설은 “지역화가 답을 바꾼다면 모델의 내부 잔차 스트림 궤적도 바뀔 것”입니다. 이 절은 그 상관 증거를 다룹니다.
🧮 1. 잔차 스트림 궤적과 RMS 거리
기계론적 해석가능성에서 트랜스포머의 잔차 스트림은 어텐션 헤드와 MLP가 공통 부분공간을 읽고 쓰는 공유 작업 공간으로 취급됩니다(Elhage et al., 2021). 레이어를 따라 잔차 스트림 벡터가 변해 가는 경로를 궤적(trajectory) 으로 보고, 두 프롬프트의 궤적 $R^a, R^b$ 사이 거리를 레이어 집합 $L$ 에 대한 RMS로 정의합니다.
$$ d(R^a, R^b) = \sqrt{ \frac{1}{|L|} \sum_{k \in L} | R^a_k - R^b_k |_2^2 } $$
RMS 거리를 모델·방언·지역화 스킴·레이어·정답 그룹별로 계산해, 정답이 바뀔 때 궤적이 갈라지는지를 봅니다. Figure 4와 5의 y축은 “정규화된 평균 RMS 거리”이고, 점선은 무관한 문제 쌍의 평균 거리(unrelated-problem mean)를 기준선으로 표시합니다.
📊 2. 정답 그룹별 평균 RMS 거리 (Table 12, 세 모델 × 6변종 × 스킴 합산)
| 정답 그룹 | N | 평균 RMS |
|---|---|---|
| 번역본만 정답 | 556 | 1.50 |
| 지역화본만 정답 | 470 | 1.50 |
| 둘 다 오답 | 2,722 | 1.22 |
| 둘 다 정답 | 9,476 | 0.29 |
둘 다 정답인 쌍의 궤적 거리(0.29)에 비해 정답이 뒤집힌 쌍의 거리(1.50)는 약 5배 큽니다. 둘 다 틀린 쌍(1.22)은 그 중간인데, 이는 틀린 답끼리도 서로 다른 경로로 틀릴 수 있기 때문으로 해석할 수 있습니다. 뒤집힘의 방향(번역본만 정답 vs 지역화본만 정답)은 거리에 차이를 만들지 않습니다.
🔍 3. 해석
이 결과는 “지역화가 답을 바꿀 때 모델을 다른 잔차 스트림 궤적 위로 옮긴다”는 가설을 지지합니다. 표면 텍스트는 10~18%만 바뀌었는데(Table 8), 정답이 뒤집힌 경우 내부 궤적은 둘 다 정답인 경우보다 다섯 배 멀리 이동합니다. Figure 4는 방언 × 모델 18개 패널 모두에서 같은 패턴이 반복됨을 보여주며, 스킴별(All/Names/Currency/Location/Numerals) 막대도 같은 순서를 유지합니다.
다만 이것은 상관입니다. 궤적이 달라서 답이 바뀐 것인지, 답이 바뀌는 과정에서 궤적이 달라진 것인지, 혹은 둘 다 제3의 요인(예: 샘플링 잡음) 때문인지는 이 분석만으로 알 수 없습니다. 다음 두 절이 그 대안 설명을 하나씩 제거합니다.
💡 Key Takeaway 정답이 뒤집힌 쌍의 잔차 스트림 궤적 거리(RMS 1.50)는 둘 다 정답인 쌍(0.29)의 약 5배입니다. 지역화가 답을 바꿀 때 내부 추론 경로도 함께 바뀝니다.
샘플링 강건성: 지역화 효과인가, 확률적 디코딩인가
궤적 차이가 지역화 때문이 아니라 그냥 디코딩의 확률적 변동일 수 있다는 반론을 검증하는 실험입니다.
🎲 1. 설계
번역본 조건에서 3개 시드로, 지역화본 조건에서 3개 시드로 각각 생성하고 두 종류의 RMS 거리를 비교합니다.
- 시드 간 거리(seed-to-seed) : 같은 번역본 프롬프트에서 시드만 다른 두 실행의 궤적 거리. 순수 샘플링 변동의 크기.
- 번역본–지역화본 거리(translated-to-localized) : 쌍을 이루는 두 조건의 궤적 거리.
두 거리의 비율(Loc./S. RMS)이 1보다 크면 지역화가 샘플링보다 궤적을 더 많이 움직인 것입니다. 각 모델–방언 셀은 최대 50개 문제를 사용합니다. 정답 뒤집힘율도 같은 방식으로 비교합니다(샘플링 flip vs 지역화 flip).
📊 2. 결과 (Table 14, 전체 지역화)
| 모델 | 방언 | Loc./S. RMS 비율 | 샘플링 flip | 지역화 flip |
|---|---|---|---|---|
| Gemma4-2B | MSA | 1.004 | 16.0% | 12.0% |
| Gemma4-2B | EGY | 1.025 | 12.0% | 13.3% |
| Gemma4-2B | JOR | 1.214 | 4.0% | 14.7% |
| Gemma4-2B | KSA | 1.024 | 9.3% | 11.3% |
| Gemma4-2B | MOR | 1.111 | 13.3% | 18.7% |
| Gemma4-2B | UAE | 1.043 | 9.3% | 12.0% |
| Gemma4-4B | MSA | 0.965 | 4.0% | 6.7% |
| Gemma4-4B | EGY | 1.140 | 4.0% | 8.0% |
| Gemma4-4B | JOR | 1.091 | 4.0% | 6.0% |
| Gemma4-4B | KSA | 1.083 | 16.0% | 12.0% |
| Gemma4-4B | MOR | 1.158 | 8.0% | 8.0% |
| Gemma4-4B | UAE | 1.153 | 5.3% | 4.7% |
| Gemma4-26B | MSA | 1.197 | 2.7% | 3.3% |
| Gemma4-26B | EGY | 1.259 | 5.3% | 6.0% |
| Gemma4-26B | JOR | 1.073 | 6.7% | 4.0% |
| Gemma4-26B | KSA | 1.221 | 9.3% | 11.3% |
| Gemma4-26B | MOR | 1.182 | 4.0% | 4.7% |
| Gemma4-26B | UAE | 1.449 | 1.3% | 5.3% |
🔍 3. 읽기
- RMS 비율 : 18개 셀 중 17개에서 1을 넘습니다. 유일한 예외는 Gemma4-4B/MSA(0.965)이고, Gemma4-2B/MSA(1.004)는 사실상 동률입니다. 비율이 가장 큰 모델은 Gemma4-26B(1.07–1.45)이고, Gemma4-2B는 1.004–1.214로 이동이 작습니다. 즉 큰 모델일수록 지역화에 의한 궤적 이동이 샘플링 잡음 대비 더 뚜렷합니다. 이는 큰 모델의 궤적이 시드에 대해 더 안정적이어서 분모가 작아지기 때문일 수 있습니다.
- 뒤집힘율 : 지역화 flip이 샘플링 flip을 넘는 셀이 13개, 같은 셀 1개(Gemma4-4B/MOR, 8.0% = 8.0%), 낮은 셀 4개입니다. Gemma4-2B/JOR(4.0% vs 14.7%)과 Gemma4-26B/UAE(1.3% vs 5.3%)에서 차이가 두드러집니다.
저자들의 결론은 신중합니다. “지역화 효과는 확률적 디코딩만으로 설명되지 않지만, 이 결과가 독립적으로 인과 기제를 확립하지는 않는다.” 크기는 모델과 방언에 따라 다릅니다.
💡 Key Takeaway 지역화에 의한 궤적 이동은 18개 셀 중 17개에서 시드 간 샘플링 변동보다 크고, 특히 Gemma4-26B에서 비율이 1.07–1.45로 가장 뚜렷합니다. 효과는 디코딩 잡음이 아닙니다.
활성 패칭: 엔티티 스팬 표현의 인과적 역할
상관과 샘플링 대조만으로는 부족하므로, 저자들은 활성 패칭(activation patching) 으로 지역화된 엔티티 토큰의 표현이 정답 뒤집힘을 인과적으로 유발하는지 검증합니다. 이 부분이 이 논문의 기계론적 핵심입니다.
🧮 1. 절차 (Appendix G)
불일치 쌍마다 양방향으로 패칭합니다. 번역본 → 지역화본, 지역화본 → 번역본. 원본(source) $x^{\rm src}$ 는 표현을 가져오는 조건, 대상(target) $x^{\rm tgt}$ 는 순전파가 수정되는 조건입니다. 레이어 $\ell$ 마다 대상 프롬프트를 실행하면서 선택된 토큰 위치의 잔차 스트림 벡터를 원본의 대응 벡터로 교체합니다.
$$ h^{\rm tgt}{\ell, p_i} \leftarrow h^{\rm src}{\ell, q_i} $$
여기서 $p_i$ 는 대상 토큰 위치, $q_i$ 는 정렬된 원본 토큰 위치입니다. 패칭된 실행에서 디코딩한 뒤, 답이 정답이 되었는지, 원본 답과 일치하는지, 궤적이 원본 쪽으로 움직였는지를 평가합니다.
스팬 식별 : 고정된 이름 목록을 쓰지 않고, 두 문제 문자열을 비교해 일치하지 않는 연속 스팬을 등장 순서대로 추출한 뒤 순서대로 짝짓습니다. 이름·장소·통화가 여럿 바뀐 예시도 수동 판단 없이 처리됩니다.
다중 토큰 스팬 : 하나의 엔티티가 여러 서브워드 토큰으로 쪼개질 수 있으므로 스팬을 토큰 시퀀스로 패칭합니다. 원본 위치 $(q_1, \dots, q_m)$, 대상 위치 $(p_1, \dots, p_n)$ 에서 $m = n$ 이면 일대일 교체, 길이가 다르면 $\min(m, n)$ 개의 접두 토큰만 패칭합니다. 토큰 수는 기록해 감사할 수 있게 했습니다.
레이어 스윕 : 초기 레이어부터 후기 레이어까지 각 잔차 스트림 레이어에서 패칭을 반복해 레이어별 인과 프로파일을 얻습니다. 엔티티 표현이 추론 상태에 통합된 후에야 중요하다면, 그 레이어에서 효과가 더 강해야 합니다.
📐 2. 두 가지 지표
행동 지표 : 패칭 후 정답 여부.
$$ \mathrm{Correct}^{\rm patch}\ell = \mathbb{1}{ \mathrm{answer}(x^{\rm tgt}{ {\rm patched}, \ell}) = y } $$
기하 지표 : 패칭된 대상 궤적이 원본 궤적에 가까워졌는지. 깨끗한 대상–원본 거리 $d(R^{\rm tgt}, R^{\rm src})$ 를 기준으로 원본 거리 비율과 원본 근접 이득(source-closeness gain) 을 정의합니다.
$$ \mathrm{SourceRatio}\ell = \frac{ d(R^{\rm patch}\ell, R^{\rm src}) }{ d(R^{\rm tgt}, R^{\rm src}) }, \qquad \mathrm{Gain}\ell = 1 - \mathrm{SourceRatio}\ell $$
이득이 양수면 패칭된 실행이 깨끗한 대상보다 원본 궤적에 가까워진 것이고, 0 근처면 움직이지 않은 것, 음수면 멀어진 것입니다. 보고 수치는 레이어 스윕 중 최적 레이어(best-layer) 값입니다.
🧪 3. 대조군 설계
| 방법 | 내용 | 검증하는 것 |
|---|---|---|
source_patch |
짝이 맞는 원본 조건의 엔티티 스팬을 대상에 패칭 | 주 인과 개입 |
no_patch |
대상 조건을 수정 없이 실행 | 기준 행동·궤적 |
self_patch |
대상 자신의 같은 스팬 활성으로 패칭 | 패칭 조작 자체의 부작용 |
shuffled_source |
짝이 아닌 다른 문제의 원본 스팬을 패칭 | 특정 엔티티 표현이 필요한지, 아니면 원본 조건 활성이면 충분한지 |
control_span |
엔티티가 아닌 같은 길이의 무관 스팬을 패칭 | 효과가 엔티티 위치에 특이적인지 |
강한 인과 증거가 되려면 source_patch 가 self_patch, control_span, shuffled_source 모두를 넘어야 합니다. 그렇지 않으면 패칭 인공물, 임의 위치 덮어쓰기, 일반적인 원본 조건 활성으로 설명될 수 있습니다.
📊 4. 결과 (Figure 3, 불일치 예시)
| 방법 | 최적 레이어 정답률 | 최적 레이어 원본 근접 이득 |
|---|---|---|
source_patch |
54.7% | 0.31 |
shuffled_source |
52.3% | 0.31 |
control_span |
35.7% | 0.22 |
self_patch |
(Figure 3에만 표시) | (Figure 3에만 표시) |
인과적 역할의 증거 : 원본 패칭은 무관 스팬 대조군(35.7%, 0.22)을 분명히 앞서, 54.7%의 정답 복원율과 0.31의 궤적 근접 이득을 보였습니다. 엔티티 스팬 위치의 표현이 답과 궤적을 원본 조건 쪽으로 움직이는 데 인과적으로 관여한다는 뜻입니다.
그러나 엔티티 정체성(identity)에 특이적이지는 않습니다. 짝이 아닌 문제의 스팬을 넣는 shuffled_source 도 52.3%, 0.31로 거의 같은 성능을 냈습니다. 이 대조군은 “정확히 짝이 맞는 이름·장소·통화·숫자 표현”이 아니라 “엔티티 위치에 있는 원본 조건의 활성”을 넣는 것이므로, 복원이 특정 엔티티 표현의 전달만으로 일어나지 않는다는 뜻입니다. 저자들은 세 가지 가능성을 열어 둡니다.
- 작동하는 신호가 특정 엔티티 정체성을 부호화한다.
- 작동하는 신호가 일반적인 원본 조건 표현(예: “미국식 엔티티 문맥” vs “아랍식 엔티티 문맥”)이다.
- 작동하는 신호가 그 스팬에 연관된 더 넓은 잔차 상태 피처다.
짝 맞는 원본과 섞인 원본의 격차가 작아서(54.7 vs 52.3) 이 중 어느 것인지는 미해결입니다.
🔍 5. 해석의 수위
저자들은 결과를 이렇게 요약합니다. “이 기계론적 이동은 MWP를 문화적으로 적응시키는 것이 표면 어휘만 바꾸는 게 아니라 모델의 추론 경로를 근본적으로 바꾼다는 것을 보여준다.” 다만 바로 앞 문단에서는 “예시 특이적 의미 기제를 배타적으로 분리하지는 못한다”고 단서를 답니다. 즉 이 논문이 확립한 것은 (a) 엔티티 스팬 위치의 표현이 인과적으로 관여한다는 것이고, 확립하지 못한 것은 (b) 그 표현이 무엇을 부호화하는가입니다.
💡 Key Takeaway 엔티티 스팬 활성 패칭은 무관 스팬 패칭보다 정답 복원(54.7% vs 35.7%)과 궤적 복원(0.31 vs 0.22)에서 뚜렷이 앞서 인과적 관여를 보였지만, 짝이 아닌 원본 스팬도 비슷하게 작동해 신호가 특정 엔티티 정체성인지 일반 조건 표현인지는 열려 있습니다.
오류 분석
정량 분석을 보완하기 위해 저자들은 UAE와 JOR 방언의 오류를 수동으로 다섯 범주로 분류했습니다.
🗂️ 1. 오류 범주
| 범주 | 정의 |
|---|---|
| (a) 추론/설정 오류 | 처음부터 잘못 해석(예: 단위), 비율·백분율 관계나 “double” 같은 비교 표현 오해석 |
| (b) 최종 단계 오류 | 추론은 맞지만 마지막 계산이 틀림 |
| (c) 단계 누락 | 필요한 단계를 빠뜨림 |
| (d) 지역화 오류 | 지역화된 엔티티 처리에 실패 |
| (e) 번역 오류 | 번역 문제로 인한 오류 |
가장 빈번한 범주는 (a) 추론/설정 오류였습니다. 산술 오류도 관찰되었는데, Figure 6의 첫 예시(요르단 방언, 번역본)에서 모델은 175 + 140 + 280을 695로 계산했습니다(정답 595). 추론 과정은 완벽했고 덧셈만 틀린 전형적인 최종 단계 오류입니다. 두 번째 예시(요르단 지역화본, 디나르 단위)에서는 “두 구두 값이 부츠보다 5디나르 싸다”는 관계를 세워 놓고도 마지막에 $x = 33 + 66 = 99$ 로 5를 더하지 않아 104 대신 99를 냈습니다.
🔍 2. 주목할 관찰
- 일부 오답은 문제를 다르게 해석했지만 내부적으로 일관된 풀이였습니다. 저자들은 이런 오류가 추론 실패가 아니라 문제 서술의 모호성에서 비롯될 수 있다고 봅니다.
- UAE 데이터셋에서는 모델이 중국어로 추론한 탓에 틀린 사례가 있었습니다(부록 H의 Kylar 유리잔 문제, 정답 64에 대해 125 출력, 추론 오류로 분류). 다국어 모델이 아랍 방언 입력에 대해 추론 언어를 제3의 언어로 바꾸는 현상은 Saji et al. (2026)의 “추론 공용어” 논의와 연결됩니다.
- 저자들은 정답 추출 실패가 보고된 오류에 기여했는지도 수동 감사했으며, 범주별 분해는 부록 H에 있습니다.
💡 Key Takeaway 오류의 대부분은 비율·비교 표현 오해석 같은 추론/설정 오류이고, 산술 실수와 추론 언어 전환(중국어) 같은 사례도 관찰되었습니다. 지역화 엔티티 자체를 처리 못 한 오류는 별도 범주로 분류됩니다.
한계와 향후 과제
⚠️ 1. 저자가 밝힌 한계
- 범위 : 5개 방언과 MSA, 평가한 11개 모델에 한정됩니다.
- 지역화의 범위 : 이름·장소·통화·숫자 표기 네 가지만 다루며, 문화적 맥락의 다른 측면(관습, 단위, 상황 설정 등)은 포함하지 않습니다.
- 부분집합 비교 : 지역화는 해당 엔티티가 있는 문제에만 적용되므로, 스킴별 비교는 각 스킴이 적용되는 부분집합 위에서 이루어집니다(Table 11). 51문제는 지역화 엔티티가 없습니다.
- 인과 기제의 분리 : 활성 패칭은 엔티티 스팬 표현의 인과적 관여를 보였지만, 짝 맞는 원본과 섞인 원본의 격차가 작아 “무엇이 부호화되어 있는가”는 미해결입니다.
- 해석 분석의 모델 범위 : 잔차 스트림 분석은 계산 가능성 때문에 Gemma 4 세 모델에만 적용되었습니다. 다른 아키텍처(특히 하락이 컸던 소형 아랍어 특화 모델)에서 같은 기제가 작동하는지는 확인되지 않았습니다.
🔍 2. 외부 관점에서 덧붙일 점
- 각 모델은 조건당 1회 실행이고 GPT-5.4는 제공자 기본 샘플링을 썼습니다. 부록 D의 실행 변동 추정(평균 0.2포인트)이 있지만, 소형 모델에서 보고된 3~5포인트 하락 외의 작은 차이(예: Gemma4-26B의 −0.3pp)는 이 변동 범위와 비교해 읽어야 합니다.
- Table 11에서 장소 치환 셀이 유독 높은 것(UAE 84.8 등)은 장소 엔티티가 있는 문제 부분집합(N = 173 수준)이 더 쉬운 문제였을 가능성을 시사하며, 스킴 간 효과 크기를 직접 비교할 때 주의가 필요합니다.
- Table 3의 통계 유의 표시(밑줄)는 PDF 텍스트에서 복원되지 않아 이 리뷰에는 반영하지 못했습니다. 어느 셀이 유의한지는 원 논문 표를 확인해야 합니다.
- 활성 패칭의
self_patch대조군 수치는 본문에 숫자로 제시되지 않고 Figure 3에만 있습니다.
🧭 3. 저자들의 향후 계획
DAR-MGSM의 범위 확장, 동등한 문제 표현 간 추론 일관성(reasoning consistency) 을 높이는 방법 연구, 그리고 같은 평가 접근을 다른 다국어 환경으로 확장해 언어와 지역 맥락을 넘어 신뢰할 수 있게 작동하는 교육용 AI 개발을 지원하는 것입니다.
🔗 4. 기계론적 해석가능성 관점에서의 위치
이 논문은 잔차 스트림 궤적 분석(Manson, 2025; Li et al., 2025), 활성 패칭(Meng et al., 2022; Nanda et al., 2023), 희소 오토인코더 기반 분해(Bricken et al., 2023; Templeton et al., 2024) 같은 기존 도구를 다국어·문화 평가 설정에 처음 적용한 사례로 자리매김합니다. 방법론적으로 새로운 해석 도구를 제안하는 논문은 아니지만, “집계 정확도가 같아도 내부 계산은 다를 수 있다”는 주장을 불일치율 → RMS 궤적 거리 → 샘플링 대조 → 양방향 패칭 + 4개 대조군의 순서로 대안 설명을 하나씩 제거하며 쌓아 올린 구조는, 벤치마크 논문에서 해석가능성 분석을 어떻게 설계해야 하는지에 대한 좋은 본보기입니다.
💡 Key Takeaway 범위는 5개 방언·4개 엔티티·Gemma 4 세 모델로 한정되고 “엔티티 표현이 무엇을 부호화하는가”는 열려 있지만, 벤치마크 평가에 쌍별 분석과 인과 개입을 결합해 집계 정확도가 가리는 내부 변화를 드러낸 설계는 다른 다국어·문화 평가에도 그대로 옮길 수 있습니다.