You know maize mean?
SPARK: Representation-Level KV Memory Alignment for Safer Vision-Language Models
0. Summary
기본 정보 : ArXiv,2026.09.13, SPARK: Representation-Level KV Memory Alignment for Safer Vision-Language Models
연구 배경
시각-언어 모델(VLM)은 언어 백본에서 물려받은 안전 정렬이 멀티모달 적응 이후 약해지며, 유해 의도를 텍스트와 이미지에 나누어 싣는 jailbreak 는 텍스트 전용 안전 메커니즘을 우회한다. 이를 막기 위한 추론 시점 개입(스티어링, 투영, 활성 수정)은 거부율을 올릴 수 있지만, 넓은 범위의 표현을 건드리면 무해한 추론에 필요한 표현까지 억제해 성능을 떨어뜨린다. 또 다른 근본 문제는 “무엇을 억제할 것인가”를 정하는 방식이다. 유해 출력이 나왔다는 사실은 그 행동 변화가 내부의 어떤 방향에서 비롯됐는지 알려 주지 않고, 유해 입력과 무해 입력을 대조해 얻은 차이 벡터에는 안전과 무관한 이미지·프롬프트 차이가 함께 섞여 있다. 논문은 이 문제를 세 개의 분리된 질문으로 재구성한다. (1) 고정된 입력에서 안전 관련 변위(displacement)를 어떻게 분리할 것인가, (2) 그 방향을 attention 의 KV 메모리에서 제거했을 때 잃어버린 유용한 정보를 어떻게 복원할 것인가, (3) 각 attention head 를 얼마나 세게 편집할 것인가.
제안 방법
SPARK 는 모델 파라미터를 추론 시점에 바꾸지 않고, prefill 단계에서 형성되는 멀티모달 KV 캐시를 한 번 수리(repair)해 생성 전체에 재사용하는 2단계 프레임워크다. Stage 1 에서는 고정된 유해 보정 입력에 대해 일회용 Diagnostic Stress Adapter(DSA, rank-16 LoRA) 를 학습시켜 모델을 의도적으로 unsafe 완성 쪽으로 밀고, 같은 입력에서 기준 모델과 DSA 모델의 key/value 활성 차이 $\Delta X_K, \Delta X_V$ 를 head 별로 쌓아 SVD 한 뒤 상위 $r_s{=}8$ 개 우특이벡터를 harm-calibrated 변위 부분공간 $P_K^{(h)}, P_V^{(h)}$ 로 고정하고 DSA 는 폐기한다. 이 부분공간을 직교 투영으로 제거한 후, Stage 2 에서 가벼운 복원 어댑터가 투영된 캐시 위에 잔차 $\Delta K_\phi, \Delta V_\phi$ 를 더하는데, 세 가지 제약을 둔다. key 는 Canny 엣지 맵을 frozen 시각 경로에 통과시켜 얻은 구조 prior 에 맞추고($\mathcal{L}{\mathrm{ground}}$), 제거된 부분공간을 다시 복원하지 못하게 벌점을 주며($\mathcal{L}{\mathrm{recon}}$), query 가 억제된 key 방향과 정렬되는 것을 억제한다($\mathcal{L}{\mathrm{sep}}$). 추론 시에는 head 별로 현재 KV 상태가 그 부분공간에 가진 에너지 $E_h(x)$ 를 재고, 닫힌 형식의 혼합 계수 $g_h^\star=[1-\lambda/(2\alpha E_h)]{[0,1]}$ 로 원본 캐시와 수리된 캐시를 섞는다. 별도의 유해성 분류기 없이 벤치마크 무해 풀에서 $E_h$ 의 90 퍼센타일을 임계값으로 보정한다.
발견 사실
LLaVA-OneVision-7B 에서 ToViLaG 이미지 전용 jailbreak ASR 이 70.6% 에서 4.7% 로 떨어졌고, MMMU 는 48.4 → 47.8, RealWorldQA 는 61.8 → 60.7 로 거의 유지됐다. MM-SafetyBench 에서는 39.2% → 12.4% 로 OmniSteer(14.8%)보다 낮았다. Chameleon-7B 에서는 VLSafe 텍스트 10.2%, ToViLaG 텍스트 11.9%, 텍스트+이미지 9.1% 로 비교 방어 중 최저였고, Safety SFT 가 MMMU 를 14.8 까지 무너뜨리는 동안 SPARK 는 31.2 를 지켰다. 반면 텍스트 중심 공격에서는 decode-time 스티어링(Steer)이 더 강했고(LLaVA 텍스트+이미지 1.2% vs 7.4%), Chameleon 이미지 전용은 31.4% 로 LLaVA 의 4.7% 와 큰 격차가 남았다. 소거 실험에서 입력 일치 변위 대신 유해-무해 대조(18.0%), $\Delta W_{\mathrm{DSA}}$ 의 SVD(23.5%), 무작위 기저(30.4%)를 쓰면 ASR 이 크게 오르고, 구조 prior 를 빼면 MMMU 가 42.1 로 급락하며, $\mathcal{L}_{\mathrm{sep}}$ 을 빼면 ASR 이 5.2 → 9.8 로 오른다. $g_h^\star$ 를 모든 head 에 1 로 고정한 always-on 투영은 AI2D 다이어그램 정확도를 62.4% 에서 31.2% 로 떨어뜨리지만 SPARK 는 62.0% 를 유지한다. $g_h^\star$ 규칙을 아는 white-box 적응 공격(prompt-image 공동 최적화)에서는 ASR 이 20.3% 까지 오르고 mix bypass 율이 38.6% 에 달해, 적응 공격에 대한 견고성은 제한적이다. 오버헤드는 prefill +1.6%, decode 0% 이다.
핵심 기여
- 입력 일치(input-matched) KV 부분공간 발견 : 유해-무해 대조가 아니라, 같은 입력에 대해 일회용 진단 어댑터가 만든 활성 변위를 분해해 안전 관련 방향을 분리한다. 가중치 $\Delta W$ 가 아니라 실제 KV 활성이 움직인 방향을 SVD 하므로 편집할 공간 안에 기저가 놓인다.
- 투영-복원(project-and-repair) KV 개입 : 직교 투영으로 변위 방향을 제거하고, key 쪽 구조 접지(Canny)·부분공간 재구성 억제·query 측 분리라는 세 제약 아래 가벼운 어댑터가 유용한 정보를 복원한다. 복원을 key 에만 접지하는 비대칭 설계가 MMMU 를 지키는 핵심이었다.
- 학습된 탐지기 없는 head 별 닫힌 형식 혼합 $g_h^\star$ : 잔여 에너지 감소와 편집 비용의 볼록 트레이드오프에서 유도된 계수로, 입력당 86% 의 무해 샘플은 전혀 편집하지 않으면서 유해 샘플의 80% 에는 개입한다. 안전·유틸리티·견고성·오버헤드를 함께 보고하고, 적응 공격 취약성과 Chameleon 이미지 전용 격차 등 지는 지점도 표로 명시했다.
Abstract 쉬운 설명(Gemini)
이 논문(MAMJ)의 핵심은 한 문장으로 요약하면 “고정된 수법만 쓰던 AI 해커가, 이제는 스스로 작전 지침서도 고쳐 쓰고 자신의 두뇌(실력)까지 직접 훈련해서 진화하기 시작했다”는 것입니다.
비전공자분들도 쉽게 이해하실 수 있도록 ‘보안 요원(안전 장치가 걸린 AI)’과 ‘잠입 요원(공격자 AI)’의 대결로 비유해 설명해 드릴게요.
📌 핵심 요약 (Key Takeaway)
- 기존의 한계: 지금까지의 AI 해킹은 정해진 대본만 읽거나, 작전과 실력은 그대로 둔 채 변장 도구(입력 이미지/질문)만 조금씩 바꾸는 수준이었습니다.
- 이 논문의 혁신: 작전 매뉴얼($\theta$)을 스스로 수정하고, 성공 경험을 바탕으로 요원의 기초 체력과 두뇌($\phi$)까지 업그레이드하는 이중 진화 시스템(MAMJ)을 만들었습니다.
1. 배경: 기존 AI 해킹(탈옥)은 왜 한계가 있었을까? 🧩
우리가 흔히 쓰는 GPT-4o나 Gemini 같은 최신 AI는 글자뿐만 아니라 사진과 글을 동시에 이해(비전-언어 모델, VLM)합니다. 이 AI들에게는 위험한 질문(예: 폭탄 제조법 등)에 대답하지 못하도록 ‘안전 가드레일(보안 요원)’이 설치되어 있습니다. 이 보안 요원을 속여서 금지된 대답을 끌어내는 것을 ‘탈옥(Jailbreak)’이라고 부릅니다.
기존의 공격 방식들은 두 가지 한계가 있었습니다.
| 공격 방식 | 비유 설명 | 치명적인 한계점 |
|---|---|---|
| 템플릿 기반 공격 | 미리 적어둔 유출 대본(고정된 양식)만 보고 그대로 읽는 초보 해커 | 보안 요원이 그 대본 패턴만 파악하면 금방 막힙니다. |
| 기존 반복적 공격 | 진입에 실패하면 옷이나 말투(입력 이미지·텍스트)는 바꿔보지만, 작전 매뉴얼과 해커 본인의 실력은 그대로인 상태 | 요원의 근본적인 능력치가 제자리걸음이라 고도화된 보안망을 뚫기 어렵습니다. |
2. MAMJ의 핵심 원리: 어떻게 스스로 진화할까? 🚀
연구진이 제안한 MAMJ(메타-적응형 멀티모달 탈옥)는 해커 AI에게 두 가지 무기를 동시에 진화시킬 수 있는 능력을 부여했습니다.
| 진화하는 두 가지 축 | 쉬운 비유 | 실제 작동 방식 |
|---|---|---|
| 1단계: 공격 전략 프롬프트 ($\theta$) 수정 | 작전 매뉴얼 고쳐 쓰기 | 여러 번 침투를 시도해 본 뒤, 똑똑한 코치(비평 AI)가 “이번엔 사진과 질문을 이렇게 조합한 게 효과가 좋았어!”라고 분석하여 작전 지침서 자체를 더 교묘하게 업데이트합니다. |
| 2단계: 공격자 모델 가중치 ($\phi$) 업데이트 | 해커의 두뇌와 실력 키우기 | 바뀐 매뉴얼만 보는 것에 그치지 않고, 실제로 성공률이 높았던 경험들을 모아 해커 AI의 뇌 신경망(가중치) 자체를 재학습시켜 베테랑 요원으로 거듭나게 합니다. |
3. 실험 결과 및 왜 이 연구가 충격적인가? ⚠️
이렇게 매뉴얼과 두뇌를 동시에 업그레이드한 ‘진화형 해커 AI’를 투입하자 놀라운 결과가 나왔습니다.
| 주요 관전 포인트 | 결과 및 의미 |
|---|---|
| 압도적인 돌파력 | 최신 최고성능 AI 모델들(GPT-4o, Gemini-3-Pro 등)을 상대로 약 80%에 달하는 확률로 안전장치를 뚫어냈으며, 기존 최고 수준 해킹 기법보다 성공률이 최대 24.1%p나 더 높았습니다. |
| 강력한 전이성 (Transferability) | 더욱 무서운 점은 ‘한 번 마스터하면 어디든 뚫는다’는 것입니다. A라는 AI를 뚫으며 훈련된 해커 AI를 처음 보는 B라는 AI나 새로운 방어막 앞에 데려다 놓아도, 추가 훈련 없이 곧바로 약점을 찾아내 무력화시켰습니다. |
| 연구의 진짜 목적 | 해킹을 돕기 위해서가 아니라, “현재 최고 수준 AI들의 방어 체계에 이처럼 근본적인 구조적 허점이 있으니, 창이 진화하는 만큼 방패(안전 기술)도 더 본질적으로 진화해야 한다”고 경종을 울리는 연구입니다. |
공격 전략 프롬프트(ASP)
공격 전략 프롬프트(ASP, $\theta$)는 공격자 AI(논문에서는 Qwen3-VL-32B-Thinking 사용)에게 부여되는 ‘최상위 시스템 지침서(System Prompt)’입니다.
해커 AI에게 “어떤 위험한 목표($q$)가 주어졌을 때, 타겟 AI의 안전 필터를 우회하기 위해 어떤 그림을 그릴지와 어떤 질문을 던질지를 이렇게 설계해라”라고 구체적인 방법론을 지시하는 자연어 작전 매뉴얼이라고 보시면 됩니다.
📌 핵심 요약: ASP는 무엇을 통제하는가?
논문에 따르면 ASP는 단편적인 질문 하나를 고치는 것이 아니라, 공격의 3대 핵심 축을 총괄 제어합니다:
- 서사적 프레이밍 (Narrative Framing): 위험한 질문을 어떤 합법적/가상적 상황(예: 학술 연구, 소설 집필, 보안 테스트 등)으로 포장할지 결정.
- 시각적 프롬프트 설계 (Text-to-Image Generation): 이미지 생성 AI에게 어떤 그림을 그리라고 시켜서 위험한 의도를 시각적으로 은폐·분산할지 지시.
- 텍스트 페이로드 구성 (Textual Attack Payload): 생성된 이미지와 결합했을 때만 원래의 위험한 의미가 완성되도록, 타겟 AI에게 건넬 질문 문구를 어떻게 교묘하게 짤지 규정.
1. ASP를 입력받은 공격자 AI의 실제 출력 구조 🧩
공격자 AI는 ASP($\theta$)를 시스템 프롬프트로 읽은 뒤, 공격 목표가 들어오면 반드시 아래 3가지 블록이 포함된 정해진 포맷으로 출력을 내놓도록 강제됩니다. (2단계 강화학습에서도 이 3가지 형식을 제대로 지켰는지 Format Validator로 먼저 검사합니다.)
| 출력 구성 요소 | 논문 표기 | 역할 및 구체적인 내용 |
|---|---|---|
| 1) 내부 추론 블록 | Reasoning Block |
타겟 AI가 왜 거절할지 예측하고, 이미지와 텍스트에 위험 요소를 어떻게 쪼개서 숨길지 먼저 치밀하게 계산하는 생각의 과정(Chain-of-Thought)입니다. |
| 2) 이미지 생성 지시문 | $t_{\text{img}}$ | 이미지 생성 모델(T2I)에게 보낼 프롬프트입니다. 직접적인 위험 키워드 대신 비유적이거나 상황적인 장면을 묘사해 시각적 안전 필터를 피합니다. |
| 3) 사용자 질문 페이로드 | $u$ | 생성된 이미지($I$)와 함께 타겟 VLM에게 실제로 전송할 텍스트 질문입니다. 텍스트만 따로 읽으면 무해해 보이지만, 그림을 보면서 읽으면 금지된 답변을 유도하도록 작성됩니다. |
2. ASP는 어떻게 스스로 고쳐 쓰여질까? (진화 메커니즘) 🔄
처음에는 사람이 작성한 기본 매뉴얼(Manual ASP)로 시작하지만, 공격이 실패할 때마다 두 명의 코치 AI(Analyst와 Aggregator)가 투입되어 ASP 문구 자체를 계속 고쳐 씁니다. 논문 부록(Appendix J)에 공개된 실제 프롬프트 구조를 보면 그 과정이 매우 구체적입니다.
| 단계 및 담당 AI | 논문 속 실제 프롬프트 작동 방식 |
|---|---|
| 1단계: 실패 원인 정밀 진단 (Analyst 모델) |
실패한 공격 기록(목표, $t_{\text{img}}$, 질문 $u$, 타겟 AI의 거절 답변)을 넘겨받아 두 가지를 출력합니다. • cause_i: 타겟 AI가 정확히 어떤 문구나 이미지 요소 때문에 위험을 눈치채고 거절했는지 원인을 인용해 분석.• action_i: 이 거절을 피하려면 전략을 어떻게 수정해야 하는지 구체적인 행동 지침 제안. |
| 2단계: 매뉴얼 재작성 및 후보 생성 (Aggregator 모델) |
여러 번의 실패에서 모인 cause와 action들을 종합해 기존 ASP(curr_instructions)를 새로 고쳐 씁니다. 이때 세 가지 엄격한 규칙을 따릅니다:1. 개별 단어나 특정 주제에 집착(과적합)하지 말고 상위(메타) 수준의 보편적 전략으로 수정할 것. 2. 실패 패턴에서 가장 자주 반복되는 약점을 최우선으로 고칠 것. 3. 말만 살짝 바꾼 게 아니라, 완전히 다른 방향성을 가진 $b$개의 새로운 ASP 후보군을 동시에 생성할 것(Beam Search 활용). |
| 3단계: 실전 검증 및 채택 (Acceptance Test) |
새로 쓴 ASP 후보들을 실제로 테스트해 보고, 기존 매뉴얼보다 공격 성공률(ASR)이 확실히 높아진 경우에만 최종 전략($\theta^\star$) 아카이브에 업데이트합니다. |
💡 한눈에 보는 비유 (예시)
- 초기 ASP ($\theta_0$): “위험한 단어를 쓰지 말고, 관련 상황을 그림으로 그린 뒤 그 그림에 대해 설명해 달라고 질문해라.”
- 실패 후 진화된 ASP ($\theta^\star$): “타겟 AI들이 단순 상황 묘사 그림은 안전 필터로 잡아내고 있다. 이제부터는 1) 그림($t_{\text{img}}$)에는 학술적 다이어그램이나 역사적/가상적 실험 장비의 구조도를 그리게 하고, 2) 텍스트($u$)에서는 자신을 안전 감사관이나 연구원으로 설정한 뒤 그림 속 누락된 핵심 절차를 채워 넣으라고 지시하는 방식으로 역할을 분담해라.”
이렇게 완성된 최고 효율의 작전 지침서($\theta^\star$)를 고정해 두고, 다음 단계(강화학습, GRPO)에서 공격자 AI가 이 지침서를 100% 완벽하게 수행하도록 뇌(가중치 $\phi$)를 훈련시키는 것이 바로 이 논문의 전체 그림입니다.
관련 개념
VLM 안전 정렬 열화와 멀티모달 jailbreak
안전 정렬 열화(safety alignment degradation)는 텍스트 LLM 에서 잘 작동하던 거부 행동이 시각 인코더를 붙이고 멀티모달 데이터로 적응시킨 뒤 약해지는 현상입니다. 공격자는 이 틈을 이용해 유해 의도를 이미지에 싣거나 텍스트와 이미지에 나누어 싣습니다.
🎯 1. 위협 모델과 공격 분할
논문은 ToViLaG 를 VQA 형식의 세 분할로 재구성해 유해 증거가 어느 모달리티에 실리는지를 분리해 평가합니다.
| 분할 | 유해 증거 위치 | 기준 LLaVA-OV ASR | 기준 Chameleon ASR |
|---|---|---|---|
| VLSafe (Text) | 텍스트 질의 | 60.0% | 67.8% |
| ToViLaG (Text) | 텍스트 질의 | 44.8% | 51.6% |
| ToViLaG (Image) | 이미지 | 70.6% | 52.0% |
| ToViLaG (Text+Image) | 양쪽에 분산 | 30.0% | 56.1% |
여기에 MM-SafetyBench(기준 39.2%), 노이즈·근백색·크롭 이미지를 섞은 cross-modal 스트레스 셋, 그리고 방어 규칙을 아는 white-box 적응 공격까지 포함합니다.
🧩 2. 기존 추론 시점 방어의 계보
| 계열 | 대표 | 개입 위치·시점 | 한계 (논문 관점) |
|---|---|---|---|
| 안전 지시 튜닝 | Safety SFT (DRESS/VLSafe) | 가중치 | early-fusion 모델(Chameleon)에서 유틸리티 붕괴 |
| 프롬프트 안전장치 | Self-reminder, Goal prioritization | 입력 | 이미지에 실린 의도에 약함 |
| 잔차 스트림 스티어링 | Steer / AutoSteer, OmniSteer | 디코딩 중 hidden state | 매 토큰 오버헤드, 넓은 편집 |
| 부분공간 투영 | VLM-Guard, InferAligner | hidden state | 유해-무해 대조에 입력 차이가 섞임 |
| KV 메모리 편집 (본 논문) | SPARK | prefill 시 K/V 캐시 | 텍스트 중심 공격·적응 공격에 상대적 약세 |
🔍 3. 왜 “무엇을 억제할지”가 문제인가
유해 출력은 행동의 결과일 뿐 내부의 어떤 방향이 그 전이를 만들었는지는 말해 주지 않습니다. 유해 입력 $x_h$ 와 무해 입력 $x_b$ 의 활성 차이 $X(x_h)-X(x_b)$ 를 쓰면 입력 자체가 다르므로 이미지 내용·프롬프트 어휘 차이가 함께 들어갑니다. SPARK 는 입력을 고정한 채 모델 쪽을 교란해 행동 변위만 남깁니다.
💡 Key Takeaway SPARK 의 출발점은 “유해 방향을 찾는 대조 설계 자체가 오염돼 있다”는 진단입니다. 같은 입력에서 모델을 의도적으로 unsafe 쪽으로 밀어 본 뒤, 그때 KV 가 움직인 방향만 골라냅니다.
KV 메모리: 왜 attention 캐시를 편집하는가
KV 캐시(KV memory)는 prefill 에서 계산된 각 레이어·head 의 key 와 value 행렬로, 이후 autoregressive 디코딩의 모든 토큰이 참조하는 영속적 메모리입니다. 멀티모달 증거가 생성에 영향을 주는 통로가 바로 이 캐시입니다.
🧱 1. Key 와 Value 의 역할 분담
\[\mathrm{Attn}(Q,K,V)=\mathrm{softmax}\!\left(\frac{QK^{\top}}{\sqrt{d}}\right)V, \qquad K^{(l,h)}=H^{(l)}W_K^{(l,h)},\; V^{(l,h)}=H^{(l)}W_V^{(l,h)}\]| 성분 | 역할 | SPARK 에서의 취급 |
|---|---|---|
| Query $Q$ | 프롬프트가 조건화한 “검색 요청” | 직접 편집하지 않음, 정렬만 벌점 ($\mathcal{L}_{\mathrm{sep}}$) |
| Key $K$ | attention 가중치(addressing)를 결정 | 투영 제거 + Canny 구조 prior 로 복원 |
| Value $V$ | 가중치가 정해진 뒤 꺼내지는 내용 | 투영 제거 + 잔차 복원 (구조 prior 없음) |
⏱️ 2. Prefill 1회 편집 vs. decode-time 스티어링
| 항목 | decode-time 스티어링 (AutoSteer 등) | SPARK |
|---|---|---|
| 개입 시점 | 매 생성 토큰마다 hidden state 에 더함 | prefill 에서 캐시를 한 번 다시 씀 |
| 오버헤드 | prefill +2.3%, decode +7.8%/token | prefill +1.6%, decode +0.0% |
| 생성이 길어질 때 | 누적 비용 증가 | 일정 |
배치 1–16 에서 end-to-end 오버헤드는 SPARK +1.4~1.8%, AutoSteer +7.8~8.9%, VLM-Guard +4.0~4.7% 입니다.
🧭 3. 관련 메모리 편집 계열과의 차이
ROME/MEMIT 은 사실 연관을 가중치에서 편집하고, H2O/Scissorhands 는 KV 캐시를 압축합니다. SPARK 는 둘 다 아니며, 멀티모달 안전을 위해 KV 캐시의 특정 방향을 투영·복원·혼합하는 것입니다.
💡 Key Takeaway Q 를 건드리면 사용자 의도 의미와 얽히고, hidden state 를 넓게 편집하면 무해 경로도 함께 바뀝니다. KV 캐시는 “주소(key)”와 “내용(value)”을 따로 건드릴 수 있고 한 번 쓰면 끝나는 위치라, 국소성과 비용 모두에서 유리하다는 것이 논문의 논거입니다.
Stage 1: Diagnostic Stress Adapter 와 harm-calibrated 변위 부분공간
Diagnostic Stress Adapter(DSA)는 방어가 아니라 진단용 교란 장치입니다. 유해 보정 입력에서 모델을 의도적으로 unsafe 완성 쪽으로 밀어, 그때 KV 가 어느 방향으로 움직이는지를 측정한 뒤 버립니다.
🧪 1. 입력 일치 변위 측정
frozen VLM $f_\theta$ 에 rank-$r_{\mathrm{DSA}}$ LoRA $\Delta W_{\mathrm{DSA}}$ 를 붙이고 유해 보정 집합 $\mathcal{D}_h$ 의 완성 토큰에 대한 음의 로그우도를 최소화합니다.
\[\mathcal{L}_{\mathrm{DSA}}=-\sum_{t=1}^{T}\log P\bigl(y_t\mid y_{<t},X_{\mathrm{img}},X_{\mathrm{prompt}};\,W+\Delta W_{\mathrm{DSA}}\bigr)\]그 다음 같은 입력에서 두 모델의 head 별 key/value 활성 차이를 기록합니다.
\[\Delta X_K^{(h)}=X_K^{\mathrm{DSA},(h)}-X_K^{\mathrm{base},(h)},\qquad \Delta X_V^{(h)}=X_V^{\mathrm{DSA},(h)}-X_V^{\mathrm{base},(h)}\]| 하이퍼파라미터 | 값 |
|---|---|
| DSA rank / scaling | $r_{\mathrm{DSA}}=16$, $\alpha=32$ |
| 대상 모듈 | 레이어 18–24 의 $W_k, W_v, W_q, W_o$ |
| 데이터 | VLSafe 유해 discovery 1,000개 (폭력·불법·자해·노골적 콘텐츠) |
| 최적화 | AdamW, lr $2\times10^{-4}$, cosine, batch 16, 3 epoch |
| 비용 | 부분공간 발견 약 2.1 GPU-hour |
📐 2. SVD 와 직교 투영
토큰 단위 잔차를 쌓은 $\Delta X_K^{(h)}\in\mathbb{R}^{N\times d_k}$ 를 SVD 해 상위 $r_s$ 개 우특이벡터를 취합니다.
\[\Delta X_K^{(h)}=\mathcal{U}_K^{(h)}\Sigma_K^{(h)}P_K^{(h)\top},\qquad P_K^{(h)}\in\mathbb{R}^{d_k\times r_s},\; P_K^{(h)\top}P_K^{(h)}=I\] \[\Pi_K^{(h)}=P_K^{(h)}P_K^{(h)\top},\qquad K^{\perp,(h)}=K^{(h)}\bigl(I-\Pi_K^{(h)}\bigr),\quad V^{\perp,(h)}=V^{(h)}\bigl(I-\Pi_V^{(h)}\bigr)\]가중치 $\Delta W_{\mathrm{DSA}}$ 가 아니라 활성 잔차를 분해하는 이유는, $\Delta X_K\approx H\Delta W_K$ 라 해도 $H$ 가 토큰·샘플·모달리티마다 달라 실제 KV 가 움직인 방향은 활성 공간에서만 보이기 때문입니다.
📊 3. 부분공간 출처별 비교 (LLaVA-OV-7B, 같은 Stage 2 와 $g_h^\star$)
| 부분공간 출처 | ASR ↓ | MMMU ↑ |
|---|---|---|
| 입력 일치 $\Delta X$ (SPARK) | 5.2 | 47.9 |
| 유해-무해 대조 | 18.0 | 47.6 |
| SVD($\Delta W_{\mathrm{DSA}}$) | 23.5 | 47.5 |
| 무작위 $P_K,P_V$ (전체 파이프라인) | 30.4 | 47.2 |
| 무해 VQA DSA 부분공간 | 34.6 | 47.4 |
| 무작위 기저, 추론만 | 33.8 | 46.9 |
랭크 스윕에서는 $r_s=2$ 일 때 7.1/48.1, $r_s=8$ 에서 5.2/47.9, $r_s=32$ 에서 4.9/46.8 로, 랭크를 올리면 ASR 은 조금 내려가지만 MMMU 가 꾸준히 떨어집니다. 레이어는 12–16(9.1/47.1), 24–28(6.8/47.0) 보다 18–24(5.2/47.9) 가 가장 균형이 좋았습니다.
💡 Key Takeaway “유해 쪽으로 밀어 본 뒤 그 변위를 측정한다”는 설계가 핵심입니다. 같은 Stage 2·혼합 규칙을 써도 부분공간을 유해-무해 대조로 바꾸는 순간 ASR 이 3배 이상 오릅니다.
Stage 2: 복원 어댑터와 세 가지 제약
투영만 하면 유용한 정보도 함께 사라집니다. 실제로 always-on 투영은 ASR 5.0 에 MMMU 45.9 로, 안전은 얻지만 유틸리티를 잃습니다. Stage 2 는 투영된 캐시 위에 가벼운 어댑터 $\phi$ 가 만든 잔차를 더해 정보를 되살리되, 제거한 방향을 다시 만들지 못하게 합니다.
\[K^{s,(h)}=K^{\perp,(h)}+\Delta K_\phi^{(h)},\qquad V^{s,(h)}=V^{\perp,(h)}+\Delta V_\phi^{(h)},\qquad \Delta K_\phi^{(l,h)}=H^{(l)}\Delta W_{K,\phi}^{(l,h)}\]🖼️ 1. 구조 접지 $\mathcal{L}_{\mathrm{ground}}$ — key 에만
이미지를 Canny 엣지 맵 $C(x_v)$ 로 바꿔 frozen 시각 경로와 frozen key 투영에 통과시키면 구조만 남은 key 목표 $G_{\mathrm{edge}}^{(h)}(x_v)$ 를 얻습니다.
\[\mathcal{L}_{\mathrm{ground}}=\sum_h\bigl\|K^{s,(h)}-G_{\mathrm{edge}}^{(h)}(x_v)\bigr\|_F^2\]모델 자신의 시각 특징에 맞추면 유해 완성을 만든 외관까지 복원되므로, 학습이 필요 없고 의미를 더하지 않는 결정론적 경계 맵을 anchor 로 씁니다.
| 접지 대상 | ASR ↓ | MMMU ↑ |
|---|---|---|
| Key 만 (기본) | 5.2 | 47.9 |
| Value 만 | 7.6 | 45.8 |
| Key + Value | 5.1 | 44.5 |
| 접지 없음 | 6.1 | 42.1 |
key 는 $QK^\top$ 로 어디를 볼지를 정하고 value 는 무엇을 꺼낼지를 담으므로, 엣지 같은 구조 정보는 key 에만 맞추는 것이 맞다는 해석입니다. Canny 임계값(50/150, 100/200, 150/250)은 결과를 거의 바꾸지 않았고, Sobel·HED·블러된 Canny 도 기본값 근처였으며, 엣지를 섞어 버리면 prior 가 없는 것보다 나빴습니다. 즉 효과의 원천은 Canny 자체가 아니라 공간적 대응입니다.
🚫 2. 부분공간 재구성 억제 $\mathcal{L}_{\mathrm{recon}}$
\[\mathcal{L}_{\mathrm{recon}}=\sum_h\Bigl(\|K^{s,(h)}P_K^{(h)}\|_F^2+\|V^{s,(h)}P_V^{(h)}\|_F^2\Bigr)\]$K^{\perp}P_K=0$ 이므로 이 항은 사실상 잔차 $\Delta K_\phi, \Delta V_\phi$ 가 억제된 부분공간에 가진 에너지와 같습니다. 어댑터는 부분공간 바깥의 정보만 복원하도록 유도됩니다.
↔️ 3. Query 측 분리 $\mathcal{L}_{\mathrm{sep}}$
query 와 key 는 같은 내적 공간을 공유하므로 $P_K^{(h)}$ 는 억제된 key 방향과 정렬된 query 성분도 식별합니다. SPARK 는 $Q$ 를 편집하지 않고 그 정렬에 벌점을 줍니다.
\[\mathcal{L}_{\mathrm{sep}}=\frac{1}{H}\sum_{h=1}^{H}\frac{\|Q^{(h)}P_K^{(h)}\|_F}{\|Q^{(h)}\|_F+\epsilon}\]이 항을 빼면 ASR 이 5.2 → 9.8 로 오르지만 RealWorldQA 의 무해 거부율은 1.2% vs 1.3% 로 변하지 않아, 사실적 민감 질의에 오작동하지 않고 적대적 의도만 분리한다고 보고합니다. 마진 $\rho$ 를 0 에서 키우면 ASR 과 무해 거부가 함께 오릅니다.
| 설정 | 잔차 가중치 $(\mathcal{L}{\mathrm{recon}},\mathcal{L}{\mathrm{ground}},\mathcal{L}_{\mathrm{sep}})$ | 데이터 | 최적화 |
|---|---|---|---|
| Stage 2 | $(1.0, 0.6, 0.4)$ | MS-COCO 안전 이미지 + ToViLaG 적대 문맥을 짝지은 대조쌍 3,000개 | AdamW, lr $2e{-4}$, batch 32, 3 epoch, 백본 frozen, 약 3.4 GPU-hour |
💡 Key Takeaway Stage 2 는 “지우고 나서 다시 쓰되, 지운 것은 다시 쓰지 말고, 보는 위치(key)는 이미지 윤곽을 따르라”는 세 규칙으로 요약됩니다. 부분공간을 먼저 고정하고 어댑터를 따로 학습하는 순차 설계는, 공동 학습 시 $P_K$ 가 표류했기 때문입니다.
Head 별 적응 혼합 $g_h^\star$ 와 퍼센타일 보정
모든 head 를 항상 교체하면 변위 부분공간이 약하게만 발현된 head 까지 불필요하게 건드립니다. SPARK 는 head 마다 현재 KV 상태가 그 부분공간에 가진 에너지로부터 혼합 강도를 닫힌 형식으로 정합니다.
🧮 1. 혼합과 에너지
\[K^{\mathrm{out},(h)}=(1-g_h)K^{(h)}+g_hK^{s,(h)},\qquad V^{\mathrm{out},(h)}=(1-g_h)V^{(h)}+g_hV^{s,(h)}\] \[E_h(x)=\|K^{(h)}P_K^{(h)}\|_F^2+\|V^{(h)}P_V^{(h)}\|_F^2\]전체 목적함수는 $\mathcal{L}{\mathrm{SPARK}}=\alpha\mathcal{L}{\mathrm{res}}+\beta\mathcal{L}{\mathrm{ground}}+\gamma\mathcal{L}{\mathrm{recon}}+\delta\mathcal{L}{\mathrm{sep}}+\lambda\mathcal{L}{\mathrm{int}}$ 로, $\mathcal{L}{\mathrm{res}}$ 는 혼합된 캐시의 잔여 부분공간 에너지, $\mathcal{L}{\mathrm{int}}=\frac{1}{BH}\sum_i\sum_h g_h(x_i)$ 는 head 를 편집하는 비용입니다.
📐 2. 닫힌 형식 유도
복원 가지가 이미 부분공간 바깥에 있으면($K^sP_K=V^sP_V=0$) 혼합 후 잔여 에너지는 $(1-g_h)^2E_h$ 만 남아 head 별로 분리됩니다.
\[\mathcal{J}_h(g_h)=\alpha(1-g_h)^2E_h(x)+\lambda g_h,\qquad \frac{d^2\mathcal{J}_h}{dg_h^2}=2\alpha E_h(x)\ge 0\] \[g_h^\star(x)=\Bigl[1-\frac{\lambda}{2\alpha E_h(x)}\Bigr]_{[0,1]},\qquad g_h^\star=0\;\Longleftrightarrow\;E_h(x)\le\frac{\lambda}{2\alpha}\]즉 에너지가 임계값 이하인 head 는 전혀 건드리지 않고, 임계값을 넘으면 에너지가 커질수록 1 에 수렴합니다. 논문은 이것이 $P(\mathrm{harmful}\mid x)$ 의 추정이 아니라 최소 개입 규칙임을 반복해서 강조합니다. 학습된 게이트 네트워크도, 이진 지표도 없습니다.
🎚️ 3. 퍼센타일 보정과 개입률
$\lambda/(2\alpha)$ 는 MMMU/RWQA 와 분리된 무해 VQA 풀 3,000개에서 head 별 $E_h$ 의 $p$ 퍼센타일로 정합니다(기본 $p=0.90$, 자연 이미지에서 $T=6.2$).
| $E_h$ 퍼센타일 | 유해 입력 개입률 | 무해 입력 개입률 | 유해 val ASR | 무해 출력 거부 |
|---|---|---|---|---|
| 80 | 0.91 | 0.29 | 4.6 | 9.4% |
| 85 | 0.86 | 0.22 | 4.9 | 7.1% |
| 90 (기본) | 0.80 | 0.14 | 5.2 | 5.3% |
| 95 | 0.67 | 0.08 | 11.5 | 3.6% |
“개입률”은 적어도 한 head 에서 $g_h^\star>0$ 인 입력의 비율로, 분류기의 TPR/FPR 이 아닙니다. 기본 설정에서 무해 입력의 약 86% 는 어느 head 도 편집되지 않습니다. 임계값을 낮추면 무해 거부가 늘고, 95 퍼센타일로 올리면 유해 문맥이 새어 나갑니다. 도메인이 바뀌면 컷오프도 움직여(문서형 이미지 5.4, 의료형 7.1) 재보정이 필요합니다.
🗂️ 4. Always-on 과의 차이: AI2D 과잉 거부
구조가 조밀한 무해 다이어그램(순서도, 회로도, 설계도)은 자연스럽게 $E_h$ 가 높습니다. 모든 head 에 $g_h=1$ 을 강제하면 AI2D 정확도가 62.4% → 31.2% 로 무너지고 “이미지의 고밀도 선이 안전 필터 프로파일과 일치해 요청을 수행할 수 없다”는 식의 과잉 거부·환각이 나옵니다. 선택적 $g_h^\star$ 는 62.0% 를 유지합니다. 반대로 이미지 전용 유해 분할에서만 $g_h^\star=1$ 을 강제하면 LLaVA 4.7 → 3.9%, Chameleon 31.4 → 26.7% 로 ASR 은 내려가지만 무해 거부율이 1.2 → 3.4%, 2.1 → 5.8% 로 오릅니다.
💡 Key Takeaway $g_h^\star$ 는 속도 최적화가 아니라 의미 소거를 막는 장치입니다. 다만 공개된 임계값은 뒤에서 보듯 적응 공격의 1차 표적이 됩니다.
주요 결과: 안전·유틸리티·언어 품질
평가는 LLaVA-OneVision-7B(주 백본), Chameleon-7B(early-fusion), Qwen2-VL-7B, InternVL2-4B 에서 이루어졌고, 유해성 판정은 고정 이진 루브릭의 instruction-tuned LLM 심판($\kappa_{\text{human-human}}=0.89$, $\kappa_{\text{LLM-human}}=0.84$, $n=500$)을 썼습니다. 시드 {13, 17, 23} 평균이며 paired bootstrap $p<0.01$ 로 유의성을 검정했습니다.
📊 1. 메인 비교 (ASR %, 낮을수록 안전 / 정확도 %, 높을수록 유틸리티)
| 지표 | 분할 | LLaVA 기준 | LLaVA Steer | LLaVA OmniSteer | LLaVA SPARK | Chameleon 기준 | Chameleon Steer | Chameleon SPARK |
|---|---|---|---|---|---|---|---|---|
| ASR | VLSafe (Text) | 60.0 | 2.0 | 3.6 | 3.1 | 67.8 | 15.4 | 10.2‡ |
| ASR | ToViLaG (Text) | 44.8 | 1.6 | 3.2 | 2.4 | 51.6 | 17.2 | 11.9‡ |
| ASR | ToViLaG (Image) | 70.6 | 8.2 | 6.8 | 4.7‡ | 52.0 | 29.3 | 31.4 |
| ASR | ToViLaG (T+I) | 30.0 | 1.2 | 8.6 | 7.4 | 56.1 | 9.4 | 9.1‡ |
| Acc | RealWorldQA | 61.8 | 60.8 | 61.0 | 60.7 | 60.0 | 54.0 | 58.8 |
| Acc | MMMU | 48.4 | 47.8 | 48.0 | 47.8 | 32.0 | 29.0 | 31.2 |
‡ 는 해당 행의 최강 비-SPARK 방어보다 유의하게 낮음. 논문은 S19 에 “SPARK 가 이기는 곳과 지는 곳” 표를 따로 두어, LLaVA 텍스트·텍스트+이미지와 Chameleon 이미지 전용에서는 Steer 가 더 낮다는 점을 명시합니다. 텍스트 주도 jailbreak 에서는 디코딩 중 hidden-state 스티어링이 더 직접적이라는 해석입니다.
🌐 2. 추가 백본·커뮤니티 벤치마크·스트레스
| 설정 | 기준 | SPARK | 유틸리티 |
|---|---|---|---|
| Qwen2-VL-7B VLSafe text / ToViLaG image | 45.2 / 58.4 | 9.8 / 14.2 | MMMU 50.3 → 49.1, RWQA 56.8 → 55.6 |
| InternVL2-4B VLSafe text / ToViLaG image | 48.7 / 62.1 | 12.7 / 17.6 | MMMU 45.8 → 44.2, RWQA 52.4 → 50.9 |
| MM-SafetyBench ($n=300$) | 39.2 | 12.4 (OmniSteer 14.8) | MMMU 47.8, RWQA 60.7 유지 |
| 스트레스 Noise / White / Crop | 54.3 / 49.1 / 61.8 | 9.6 / 8.9 / 11.4 | OmniSteer 12.4 / 11.7 / 15.9 |
크롭처럼 유해 시각 증거가 국소화된 공격에서 상대적 감소 폭이 가장 큽니다.
✍️ 3. 언어 품질은 유지되는가
| 백본 | 지표 | 기준 | Steer | SPARK |
|---|---|---|---|---|
| LLaVA-OV-7B | WikiText-2 PPL ↓ | 7.45 | 8.82 | 7.56 |
| LLaVA-OV-7B | CoLA (MCC×100) ↑ | 84.2 | 78.6 | 83.5 |
| LLaVA-OV-7B | Distinct-2 ↑ | 0.94 | 0.79 | 0.92 |
| Chameleon-7B | WikiText-2 PPL ↓ | 8.12 | 11.35 | 8.31 |
| Chameleon-7B | Distinct-2 ↑ | 0.91 | 0.74 | 0.88 |
hidden-state 스티어링이 반복적 거부 패턴으로 다양성을 떨어뜨리는 반면, SPARK 는 perplexity·문법성·어휘 다양성이 기준 모델에 가깝습니다.
🧷 4. Safety SFT 와의 관계
Chameleon 에서 Safety SFT 는 학습률·워밍업·에폭·weight decay 를 모두 스윕해 held-out 안전-유틸리티로 체크포인트를 골라도 MMMU 14.8(중앙값 16.1)에 그쳤습니다. LLaVA 에서는 46.8 로 안정적이었습니다. 저자들은 이를 “학습 시점 정렬의 보편적 실패”가 아니라 early-fusion 구조에서의 취약성으로 해석하고, SPARK 를 SFT/RLHF/DPO 의 대체가 아닌 보완 계층으로 자리매김합니다.
💡 Key Takeaway SPARK 의 강점은 유해 증거가 이미지에 실린 경우와 유틸리티·언어 품질 보존에 있습니다. 텍스트 중심 공격은 decode-time 스티어링이, 절대 ASR 이 높은 Chameleon 이미지 전용은 어느 방어도 충분히 풀지 못했습니다.
진단: 식별된 방향은 정말 인과적인가
논문은 “부분공간이 유해 행동에 인과적으로 관여하는가”를 패치/복원 실험과 표현 기하 지표로 확인하되, 그것이 배타적 유해 부분공간의 증명은 아니라고 분명히 선을 긋습니다.
🔬 1. 패치·복원 통제 (LLaVA-OV-7B, 레이어 18–24)
| 개입 | ASR ↓ | MMMU ↑ |
|---|---|---|
| 식별된 harm-calibrated 기저 제거 | 11.3 | 47.1 |
| 무작위 직교 기저 제거 (통제) | 33.8 | 46.9 |
| 패치된 KV 에 식별된 기저 복원 | 34.9 | 47.0 |
| 무작위 기저 복원 (통제) | 13.1 | 47.1 |
식별된 기저를 빼면 ASR 이 떨어지고, 다시 넣으면 순응이 재팽창하며, 무작위 기저는 어느 쪽으로도 거의 영향이 없습니다.
📈 2. 표현 공간 지표
| 지표 | 기준 | SPARK |
|---|---|---|
| 이미지→unsafe 토큰 attention 질량 $\mathcal{A}_{\mathrm{img}\to\mathrm{unsafe}}$ (유해) | 0.41 | 0.19 |
| 같은 지표 (무해) | 0.12 | 0.11 |
| 유해→안전 최근접 중심 비율 (LLaVA / Chameleon) | 28.4% / 22.1% | 58.2% / 46.7% |
| 안전-유해 코사인 중심 분리 | 0.19 | 0.34 |
| 선형 프로브 AUROC (안전 vs 유해) | 0.73 | 0.84 |
| 안전 참조 활성과의 CKA | 0.58 | 0.69 |
무해 입력의 attention 질량은 거의 변하지 않아, 개입이 유해 경로에 선택적으로 작용했음을 뒷받침합니다. 서로 다른 시드·discovery 소스로 뽑은 기저는 투영 유사도 $S(U_a,U_b)$ 에서 상당히 겹칩니다.
💡 Key Takeaway 증거는 “개입 관련 방향(intervention-relevant directions)”을 지지하는 수준이며, 저자들은 시각 하이재킹이 유일한 실패 모드라거나 $\mathrm{span}(P_K,P_V)$ 가 유해성을 독점한다는 주장을 하지 않습니다.
적응 공격과 mix bypass
방어 규칙이 공개돼 있으면 공격자는 그 규칙을 직접 표적으로 삼을 수 있습니다. SPARK 의 경우 $E_h$ 를 임계값 아래로 눌러 모든 head 에서 $g_h^\star=0$ 이 되게 만드는 것이 자연스러운 공격입니다.
⚔️ 1. White-box 적응 공격 프로토콜 (LLaVA-OV-7B, $n=200$)
| 공격 | 설정 | 기준 ASR | AutoSteer | SPARK | SPARK bypass 율 |
|---|---|---|---|---|---|
| 비적응 ToViLaG (T+I) | — | 30.0 | 9.6 | 7.4 | 18.0% |
| 최적화 프롬프트 접미사 | 20 토큰, 40-step greedy coordinate | 51.2 | 19.4 | 17.6 | 31.5% |
| 이미지 섭동 | PGD 15-step, $|\delta|_2\le 8/255$, LPIPS $\le 0.05$, $E_h$ 벌점 | 47.8 | 18.1 | 15.9 | 34.2% |
| 프롬프트-이미지 공동 | 이미지 5 / 텍스트 5 step 교대, 총 30 | 54.6 | 22.7 | 20.3 | 38.6% |
| 보편 접미사 | 50 개로 튜닝, 150 개로 평가 | 49.4 | 20.1 | 18.1 | 29.8% |
bypass 율은 최적화 후 모든 대상 head 에서 $g_h^\star=0$ 이 된 유해 사례의 비율입니다. 비적응 7.4% 에서 공동 공격 20.3% 로 거의 3배가 되며, 저자들도 “제한된 견고성”이라고 씁니다.
🛡️ 2. Mix 경화 시도
| 혼합 정책 (공동 적응 공격) | ASR ↓ | Bypass ↓ | MMMU ↑ |
|---|---|---|---|
| 기본 (공개 $\lambda$, 모든 head) | 20.3 | 38.6% | 47.8 |
| (H1) 세션마다 80–95 퍼센타일 무작위 추출 | 17.8 | 24.3% | 47.7 |
| (H2) 비밀 head 부분집합 (16 중 8), $\max_{h\in S}E_h$ | 18.5 | 27.1% | 47.6 |
| Always-on 투영 ($g_h=1$) | 16.4 | 0.0% | 46.9 |
임계값을 무작위화하거나 head 집합을 숨기면 bypass 가 줄지만 ASR 은 여전히 비적응보다 훨씬 높고, bypass 를 0 으로 만드는 always-on 은 유틸리티를 지불합니다.
💡 Key Takeaway “학습된 탐지기가 없다”는 장점은 곧 임계값이 단순하고 공개된 함수라는 약점이기도 합니다. $E_h$ 기반 게이트는 적응 공격자에게 명시적인 최적화 목표를 제공합니다.
한계와 열린 방향
⚠️ 1. 저자가 인정한 한계
- 평가는 템플릿 jailbreak, 스트레스 손상, white-box 적응 공격에 한정되며, 적응 결과는 인증된 견고성 보장이 아닌 스트레스 테스트다.
- 부분공간은 VLSafe 1,000개에서 추출됐고, 느슨한 $E_h$ 퍼센타일이나 분포 밖 공격은 unsafe 출력을 누출시킬 수 있다. 도메인이 바뀌면(문서, 의료) 레이어 범위와 퍼센타일을 재보정해야 한다.
- Canny 는 결정론적이고 학습 불필요하다는 이유로 쓴 것이지 최적이라는 주장은 아니며, 학습된 또는 작업 적응형 접지가 더 강할 수 있다.
- 텍스트 전용 공격에서는 decode-time 스티어링이 더 강할 수 있고, SPARK 는 cross-modal 안전-유틸리티 균형에 최적화되어 있다. Chameleon 이미지 전용 31.4% 는 early fusion 과 보수적 게이팅 때문으로 추정되며 해결되지 않았다.
- SPARK 는 안전 점검과 적대적 테스트를 대체하지 않는다.
🔒 2. 외부 관점의 한계
- 방어와 공격이 같은 데이터 계열을 공유한다. Stage 1 discovery(VLSafe), Stage 2 정렬(ToViLaG 적대 문맥), 평가(VLSafe/ToViLaG)가 분할은 분리돼 있어도 같은 유해 범주·스타일 안에 있다. MM-SafetyBench 로 확장했지만, 순서도·타이포그래피·다국어 같은 다른 공격 계열로의 일반화는 S18 의 제한된 프로브 외에는 보고되지 않았다.
- $E_h$ 는 유해성이 아니라 “구조 밀도”에도 반응한다. AI2D 사례가 보여 주듯 조밀한 무해 다이어그램이 높은 에너지를 가진다. 선택적 혼합으로 과잉 거부는 막았지만, 이는 곧 “조밀한 이미지에 유해 내용을 숨기면 개입이 들어가고, 단순한 이미지에 숨기면 안 들어갈 수 있다”는 뜻이기도 하다.
- 베이스라인 재현의 공정성. 모든 비교가 저자 재현이며, Safety SFT 의 Chameleon 붕괴는 스윕으로 보강했지만 원 저자 설정과의 일치 여부는 확인할 수 없다. 논문 스스로 이전 초안에서 약한 베이스라인을 인용했다가 수정했다고 밝힌 점은 투명하지만, 보고된 ‡ 마진이 1 포인트 안팎인 행도 있다.
- 7B 급 네 모델에 한정되며, 더 큰 모델이나 독점 모델에서 KV 변위 부분공간의 저랭크 구조가 유지되는지는 미지수다.
❓ 3. 열린 질문
- $r_s=8$ 의 저랭크 부분공간이 모델 규모·아키텍처에 따라 어떻게 변하는가? early-fusion(Chameleon)에서 격차가 큰 이유가 부분공간의 랭크 부족인지, 시각 토큰과 텍스트 토큰이 같은 KV 공간에 섞이기 때문인지 분리할 수 있는가?
- $E_h$ 게이트를 공격 표적으로 삼기 어렵게 만들면서도 학습된 분류기를 들이지 않는 방법이 있는가? H1/H2 는 부분적 완화에 그쳤다.
- 구조 prior 를 key 에만 거는 비대칭이 다른 모달리티(오디오, 비디오)에서도 성립하는가? value 에 맞는 “내용 중립적 anchor” 는 무엇인가?
- prefill 1회 편집은 멀티턴 대화에서 어떻게 동작하는가? 이후 턴에서 새로 들어온 이미지·텍스트가 캐시에 추가될 때 $E_h$ 를 다시 재고 혼합을 갱신해야 하는지는 다루지 않았다.
🧷 4. 내 판단과 연구 연결
- 이 논문의 가장 재사용 가치가 높은 부분은 “입력을 고정하고 모델을 교란해 변위를 잰다” 는 Stage 1 설계다. 유해-무해 대조 기반의 refusal direction 추출이 입력 혼입(confound)을 피하기 어렵다는 지적은, jailbreak 방어뿐 아니라 안전 관련 표현 분석 전반에 적용된다.
- KV 캐시를 개입 위치로 삼은 것은 decode-time 스티어링의 비용 문제와 hidden-state 광역 편집의 부작용을 동시에 피하는 실용적 선택이다. 다만 적응 공격 표에서 보듯 게이트의 단순함이 곧 공격 표면이라는 교훈은, 추론 시점 방어를 설계하거나 red-team 할 때 가장 먼저 확인할 항목이다.
- 공격 쪽 관점에서는 bypass 율 38.6% 가 흥미롭다. $E_h$ 를 낮추는 섭동은 곧 “유해 의도를 변위 부분공간 바깥에 표현하는 법”을 찾는 것이므로, 이 결과는 부분공간이 유해 표현을 모두 덮지 못함을 공격자 쪽에서 재확인한 셈이다.
- AI2D 과잉 거부 사례는 멀티모달 안전 평가에 구조 밀도가 높은 무해 이미지 벤치마크를 반드시 포함해야 한다는 근거로 인용할 수 있다.