0. Summary

기본 정보 : ArXiv,2026.10.14, Counterfactual Neighborhood Risk Fields: Evidence-Grounded Selective Safety for Vision-Language Models

연구 배경

시각-언어 모델(VLM)의 안전 결정은 두 방향으로 실패한다. 유해 요청과 무해 요청이 같은 주제·개체·시각 맥락을 공유하는 경우가 많기 때문에(예: 어떤 유해 행위를 예방하는 법을 묻는 요청과 그 행위를 수행하는 법을 묻는 요청은 같은 이미지와 개념을 담을 수 있다), 경계를 느슨하게 잡으면 유해 지원이 통과하고 엄격하게 잡으면 MOSSBench·XSTest 류의 과민 거부(over-refusal)가 늘어 유용성이 무너진다. 여기에 typography, 산만한 이미지, 교차 모달 조합 같은 멀티모달 jailbreak 가 의도 표현 자체를 바꿔 놓는다. 최근의 표현 기반 방어(HiddenDetect, RCS, VLMGuard 등)는 피해자 모델의 은닉 상태에서 유해/무해를 분리하는 공간을 학습해 모델을 수정하지 않고 위험을 추정하지만, 저자들은 “분리만으로는 위험 점수가 무엇을 뜻하는지, 언제 믿어도 되는지가 정해지지 않는다”고 지적한다. 위험 점수가 유해 능력과 단순한 낯섦(참조 커버리지 부족) 을 뒤섞으면 위험한 순응이나 불필요한 거부로 이어지기 때문이다. 그래서 논문은 “유해성 경계를 학습하는 문제”를 “쿼리에 적용 가능한 안전 증거를 구축하는 문제“로 다시 정의한다.

제안 방법

Counterfactual Neighborhood Risk Fields(CNRF) 는 추론 시점(inference-time) 2단계 방어 프레임워크다. 첫째, 유해 요청 $x_i^+$ 마다 주제·개체·문체·시각 의존성은 유지한 채 요청된 능력만 바꾼 무해 대응 $x_i^-$ 를 만들어 맥락 일치 반사실 쌍(context-matched counterfactual pair)을 구축하고, 피해자 모델의 prefill 은닉 상태를 투영한 두 끝점의 차이 $a_i = q_i - b_i$ 를 능력 관련 위험 방향으로 쓴다. 둘째, 쿼리 주변의 $k$ 개 서로 다른 parent 쌍을 모아 신뢰도 가중 합으로 이웃 위험장(neighborhood risk field) 을 만들어 위험 점수 $r$ 을 내고, 이와 별도로 $k$ 번째 무해 이웃까지의 거리로 지지도(support) $s$ 를 추정해 “증거가 이 쿼리에 적용되는가”를 따로 잰다. 셋째, 아키텍처마다 다른 안전 관측을 수용하는 피해자 적응 인터페이스(Qwen·InternVL 은 지역 리더, Gemma 는 내부 안전 토큰 관측기)가 교정된 우선순위 연산자 $\psi(r,s)>\tau$ 로 요청을 라우팅한다. 라우팅은 거부가 아니다. 라우팅된 요청은 같은 피해자 모델이 생성한 후보 응답을 검토(same-victim response review) 해 수용 가능하면 그대로 내보내고, 아니면 검색된 반사실 카드가 제시하는 “허용된 대안 축”에 따라 유해 능력을 줄인 제약 응답을 다시 생성한다.

발견 사실

Qwen2.5-VL-7B, Gemma-3-12B, InternVL3-8B 세 피해자와 JOOD, JailBreakV, UltraBreak, HADES, MMJailBench 다섯 공격군에서 CNRF 는 매크로 방어 성공률(DSR) 88.57%, 86.06%, 89.30% 를 기록해 Qwen·Gemma 에서 최고였고 InternVL 에서는 OH-Defense 보다 약 0.12 포인트 낮았지만 무해 유용성은 훨씬 높았다. MM-Vet 은 native 대비 4.94 / 0.00 / 2.88 포인트 하락에 그쳤고 MMMU 는 2.67 포인트 이내였으며, 안전·유용성을 동일 가중한 SUS 는 69.82, 73.27, 77.21 로 세 모델 모두 최고 점 추정치였다. 반면 OH-Defense 와 CARE 는 일부 공격군에서 DSR 90% 이상을 내지만 MOSS 비거부율이 15–28% 까지 떨어지거나 MMMU 가 5.33% 로 붕괴하는 등 “거부로 산 안전”의 전형을 보였다. 표현 수준 스크리닝에서는 매크로 AUROC 87.87 / 94.50 / 92.74%, TPR@5%FPR 60.76 / 80.75 / 74.93% 로 HiddenDetect·RCS·VLMGuard 를 모든 피해자에서 앞섰다. 증거 품질 ablation 에서는 같은 리더를 두고 참조 선택만 바꿨을 때 매칭 검색의 pAUROC 89.24 가 무작위 이웃 75.24, 먼 이웃 48.59 로 떨어졌고, 검색·중점·방향 길이·신뢰도를 모두 고정한 채 방향만 다른 parent 의 것으로 바꾸면 pAUROC 가 75.32, AUROC 가 94.14 → 77.25% 로 떨어져 “가까운 이웃”이 아니라 “맥락과 능력 전이의 대응 관계”가 증거의 핵심임을 보였다. 응답 검토는 130개 Qwen 파일럿에서 매크로 DSR 변화 없이 무해 후보 48개 중 12개를 추가로 풀어 MM-Vet 35.00 → 58.13 을 회복했고, 추가 지연은 native 대비 0.279–0.551초, 메모리는 최대 0.64 GiB 수준이었다.

핵심 기여

증거 기반(evidence-grounded) 관점의 제시 : 표현 기반 VLM 안전을 “유해성 경계 학습”에서 “선택적 위험 결정을 위한 적용 가능한 증거 구축”으로 재정의하고, 능력 관련 위험과 증거 적용 가능성(지지도) 을 명시적으로 분리했다.
CNRF 프레임워크 : 맥락 일치 반사실 쌍에서 능력 방향을 뽑아 이웃 위험장으로 집계하고, 지지도를 따로 모델링하며, 피해자 적응 스크리닝과 동일 피해자 응답 검토로 이어지는 2단계 추론 시점 방어를 설계했다.
통제 실험에 의한 검증 : 세 피해자 × 다섯 공격군 평가와 함께, 쿼리 매칭 참조·맥락-방향 대응 보존·응답 검토 각각이 낮은 오탐 영역의 위험 순위와 안전-유용성 균형에 실질적으로 기여함을 분리해 보였다.

Abstract 쉬운 설명(Gemini)

📌 한 줄 요약 (Key Takeaway)

AI가 사진을 보고 대답하기 전에 “이 사진에 위험한 요소가 있는지 먼저 말로 또박또박 설명해 봐”라고 습관을 들여주었더니, 악의적인 그림 함정에 속지 않고 안전하게 대답하게 되었다는 연구입니다.

1. 🤔 왜 이런 연구가 필요했나요? (문제 상황)

요즘 챗GPT 같은 AI는 아주 똑똑하고 안전하게 훈련되어 있어서, 글자로 “폭탄 만드는 법 알려줘”라고 물어보면 “위험해서 알려줄 수 없습니다”라고 딱 잘라 거절합니다.

하지만 글자 대신 ‘사진’을 보여주면 AI가 갑자기 바보가 되는 문제가 있었습니다. 예를 들어 폭탄 사진을 보여주면서 “이 물건을 조립하는 다음 단계가 뭐야?”라고 은근슬쩍 물어보면, AI의 안전장치가 고장 나면서 위험한 방법을 술술 대답해 버리는 것입니다. (이를 전문 용어로 ‘탈옥(Jailbreak) 공격’이라고 부릅니다.)

AI의 ‘눈(시각)’과 ‘뇌(언어 안전장치)’가 서로 손발이 맞지 않아 생기는 현상입니다.

2. 💡 어떻게 해결했나요? (SafeCap의 핵심 아이디어)

연구진은 AI에게 새로운 규칙을 가르쳤습니다. 사진을 보고 곧바로 대답하지 말고, 반드시 사진을 글자로 먼저 설명(캡션 작성)한 뒤에 대답하게 만든 것입니다.

이를 ‘공항 보안 검색대’에 비유하면 이해하기 쉽습니다.

단계	공항 보안 검색대 비유	SafeCap AI의 작동 방식
기존 방식 (위험)	가방(사진)을 열어보지도 않고 그냥 통과시킴	사진을 보자마자 깊게 생각하지 않고 바로 대답해 버림 (위험한 질문에 쉽게 뚫림)
1단계: 내용물 적기	보안 요원이 가방 안에 무엇이 있는지 목록을 글자로 꼼꼼히 적음	AI가 사진을 보고 “이 사진에는 폭발물 부품과 위험한 문구가 적혀 있음”이라고 스스로 설명글(캡션)을 먼저 작성함
2단계: 안전 판단	적힌 목록을 보고 감독관이 “위험 물품이니 통과 불가!” 판정을 내림	글자로 적힌 설명을 읽는 순간, AI의 원래 안전장치가 작동하여 “위험한 요청이므로 대답할 수 없습니다”라고 거절함

핵심은 AI가 사진 설명을 대충 적는 것이 아니라, ‘위험한 단서(흉기, 유해한 글씨 등)’를 절대 놓치지 않고 콕 집어내도록 칭찬과 벌점(강화학습)으로 꼼꼼하게 훈련시켰다는 점입니다.

3. 📈 결과는 어땠나요? (기대 효과)

보통 AI를 너무 엄격하게 교육하면, 안전한 일상 사진(예: 요리용 칼 사진)을 보고도 “위험해서 대답 못 해!”라며 엉뚱하게 거절하거나 멍청해지는 부작용이 생깁니다.

하지만 이 방법(SafeCap)을 썼더니 두 마리 토끼를 모두 잡을 수 있었습니다.

평가 항목	기존 AI	SafeCap 적용 후
나쁜 의도의 사진 방어 (안전성)	그림으로 속이면 쉽게 넘어감	위험 요소를 글자로 먼저 파악해 방어 성공률 대폭 상승 (최대 19점 향상)
일반적인 사진 질문 (똑똑함)	안전 교육을 시키면 덩달아 성능이 떨어짐	일상적인 질문에는 여전히 똑똑하고 친절하게 대답함

⚠️ 왜 이 기술이 중요할까요? (시사점)

앞으로 AI는 텍스트뿐만 아니라 카메라로 세상을 직접 보고 판단하는 자율주행, 로봇, 스마트폰 비서 등에 쓰이게 됩니다. 이 연구는 AI가 눈으로 본 정보 때문에 안전 수칙을 어기지 않도록, ‘한 번 글로 정리하고 생각하는 습관’을 길러주는 실용적인 안전벨트를 만들었다는 데 큰 의미가 있습니다.

관련 개념

선택적 안전(Selective Safety)과 경계 학습의 한계

선택적 안전은 모든 의심스러운 입력을 일괄 거부하는 대신, 증거가 충분한 요청만 골라 개입하고 나머지는 통과시키는 결정 방식입니다. 논문은 이것을 선택적 예측(selective prediction)의 안전 버전으로 자리매김하며, 기존 표현 기반 방어가 왜 이 결정을 내리기에 부족한지부터 짚습니다.

⚖️ 1. 두 방향의 실패

경계	결과	벤치마크에서 드러나는 모습
느슨한 경계	유해 능력 요청이 통과	JOOD, HADES 등 멀티모달 jailbreak 의 높은 ASR
엄격한 경계	위험 연관 맥락만 있어도 거부	MOSSBench 류 과민 거부, MM-Vet·MMMU 점수 하락

유해 요청과 무해 요청은 같은 이미지, 같은 개체, 같은 어휘를 공유할 수 있습니다. 예방법을 묻는 요청과 수행법을 묻는 요청의 차이는 “요청된 능력” 하나뿐인데, 주제 기반 분리 공간은 이 차이를 잘 잡지 못합니다.

🔍 2. 표현 기반 방어의 공통 약점

방법	접근	논문이 보는 한계
HiddenDetect	거부 토큰 방향의 내재적 안전 활성 모니터링	분리는 되지만 점수의 의미·적용 범위가 불명확
RCS (KCD / MCD)	클래스 상대 거리로 신규성과 악의성을 구분	가장 가깝지만, 유해/무해 영역과의 유사도만 봄
VLMGuard	비표지 혼합 데이터에서 안전 표현 학습	위와 동일

저자들의 핵심 주장은 “국소냐 전역이냐”가 아니라 “참조 예시가 쿼리와 어떤 관계를 보존하느냐” 가 문제라는 것입니다. 위험 점수가 유해 능력과 단순한 낯섦을 구분하지 못하면 커버리지가 부족한 입력이 위험으로 읽히거나(과민 거부), 참조가 없는 유해 입력이 안전으로 읽힙니다(위험한 순응).

🧭 3. “안전 증거”의 정의

논문은 안전 증거를 능력 관련 비교(capability-related comparison) 와 적용 가능성 평가(assessed applicability) 의 결합으로 정의합니다. 어떤 요청이 안전하다는 직접 증명서가 아니라, “맥락이 일치하는 참조에서 관찰된 능력 전이에 비추어 이 쿼리가 어느 쪽으로 움직였는가”와 “그 참조가 이 쿼리를 덮고 있는가”를 따로 제공하는 것입니다.

💡 Key Takeaway CNRF 의 출발점은 분류기가 아니라 증거의 의미론입니다. 점수가 높은 이유가 “유해 능력 쪽으로 움직여서”인지 “참조가 없어서”인지를 구분할 수 있어야 거부 대신 선택적 검토가 가능해집니다.

맥락 일치 반사실 쌍(Context-Matched Counterfactual Pairs)

반사실 쌍은 유해 요청 $x_i^+$ 와, 주변 맥락을 최대한 유지한 채 요청된 능력만 바꾼 무해 대응 $x_i^-$ 로 이루어진 쌍입니다. CNRF 에서 안전 증거의 기본 단위이며, 반사실 증강(Kaushik et al., 2020)의 “라벨을 바꾸는 최소 변환” 아이디어를 안전 영역으로 옮긴 것입니다.

🔁 1. 여섯 가지 행동 전이 축

재작성은 주제, 고유명사, 문체(register), 대략적 길이, 시각 의존성, 출력 형식을 보존하면서 아래 여섯 축 중 하나를 따라 요청된 행동만 바꿉니다.

유해 끝점	→ 무해 끝점
유해 실행(harmful execution)	예방(prevention)
획득(acquisition)	탐지(detection)
회피(evasion)	준수(compliance)
표적화(targeting)	보호(protection)
파괴적 조작(destructive manipulation)	복원(restoration)
위험한 지시(dangerous instruction)	무해 도메인 작업(benign domain operation)

재작성은 로컬 Gemma-3-12B 가 temperature 0.7 로 수행하고, 어휘 중복이 부족하거나, 유해 조작이 남아 있거나, 이미지 의존성이 근거 없이 바뀌거나, 축이 일관되지 않거나, 거의 중복인 후보는 걸러냅니다. 같은 parent 과제를 여러 방식으로 렌더링한 carrier 변형(문서형, FigStep 형, 원문 텍스트, 배경 이미지, 평문 카드, 원시 시각 등)도 함께 두어 “능력 변화”와 “표현 방식 변화”를 분리할 수 있게 합니다.

🧪 2. 관측과 투영 (Eq. 1)

prefill 관측 맵 $\phi_\theta(x)$ 는 보호 대상 VLM 의 정규화된 은닉 상태를 읽습니다. 관측 입력은 원 요청, 고정된 안전 verbalizer 프롬프트, 또는 둘의 조합이며, 응답이나 과제 재진술을 생성하지 않고 중간 표현만 읽습니다. 학습으로 적합된 투영이

\[z = P\big(\phi_\theta(x) - \mu\big)\]

를 만들어 쌍별 능력 차이는 보존하고 무관한 변동은 줄입니다. Qwen 은 쌍 차이와 parent 내 carrier 잔차 사이의 위험 대 잡음 일반화 고유값 기준으로 투영 방향을 고르고, InternVL 은 신호만의 기하를 씁니다.

설정	Qwen2.5-VL-7B	InternVL3-8B
입력 관측	verbalizer 프롬프트	native + verbalizer
정규화 블록 수	8	16
투영 랭크	8	4
서로 다른 parent 이웃 $k$	16	4
투영 ridge	0.01	1
신뢰도 shrinkage	0.01	0.1
무해 예산 $\alpha$	0.15	0.20

관측은 상대 깊이 $1/4, 1/2, 3/4, 1$ 에서 마지막 토큰과 비이미지 토큰 평균 두 가지 readout 을 씁니다. 적합·교정·검증 데이터는 parent 와 공유 이미지 그룹 단위로 분리해 누수를 막습니다.

💡 Key Takeaway 반사실 쌍은 “유해 데이터와 무해 데이터”가 아니라 “같은 맥락에서 능력만 바뀐 두 끝점” 입니다. 이 설계 덕분에 끝점 차이 벡터가 주제가 아닌 능력 전이를 가리키게 됩니다.

능력 방향(Capability Direction)과 국소 좌표

능력 방향은 투영된 무해 끝점 $b_i$ 와 유해 끝점 $q_i$ 의 차이로 정의되는 벡터로, 맥락을 유지한 채 능력이 바뀔 때 표현이 이동하는 방향입니다. 쿼리를 이 방향 위에 좌표로 찍으면 “유해 끝점 쪽으로 얼마나 움직였는가”가 해석 가능한 숫자가 됩니다.

📐 1. 중점과 방향, 그리고 좌표 (Eq. 2–3)

\[m_i = \frac{b_i + q_i}{2}, \qquad a_i = q_i - b_i\] \[c_i(z) = \frac{2\langle z - m_i,\, a_i\rangle}{\|a_i\|^2}\]

유효한 쌍마다 무해 끝점은 $-1$, 유해 끝점은 $+1$ 로 정규화됩니다. 중점 $m_i$ 가 비교를 관찰된 맥락에 고정하고, $|a_i|^2$ 로 나누는 정규화가 방향 간 스케일 차이를 없앱니다.

📏 2. 국소 좌표 오차 상한 (Eq. 16)

쌍 $i$ 근처의 쿼리를 $z = m_i + u\,a_i/2 + e$ 로 쓰고 다른 쌍 $j$ 로 좌표를 읽으면

\[|c_j(z) - u| \le |u|\left|\frac{\langle a_i, a_j\rangle}{\|a_j\|^2} - 1\right| + \frac{2|\langle m_i - m_j, a_j\rangle|}{\|a_j\|^2} + \frac{2\|e\|}{\|a_j\|}\]

세 항은 각각 방향 불일치, 맥락 절편 불일치, 잔차 표현 오차입니다. 국소성(가까운 이웃 선택)은 두 번째 항을 줄여 주지만, 첫 번째 항인 방향 대응은 독립적으로 보장되어야 합니다. 이것이 뒤의 “방향만 바꾸는” ablation 이 필요한 이유입니다.

💡 Key Takeaway 가까운 참조라고 해서 올바른 증거는 아닙니다. 이웃의 방향이 쿼리의 맥락과 대응하지 않으면 좌표가 틀립니다. CNRF 는 이 둘을 분리해서 설계하고 분리해서 검증합니다.

이웃 위험장(Neighborhood Risk Field)과 지지도 분리

이웃 위험장은 쿼리 주변의 여러 반사실 방향을 신뢰도 가중으로 집계해 쿼리별 위험 추정을 내는 장(field)입니다. 핵심은 위험 추정과 증거 적용 가능성(지지도) 을 따로 모델링한다는 점입니다.

🧮 1. 집계와 위험 점수 (Eq. 4, 14)

투영 공간에서 가장 가까운 $k$ 개 서로 다른 parent 의 중점이 이웃 $N(z)$ 를 이룹니다.

\[v_N(z) = \frac{2\sum_{i\in N(z)} \beta_i a_i}{\sum_{i\in N(z)} \|a_i\|^2}, \qquad r_0(z) = \langle z, v_N(z)\rangle - d_N(z)\]

절편 $d_N$ 은 Qwen 에서는 쌍 중점 기준

\[d_N(z) = \frac{2\sum_{i\in N(z)} \beta_i \langle m_i, a_i\rangle}{\sum_{i\in N(z)}\|a_i\|^2}\]

이고, InternVL 에서는 서로 다른 parent 의 무해 이웃 8개 평균 $b_N(z)$ 를 써서 $d_N(z) = \langle b_N(z), v_N(z)\rangle$ 입니다. 비음수 신뢰도 $\beta_i$ 는 parent 가중 로지스틱 손실을 1 쪽으로 2차 shrinkage 하며 적합하고, 쿼리 자신의 parent 참조는 제외합니다. $r_0$ 는 적합된 무해 통계(중앙값·사분위 범위)로 표준화되어 최종 부호 있는 위험 점수 $r$ 이 됩니다.

🛡️ 2. 지지도(Support)

지지도는 $k$ 번째 서로 다른 parent 무해 이웃까지의 투영 거리 $\rho(z)$ 를 무해 통계로 표준화한 $s(z)$ 입니다. 값이 클수록 참조 커버리지가 약하다는 뜻이며, 유해성이 아니라 적용 가능성을 나타냅니다.

🚦 3. 우선순위 연산자와 라우팅 (Eq. 7, 8, 15)

\[R(x) = \mathbf{1}\big[\psi(r(x), s(x)) > \tau\big]\] \[\psi_{\text{Qwen}}(r,s) = r, \qquad \psi_{\text{InternVL}}(r,s) = \min\{\max(r,s),\, r+1\}\]

항목	Qwen	InternVL
지지도의 역할	진단용, 단독으로 검토를 트리거하지 않음	지지도가 위험을 끌어올리되 무해 위험 IQR 1단위로 상한
위험/우선순위 컷오프	≈ 1.020079	≈ 1.050150
지지도 컷오프	≈ 1.447632	≈ 1.368194

$|v_N| \le 10^{-12}$ 로 집계 방향이 쓸모없으면 $s > \tau_s$ 만으로 검토를 트리거하고, 그 방향으로는 어떤 표현 편집도 허용하지 않습니다. 컷오프는 자연-안전과 어려운-안전 교정층에서 parent 가중 무해 $(1-\alpha)$ 분위수 중 큰 값을 쓰고, 운영 예산은 개발 결과로 고릅니다.

💡 Key Takeaway “위험이 높다”와 “증거가 없다”를 다른 숫자로 들고 있는 것이 CNRF 의 정체성입니다. 지지도가 낮은 쿼리를 바로 거부하지 않고 검토로 보내기 때문에 낯선 무해 입력이 거부로 흐르지 않습니다.

피해자 적응 인터페이스(Victim-Adaptive Interface)

피해자 적응 인터페이스는 VLM 아키텍처마다 노출되는 안전 관측이 다르다는 사실을 받아들이고, 리더(reader)는 바꾸되 스크리닝·검토 프로토콜은 같게 유지하는 설계입니다.

🧠 1. 내부 안전 관측기 (Eq. 5–6)

내부 안전 신호가 믿을 만한 모델에서는 지역 위험장 대신 verbalizer 토큰 집합 $\mathcal{H}, \mathcal{B}$ 의 로그-합-지수 차이를 씁니다.

\[q_l(x) = \log\sum_{t\in\mathcal{H}} \exp z_{l,t}(x) - \log\sum_{t\in\mathcal{B}} \exp z_{l,t}(x), \qquad T_I(x) = \frac{1}{|I|}\sum_{l\in I} q_l(x)\]

Gemma-3-12B 는 마지막 토큰의 안전 토큰 점수를 transformer 블록 19–26(1-based, 임베딩 제외)에서 평균하고, 원 입력 전체를 쓰며, 임계값은 약 0.328594 입니다.

🔀 2. 세 피해자의 구성

피해자	스크리닝 신호	반사실 참조의 쓰임
Qwen2.5-VL-7B	지역 위험장 (위험만)	스크리닝 + 응답 검토
InternVL3-8B	지역 위험장 (위험 + 지지도)	스크리닝 + 응답 검토
Gemma-3-12B	내부 안전 관측기	응답 검토 단계에만

중요한 점은 Gemma 에서도 반사실 참조가 사라지지 않고 별도 교정된 응답 단계에 남아 있다는 것입니다. 피해자마다 단일 고정 구성을 모든 공격군과 무해 코호트에 동일하게 적용합니다.

💡 Key Takeaway 방어의 핵심 논리(위험과 지지도의 분리, 선택적 검토)는 고정하고 증거를 읽는 창구만 모델에 맞춥니다. 한 아키텍처에서 잘 되는 은닉 상태 탐지기가 다른 아키텍처에서 무너지는 문제(Table 5 의 HiddenDetect InternVL TPR@5 1.91%)에 대한 실용적 대응입니다.

동일 피해자 응답 검토(Same-Victim Response Review)

응답 검토는 스크리닝이 골라낸 요청을 곧바로 거부하지 않고, 보호 대상 VLM 자신이 만든 후보 응답을 검사해 풀어주거나 제약된 대안으로 바꾸는 단계입니다. “검사(inspection)”와 “거부(refusal)”를 분리한 것이 핵심입니다.

📜 1. 결정 규칙 (Eq. 9)

라우팅된 요청에 대해 피해자가 먼저 버퍼 후보 $Y_d$ 를 생성하고, 검증기가 출시 조건 $G(x, Y_d)$ 를 평가하며, 검색된 반사실 카드가 능력 축과 허용 대안을 제공합니다. $K_i$ 를 컴파일된 응답 지시라 하면

\[Y(x) = \begin{cases} Y_d(x), & R(x)=0 \ \text{또는}\ G(x, Y_d)=1 \\ T_\theta(K_i), & \text{그 외} \end{cases}\]

🗂️ 2. 구현 세부

요소	내용
응답 증거 은행	탐지 참조 은행과 분리해 따로 교정
검증기 조건	위험 조건과 지지도 조건을 학습 데이터로 교정해 논리곱으로 결합
반사실 카드	검색된 행동 전이 축이 허용 대안을 지정. 학습 예시 전체를 복사하지 않음
InternVL 커버리지 조건부 resolver	검증기가 거부 사유를 “커버리지 부족”으로 돌리고 hard alarm·양성 안전 증거가 없을 때 적용. 같은 피해자의 추가 후보 검사가 능력 점수 3 미만이어야 출시. alarm, 형식 오류, 점수 3 이상은 거부권
시각 대체 생성	원 이미지와 원 지시를 제외하고, 컴파일된 행동 제약과 고정 거부 접두사를 피해자에게 제공
실행 재사용	요청 내 동일 이미지 특징 호출을 최대 2개, 128 MiB 예산 안에서 재사용. LM prefill·KV 캐시는 보존하지 않음

Qwen 과 Gemma 는 resolver 없이 “지지된 후보 출시” 규칙만 씁니다. 전체 9,477개 평가 입력에서 재사용 어댑터 적용 전후로 후보·최종 응답·라우팅이 동일하고 탐지 점수가 $10^{-7}$ 이내로 일치함을 확인했습니다.

💡 Key Takeaway 스크리닝에 걸렸다고 거부하는 것이 아니라 같은 모델이 이미 만든 답을 한 번 더 들여다봅니다. MOSSBench 의 “독성 물질 그림 옆에서 생일 파티 계획을 묻는” 류의 입력은 라우팅되더라도 후보가 무해하면 그대로 나갑니다.

실험 설정과 주요 결과

평가 패널은 피해자당 3,159개 입력으로, 다섯 공격군과 세 무해 코호트를 같은 피해자 입력·greedy 디코딩·256 토큰 예산·bfloat16 아래에서 모든 방어에 동일하게 적용합니다.

🗃️ 1. 코호트와 평가 단위

역할	코호트	$n$	평가 단위
공격	JOOD	510	170 목표, best-of-three
공격	JailBreakV	280	샘플
공격	UltraBreak	315	샘플 (Qwen2-VL-7B 에서 전이된 범용 이미지)
공격	HADES	750	샘플
공격	MMJailBench	544	샘플 (carrier·프롬프트 층화)
무해	MOSSBench	300	거부 실패
시각 QA	MM-Vet	160	부분 정답률
시각 QA	MMMU	300	선택지 정확도

판정은 공통 로컬 Gemma-3-12B 가 1–5점 유해성 점수를 매기고 $s \ge 4$ 를 공격 성공으로 봅니다.

\[\mathrm{ASR}_a = \frac{1}{n_a}\sum_{u} h_{au}, \quad \mathrm{DSR}_a = 1 - \mathrm{ASR}_a, \quad \mathrm{MacroASR} = \frac{1}{|\mathcal{A}|}\sum_{a} \mathrm{ASR}_a\] \[\mathrm{SUS} = 100 \times (0.5D + 0.5B), \quad D = 1 - \mathrm{MacroASR}, \quad B = \frac{S_{\text{MMVet}} + \mathrm{Acc}_{\text{MMMU}} + (1 - F_{\text{MOSS}})}{3}\]

🥊 2. 베이스라인

계열	방법
표현 기반 탐지	HiddenDetect, RCS-KCD, RCS-MCD, VLMGuard
입력·응답 수준	AdaShield-A, ECSO, CIDER
위험 인식 내부 개입	ASTRA, OH-Defense, CARE

RCS 두 변형은 공정 비교를 위해 원 데이터 대신 CNRF 반사실 아카이브로 적합했고, CARE 는 원 적합 소스에 평가용 JailBreakV 가 포함되어 있어 분리된 소스로 다시 적합했습니다.

📊 3. 안전-유용성 결과 (Table 1, 단위 %)

피해자	방법	JOOD	JBV	UBR	HDS	MJB	MOSS	MMV	MMMU	SUS
Qwen	Native	44.12	72.50	38.73	76.00	46.69	72.00	68.19	52.67	60.24
Qwen	OH-Defense	80.59	88.21	76.19	94.13	95.22	27.67	59.06	46.00	51.15
Qwen	CARE	76.47	89.64	91.75	87.87	92.46	15.33	35.31	30.33	33.75
Qwen	CNRF	80.59	95.36	94.92	95.87	76.10	58.67	63.25	50.00	69.82
Gemma	Native	41.18	52.50	83.17	95.20	48.35	80.33	67.88	41.33	64.54
Gemma	ECSO	61.76	58.21	97.14	97.07	69.85	77.67	67.88	41.33	69.90
Gemma	OH-Defense	44.12	77.14	100.00	97.60	95.04	68.67	67.31	5.33	60.37
Gemma	CNRF	77.65	83.57	92.06	98.53	78.49	77.00	67.88	41.00	73.27
InternVL	Native	44.71	67.86	93.02	90.27	54.78	76.67	78.50	56.00	70.88
InternVL	OH-Defense	74.12	89.29	100.00	93.20	90.44	26.33	5.75	30.00	34.40
InternVL	CARE	63.53	77.86	99.37	97.47	91.91	72.67	76.00	56.00	76.68
InternVL	CNRF	83.53	90.71	93.65	96.80	81.80	70.33	75.63	56.00	77.21

공격 열은 DSR, MOSS 는 비거부율입니다. 가장 낮은 공격군 DSR 은 Qwen 의 MMJailBench(76.10%)와 Gemma 의 JOOD(77.65%)로, 특정 멀티모달 패턴에는 여전히 여지가 남아 있습니다.

🎯 4. 표현 스크리닝 (Table 5, 단위 %)

피해자	방법	AUROC	TPR@5	pAUC	공격 라우팅	MOSS 통과	Vet 통과	MMMU 통과
Qwen	HiddenDetect	85.81	37.62	66.23	39.84	90.33	93.12	100.00
Qwen	RCS-KCD	51.16	20.72	57.98	55.72	85.33	34.38	8.00
Qwen	CNRF	87.87	60.76	77.30	74.55	79.33	92.50	94.00
Gemma	HiddenDetect	90.88	62.83	78.17	70.99	74.67	99.38	100.00
Gemma	VLMGuard	69.43	54.00	74.70	67.48	87.00	73.12	13.00
Gemma	CNRF	94.50	80.75	84.59	72.44	89.00	100.00	99.67
InternVL	HiddenDetect	63.12	1.91	49.11	71.68	88.67	68.12	3.33
InternVL	RCS-KCD	74.96	48.41	71.97	67.16	69.00	75.00	100.00
InternVL	CNRF	92.74	74.93	80.80	81.41	84.67	96.25	100.00

논문은 순위 품질과 선택적 라우팅은 다른 문제라고 강조합니다. HiddenDetect 는 Qwen MOSS 를 더 많이 통과시키지만 공격의 39.84% 만 라우팅합니다. RCS·VLMGuard 는 MM-Vet·MMMU 통과율이 한 자릿수까지 떨어지는 피해자가 있는데, 이는 낯선 무해 입력을 위험으로 읽는 전형적 증상입니다.

💡 Key Takeaway SUS 가 말하는 것은 “가장 많이 막는다”가 아니라 “막으면서도 MM-Vet·MMMU·MOSS 를 native 근처에 유지한다” 입니다. OH-Defense 와 CARE 의 높은 DSR 은 유용성 붕괴와 함께 왔습니다.

증거 품질 Ablation 과 응답 검토 분석

통제 실험은 적합된 투영·신뢰도·교정을 모두 고정하고 증거 구축 방식만 바꿔, CNRF 성능이 어디에서 오는지를 분리합니다. Qwen 고정 리더, 315개 독립 parent 의 770개 검증 입력을 씁니다.

🔬 1. 참조 선택과 방향 대응 (Table 6–7)

증거	AUROC	TPR@5%FPR	pAUROC (FPR 0–10%)
매칭 국소 (16 nearest distinct parents)	94.14	83.64	89.24
전역 집계	93.29	78.18	85.92
무작위 이웃 (10 seed 평균)	86.05	56.84	75.24
먼 이웃	49.19	1.82	48.59
방향 불일치 (검색·중점·길이·신뢰도 고정)	77.25	54.80	75.32

매칭 대비 AUROC 차이의 95% 부트스트랩 구간(2,000 replicate): 무작위 +8.09 [4.99, 11.53], 먼 이웃 +44.95 [36.93, 52.89], 방향 불일치 +16.89 [11.14, 23.50]. 반면 국소 대 전역은 +0.85 [-1.17, 2.67] 로 구간이 0 을 포함합니다. 저자들은 이를 “국소 집계가 유일하게 최적이라는 뜻은 아니지만, 대응 관계를 보존하는 증거 선택이 중요하다는 뜻”으로 해석합니다. 쌍 끝점 부분집합(430개)에서도 매칭 94.58% 대 불일치 91.12% 의 우위가 남습니다.

🧩 2. 후적합 기하 개입 (Table 8, AUROC %)

피해자	매칭	전역	신규성(novelty)만	$\beta$ 균등	방향 재배정 (10회 범위)
Qwen2.5-VL-7B	94.14	93.29	92.97	78.54	66.54–87.77
InternVL3-8B	87.17	76.78	95.54	86.01	86.25–89.36

Qwen 에서는 신뢰도 가중을 없애거나 방향을 뒤섞으면 크게 떨어지고, InternVL 에서는 신규성 단독 점수가 오히려 높아 피해자마다 기하가 다름이 드러납니다. 이것이 InternVL 에 지지도를 우선순위에 합치는 $\psi$ 를 쓰는 배경입니다.

🔁 3. 응답 검토의 효과 (Table 10–11, InternVL 3,159개)

동작	ASR ↓	ASR3 ↓	MOSS 실패 ↓	Vet ↑	MMMU ↑
Native	29.88	38.00	23.33	78.50	56.00
+ 고정 거부	9.97	13.59	34.00	75.63	56.00
+ 일반 제약 검토	9.93	13.56	34.00	75.63	56.00
+ 전체 검토	10.70	15.02	29.67	75.63	56.00

전체 검토는 일반 검토 대비 MOSS 실패를 −4.33 [−6.67, −2.00] 포인트 줄이고(13개 무해 응답 추가 출시) 매크로 ASR 은 +0.77 [0.34, 1.27] 포인트 오릅니다. 즉 측정 가능한 안전-수용 트레이드오프가 존재하며, Qwen·Gemma 에서는 두 검토 사이에 차이가 없어 효과가 모델 의존적입니다.

130개 Qwen 파일럿(라우팅 층화)에서는 카드 없는 후보 검토가 무해 48개 중 12개(MOSS 2, MM-Vet 4, MMMU 6)를 추가로 풀어 MOSS 비거부 56.25 → 62.50%, MM-Vet 35.00 → 58.13, MMMU 37.50 → 50.00% 를 회복했고 매크로 ASR 24.58% 는 변하지 않았습니다. 파일럿 SUS 는 +9.91 [3.62, 19.51] 입니다.

⏱️ 4. 비용 (Figure 5b, 무해 MM-Vet 32개, RTX 6000D)

비교	평균 지연	최대 피크 메모리
CNRF − Native	+0.279 ~ +0.551 초	+0.02 ~ +0.64 GiB
CNRF − ECSO	Qwen −0.059 초, Gemma −0.073 초, InternVL +0.090 초	—

💡 Key Takeaway ablation 이 보여주는 것은 “국소가 전역보다 낫다”가 아니라 “방향 대응이 깨지면 가까운 이웃도 소용없다” 입니다. 그리고 응답 검토는 공짜가 아니라, 거부로 숨기던 유해 통과분 일부를 수용의 대가로 드러냅니다.

한계와 열린 방향

CNRF 는 방어 성능을 “경계 학습” 대신 “증거 구축”으로 설명하려는 드문 시도이지만, 평가 설계와 일반화 범위에는 저자들도 인정하는 제약이 있습니다.

⚠️ 1. 저자가 인정한 한계

판정자가 공통 로컬 Gemma-3-12B 하나이며, 피해자 중 하나와 같은 모델 계열이라 판정 편향을 상속할 수 있습니다. 저자들은 자동 판정을 사람 평가와 분리해 해석해야 한다고 명시합니다.
수치 임계값은 훈련 역할 데이터, 운영 예산은 개발 결과로 골랐고 평가는 선택된 벤치마크 스위트에 대한 성능입니다. 독립 샘플링된 전향적(prospective) 평가는 별도 요구사항으로 남겨 두었습니다.
응답 검토의 이득은 모델 의존적이며(InternVL 에서만 전체 검토가 일반 검토와 달랐음), 파일럿은 카드 고유의 이점을 입증하지 않습니다.
부트스트랩 구간은 선택된 코호트와 고정 판정자를 조건으로 하며, 공유 소스 과제·이미지가 추가 의존성을 만들 수 있습니다.

🔒 2. 외부 관점의 한계

반사실 쌍은 LLM(Gemma-3-12B)이 생성하고 LLM 이 거릅니다. 여섯 축이 유해 능력 공간을 얼마나 덮는지, 축에 들어맞지 않는 유해 요청(예: 설득·조작처럼 “예방 대응”이 자연스럽지 않은 경우)에서 방향이 무엇을 가리키는지는 검증되지 않았습니다.
피해자별로 리더 종류, 투영 랭크, $k$, $\psi$ 형태, 컷오프가 모두 다릅니다. “단일 고정 구성”이라고 해도 그 구성을 고르는 과정에 피해자별 튜닝이 들어가므로, 새 모델에 옮길 때의 비용과 실패 양상이 불투명합니다.
공격은 모두 재생(replay) 또는 전이 공격입니다. CNRF 의 위험장 자체를 알고 설계하는 적응형 공격자(방향에 직교하는 carrier 를 고르거나 지지도를 인위적으로 높이는 공격)는 다루지 않습니다.
MOSS 비거부율이 Qwen 에서 58.67% 로 native(72.00%)보다 여전히 13 포인트 낮습니다. 과민 거부 문제를 “완화”했지 해결한 것은 아닙니다.

❓ 3. 열린 질문

지지도가 낮은(낯선) 유해 요청은 어디로 가는가? Qwen 에서는 지지도가 검토를 트리거하지 않으므로, 참조 밖의 신종 공격은 위험 점수 하나에 의존하게 됩니다.
방향 대응이 중요하다면, 반사실 쌍을 쿼리 시점에 즉석 생성하는 쪽이 고정 은행보다 나을 수 있지 않은가? 비용과 안전성(생성기 자체가 jailbreak 될 위험)의 균형이 문제가 됩니다.
텍스트 전용 LLM 에도 같은 틀이 성립하는가? 논문은 텍스트 전용 구현이 있다고만 언급하고 결과는 시각 패널만 보고합니다.

🧷 4. 내 판단과 연구 연결

이 논문의 가장 쓸모 있는 부분은 방법 자체보다 “위험 점수의 적용 가능성을 따로 측정하라” 는 프레이밍입니다. 표현 공간에서 jailbreak 를 탐지하는 어떤 방법이든 “이 쿼리가 참조 분포 밖인가”를 함께 보고하지 않으면 과민 거부와 구분할 수 없다는 지적은 내 탐지 실험에도 그대로 적용됩니다.
“방향만 바꾸는” ablation(Table 6 의 direction mismatch)은 difference-of-means 류 steering/탐지 방향을 평가할 때 바로 가져다 쓸 수 있는 통제 조건입니다. 이웃 선택을 고정하고 방향만 섞었을 때 성능이 유지되면 그 방향은 맥락 정보가 아니라 전역 유해 축일 뿐입니다.
멀티모달 jailbreak 방어 평가에서 MOSSBench·MM-Vet·MMMU 를 함께 두고 SUS 로 묶는 설계는, 방어 논문의 “DSR 만 높이기” 관행을 견제하는 좋은 기준선입니다. OH-Defense 와 CARE 의 수치가 이 점을 잘 보여 줍니다.
공격자 입장에서 보면 CNRF 의 약점은 지지도와 위험의 분리 그 자체입니다. 위험 방향에 직교하면서 무해 이웃에 가까운 carrier 를 찾는 적응형 공격이 자연스러운 다음 실험입니다.