0. Summary

기본 정보 : ArXiv,2026.04.27 (CVPR 2026 Findings), Jailbreaking Frontier Foundation Models Through Intention Deception

연구 배경

기존 안전 학습은 사용자 의도에 기반한 거부 경계(refusal boundary) 를 학습한다. 그러나 의도는 신뢰할 수 있게 평가되지 않으며, 공격자가 의도를 숨기면 경계는 모호해지고 모델은 불필요하게 비협조적으로 보이기도 한다. 이에 GPT-5 같은 최전선 모델은 안전 제약을 지키면서 유용성을 최대화하는 safe completion 으로 옮겨갔다. 직접 답할 수 없는 요청에도 “안전한 대안”을 제공하려는 방식이다. 논문은 바로 이 전환이 새로운 공격면을 만든다고 본다. 사용자가 선의의 의도를 거짓으로 제시(intent inversion) 하면 safe completion 의 유용성 압력이 악용될 수 있고, 이 효과는 다중 턴에서 특히 강해진다. 기존 다중 턴 공격(Crescendo, Chain-of-Attack)은 중립 질문에서 시작해 점진적으로 유해 목표로 옮겨가는데, 최신 모델의 직접 거부에 막혀 GPT-5 와 Claude-Sonnet-4.5 에서는 거의 작동하지 않는다.

제안 방법

논문은 iDecep 이라는 의도 기만(intention deception) 기반 다중 턴 black-box 공격 프레임워크를 제안한다. 공격자는 실제 유해 목표 $G$ 를 숨기고 처음부터 목표 주제 근처에 머물되, 방어·감사·보고서 작성·교육 같은 겉보기에 선의적인 의도 $I$ 로 대화를 프레이밍한다. 탐색 단계(explore)에서 선의의 서사를 강화하며 피해 모델의 응답에서 파고들 수 있는 후보 지점을 수집하고, 착취 단계(exploit)에서 각 후보를 분기(branch)로 삼아 후속 질의를 생성하며 내부 평가자가 성공 가능성을 판단하고 필요하면 같은 턴에서 재생성한다. 핵심 개념은 para-jailbreaking 이다. 모델이 직접 요청에는 안전하게 답하면서도, 함께 제공하는 대안 내용 $y^{alt}$ 안에 유해 정보를 누출하는 실패 모드로, 심판은 $f_J(y,G)=\max{f_J(y^{direct},G),f_J(y^{alt},G)}$ 로 두 구성 요소를 분리해 판정한다.

발견 사실

AdvBench 텍스트 100개 과제에서 Qwen-Plus 공격자 기준 iDecep 의 Total SR 은 GPT-4o 0.96, Gemini-2.5-Flash 0.98, Claude-Sonnet-4.5 0.59, GPT-5 0.63 이었고, 같은 설정에서 Chain-of-Attack 과 Crescendo 는 GPT-5 에서 0.02, Claude-Sonnet-4.5 에서 0.00 에 머물렀다(Table 1). 강한 모델에서는 성공의 대부분이 para-jailbreaking 이었다. GPT-5 의 Direct SR 은 0.12 인 반면 Para SR 은 0.51 이다. ClearHarm 100개 과제에서도 GPT-5 Total 0.63, Direct 0.11, Para 0.52 로 같은 패턴을 보였다. 무해한 이미지를 붙인 AdvBench-Vision 에서는 GPT-5 Total SR 이 0.84(Direct 0.23, Para 0.61)로 텍스트보다 높아져, 무해 이미지가 선의 서사를 강화하는 맥락으로 작동함을 시사한다(Table 2). 더 약한 공격자 GPT-3.5-Turbo 로도 GPT-5 에 대해 Total 0.79(Para 0.60)를 기록해, 효과가 공격자 능력보다 의도 기만 메커니즘 자체에서 나온다는 근거가 되었다. ClearHarm 영역별로는 사이버보안이 가장 취약했고 생물·화학은 상대적으로 낮았지만 여전히 무시할 수 없는 성공이 보고되었다(Table 8).

핵심 기여

  1. Para-jailbreaking 의 정의와 측정 : safe completion 의 “안전한 대안” 경로가 유해 정보의 누출 통로가 되는 새로운 실패 모드를 정의하고, Total SR 을 Direct SR 과 Para SR 로 분해하는 평가 기준을 제시했다.
  2. iDecep: 의도 기만 기반 탐색-착취 공격 : 처음부터 선의의 의도로 목표 주제 근처에 머물며 대화 일관성 압력을 이용하는 black-box 다중 턴 공격을 설계하고, 조건부 이론 결과(Theorem 1–3)로 뒷받침했다.
  3. 최전선 모델과 멀티모달 설정에서의 실증 : GPT-5, Claude-Sonnet-4.5 등 기존 다중 턴 공격이 거의 실패하는 모델에서 유의미한 성공률을 보였고, 무해 이미지가 공격을 증폭함을 AdvBench-Vision 으로 보였다.

관련 개념

Safe Completion 의 새로운 공격면: Para-Jailbreaking

Para-jailbreaking 은 모델이 유해 요청에 직접 답하지 않으면서도, 거절과 함께 제공하는 대안·보조 정보 안에서 유해 정보를 누출하는 실패 모드입니다. 강한 거부(hard refusal)에서는 존재하지 않던 경로가 safe completion 으로의 전환과 함께 생겨났습니다.

🧩 1. 응답의 분해와 심판 정의 (Section 3)

피해 모델의 턴 $t$ 응답을 두 구성 요소로 나눕니다.

\[y_t=(y_t^{direct},\ y_t^{alt})\]
구성 요소 의미
$y^{direct}$ 직접 답변. 거부일 수도 있음
$y^{alt}$ 대안 또는 safe-completion 내용. 비어 있을 수도 있음

외부 심판 $f_J$ 는 세션 종료 후 두 구성 요소를 각각 판정합니다(Eq. 2–3).

\[f_J(y,G)=\max\{f_J(y^{direct},G),\ f_J(y^{alt},G)\}\]

어느 한쪽이라도 유해하면 응답은 유해합니다.

🔀 2. 두 가지 실패 모드 (Eq. 4)

\[P[f_J=1]=\delta_{direct}+\delta_{para}\]
실패 모드 조건 성격
직접 jailbreak (direct misalignment) $f_J(y^{direct},G)=1$ 직접 답변 자체가 유해
Para-jailbreak (para-harm misalignment) $f_J(y^{direct},G)=0$ 이고 $f_J(y^{alt},G)=1$ 직접 답변은 안전하지만 대안 내용이 유해

세션 수준의 성공 확률(Eq. 10–12)은 $P_{attack}(G)=P_{direct}+P_{para}$ 이며, $P_{para}$ 는 어떤 턴에서 유해한 대안이 나오되 그 이전에 유해한 직접 답변이 없었을 확률입니다.

🔍 3. 왜 이 경로가 열렸는가

패러다임 거절 시 응답 누출 가능 통로
강한 거부 “도와드릴 수 없습니다” 없음
Safe completion 거절 + 상위 수준 설명, 안전한 대안, 관련 배경 대안 내용

Safe completion 은 유용성을 유지하면서 정책을 지키려 합니다. 그러나 “안전한 대안”이 실제로는 유해 목표에 필요한 조각 정보를 제공할 수 있습니다. 모델 입장에서 각 조각은 정책 안에 있지만, 공격자 입장에서는 목표를 향한 발판입니다. 기존 벤치마크가 “직접 유해 답변”만 성공으로 세면 이 실패 모드는 통째로 누락됩니다.

💡 Key Takeaway “거절했으니 안전하다”는 전제가 무너집니다. Safe completion 시대의 평가는 “거절했는가”가 아니라 “거절하면서 무엇을 제공했는가” 까지 봐야 합니다.

위협 모델과 문제 정식화

위협 모델은 현실적인 black-box 공격자를 가정합니다. 피해 모델의 가중치, gradient, 내부 상태에 접근하지 않고, API 식 상호작용에서 텍스트 응답만 관찰합니다.

📐 1. 표기 (Table 3)

기호 의미
$G$ 공격자의 실제 유해 목표
$I$ 피해 모델에 제시하는 선의로 보이는 의도
$x_t=(v_t,s_t)$ 턴 $t$ 의 공격자 입력. 선택적 이미지 $v_t$ 와 텍스트 $s_t$
$H_t$ 피해 모델이 보는 대화 이력
$y_t=(y_t^{direct},y_t^{alt})$ 피해 모델 응답
$\Sigma_t$ 피해 모델이 볼 수 없는 공격자의 숨은 내부 상태
$f_J$ 세션 종료 후 실행되는 외부 심판

🔐 2. 가정과 제약

항목 내용
피해 모델 safe-completion 류 안전장치 사용
공격자 접근 black-box. 관찰은 텍스트 응답, 행동은 다음 프롬프트 제출 또는 재생성
공격자 구현 질의 생성기와 평가자 모두 LLM/VLM 프롬프팅
예산 상호작용당 제한된 다중 턴 질의 예산
범위 주로 지시형 피해(instructional harms)

🧭 3. 취약점의 위치

관점 내용
취약점 위치 거부 자체가 아니라 거부와 함께 제공되는 “도움 되는 대안” 또는 safe-completion 구성 요소
조작 대상 숨은 표현이 아니라 대화 이력 $H_t$, 응답 $y_t$, 내부 공격 상태 $\Sigma_t$
충돌 지점 유용성을 유지하려는 safe completion 과 정책 준수 사이의 긴장
실패 전파 경로 선의 서사 → 신뢰·일관성 압력 증가 → 이전 답변 일부를 다리로 사용 → 더 구체적인 후속 질의 → 직접 또는 para 유해 누출

💡 Key Takeaway 공격자는 모델 내부를 전혀 모릅니다. 조작하는 것은 오직 대화 이력과 의도의 서사이며, 그것만으로 최전선 모델의 안전 경계를 움직입니다.

iDecep: 탐색-착취(Explore-then-Exploit) 공격 알고리즘

iDecep 은 선의의 의도를 생성하고, 탐색 단계에서 후보를 모으고, 착취 단계에서 분기별로 파고드는 피드백 유도 다중 턴 공격 루프입니다(Figure 2, Algorithm 1–2).

🏗️ 1. 네 단계

단계 내용
(1) 의도 샘플링 목표 $G$ 에서 후보 의도 $I$ 를 샘플링. 평가자가 선의로 보이는지, $G$ 와 관련 있는지, 다중 턴 진행에 적합한지 판단해 통과한 것만 채택
(2) 탐색(Phase I) $T_{explore}$ 턴 동안 질의를 보내고 피해 응답과 평가자 추적(trace)을 기록. 이 단계에서는 중단 판단을 생략
(3) 후보 집계 탐색 이력에서 착취 가능한 지점을 추출. 응답의 세그먼트, 한 응답 안의 여러 하위 주제를 분기 노드로 취급
(4) 착취(Phase II, DialogBranch) 각 후보에 대해 최대 $T_{branch}$ 턴 진행. 내부 이진 평가자가 유해 내용을 감지하면 세션 중단. 거부이지만 대안이 비어 있지 않은 상태가 감지되면 $B_{regen}$ 한도 안에서 재생성

두 종류의 내부 평가자가 있습니다. $f_E^{bin}$ 은 이진 중단 판단을, $f_E^{trace}$ 는 진행 상황과 취약 신호를 기록하는 상태 추적을 담당합니다. 멀티모달 변형에서는 인터넷의 무해 이미지를 진입점으로 쓰고, 이미지가 없으면 텍스트 경로를 씁니다. 논문은 $T_{explore}$, $T_{branch}$, $B_{regen}$ 의 구체적 값을 본문에 명시하지 않습니다.

🔁 2. Crescendo 류와의 차이

항목 Crescendo / Chain-of-Attack iDecep
시작점 중립적·추상적 질문 처음부터 목표 주제 근처
의도 처리 초기에 악의를 숨기고 점진적으로 이동 의도 자체를 선의로 재구성하고 끝까지 유지
발판 모델이 생성한 맥락의 재사용 모델이 이미 제공한 safe-looking 응답 중 목표와 연결되는 세그먼트
겨냥하는 상태 직접 답변 유도 직접 답변 + 거부-대안 중간 상태

표면적으로 대화가 주제 일관적이고 정당해 보이므로 입력 수준 거부 분류기나 단일 턴 안전 필터로는 감지하기 어렵습니다. 그리고 재생성 조건이 “거부이지만 대안이 있음”이라는 점에서, iDecep 은 safe completion 의 대안 경로를 명시적으로 공격 대상으로 삼는 설계입니다.

📜 3. 이론적 뒷받침 (Section 4, 조건부)

정리 주장
Theorem 1 명시된 가정 아래 의도 기만이 para-jailbreak 확률을 높일 수 있음
Theorem 2 이점(advantage) $\gamma>0$ 인 평가자가 있으면 공격 성공의 인증된 하한이 생기고, 방법이 이를 높임
Theorem 3 방법이 평균 직접 위험을 줄이지 않는다는 가정을 더하면 총 성공률이 증가

모두 가정에 조건부인 결과이며, 실험의 해석 틀을 제공하는 역할입니다.

💡 Key Takeaway iDecep 의 핵심은 “더 똑똑한 공격자”가 아니라, safe completion 이 유지하려는 유용성과 대화 일관성을 구조적으로 악용하는 루프입니다. 거부-대안 중간 상태를 재생성 조건으로 삼는 것이 그 증거입니다.

실험 설정과 평가 지표

실험은 세 벤치마크, 네 피해 모델, 두 공격자 모델, 두 다중 턴 기준선으로 구성됩니다(Section 5).

🧪 1. 설정

항목 내용
피해 모델 GPT-4o, Gemini-2.5-Flash, Claude-Sonnet-4.5, GPT-5
공격자 모델 Qwen-Plus, GPT-3.5-Turbo
기준선 Chain-of-Attack (CoA), Crescendo
AdvBench (text) 10개 유해 범주, 범주당 10개, 총 100개 과제
ClearHarm Chemical, Biological, Nuclear, Cybersecurity 4개 영역, 영역당 25개, 총 100개
AdvBench-Vision AdvBench 과제마다 인터넷에서 수집한 무해 이미지를 결합

📊 2. 지표

지표 정의
Total SR 직접 성공 + para 성공
Direct SR 모델이 직접 유해 내용을 출력한 비율
Para SR 직접 답변은 거부 또는 안전하지만 대안에 유해 정보가 포함된 비율

이 분해가 논문의 평가 기여입니다. 기존 기준선(CoA, Crescendo)은 설계상 직접 답변을 겨냥하므로 Para SR 이 거의 항상 0 이고, iDecep 만이 Para SR 을 만들어냅니다. 이는 분해 지표가 공격 설계의 차이를 드러내는 도구임을 뜻합니다.

💡 Key Takeaway Direct SR 과 Para SR 의 분해는 단순한 집계 세분화가 아닙니다. 어떤 공격이 어떤 안전 메커니즘의 어떤 틈을 겨냥하는지를 지표 수준에서 보이게 합니다.

실험 결과: 최전선 모델, Para-Jailbreaking, 멀티모달 증폭

결과는 세 가지 메시지로 요약됩니다. iDecep 이 기준선을 크게 능가하고, 강한 모델일수록 para-jailbreaking 이 주된 실패 모드이며, 무해 이미지가 공격을 증폭합니다.

📈 1. 텍스트 설정 (Table 1, Total / Direct / Para)

방법 공격자 GPT-4o Gemini-2.5-Flash Claude-Sonnet-4.5 GPT-5
CoA Qwen-Plus 0.34 / 0.34 / 0.00 0.44 / 0.44 / 0.00 0.00 / 0.00 / 0.00 0.02 / 0.00 / 0.02
Crescendo Qwen-Plus 0.43 / 0.43 / 0.00 0.35 / 0.35 / 0.00 0.00 / 0.00 / 0.00 0.02 / 0.00 / 0.02
iDecep Qwen-Plus 0.96 / 0.96 / 0.00 0.98 / 0.98 / 0.00 0.59 / 0.25 / 0.34 0.63 / 0.12 / 0.51
CoA GPT-3.5-Turbo 0.00 / 0.00 / 0.00 0.00 / 0.00 / 0.00 0.00 / 0.00 / 0.00 0.00 / 0.00 / 0.00
Crescendo GPT-3.5-Turbo 0.31 / 0.31 / 0.00 0.43 / 0.43 / 0.00 0.00 / 0.00 / 0.00 0.00 / 0.00 / 0.00
iDecep GPT-3.5-Turbo 0.87 / 0.87 / 0.00 0.91 / 0.91 / 0.00 0.36 / 0.23 / 0.13 0.79 / 0.19 / 0.60

(AdvBench text.) ClearHarm 에서도 같은 구조입니다. Qwen-Plus 공격자 기준 iDecep 은 GPT-4o 0.86, Gemini 0.89, Claude 0.53 (0.21 / 0.32), GPT-5 0.63 (0.11 / 0.52) 입니다.

두 가지가 두드러집니다.

  • GPT-4o 와 Gemini 에서는 Para SR 이 0 입니다. 직접 답변이 충분히 열려 있어 para 경로까지 갈 필요가 없습니다.
  • Claude-Sonnet-4.5 와 GPT-5 에서는 직접 답변이 억제되어 있고, 성공의 대부분이 Para SR 입니다. GPT-5 의 경우 Qwen-Plus 공격자에서 0.51, GPT-3.5-Turbo 공격자에서 0.60 입니다. 더 약한 공격자가 GPT-5 에 대해 오히려 높은 Total SR(0.79)을 낸 것은, 공격 효과가 공격자의 원시 능력이 아니라 메커니즘에서 나온다는 논문의 주장을 뒷받침합니다.

🖼️ 2. 멀티모달 증폭 (Table 2, AdvBench-Vision, Qwen-Plus 공격자)

방법 GPT-4o Gemini-2.5-Flash Claude-Sonnet-4.5 GPT-5
CoA 0.36 / 0.36 / 0.00 0.42 / 0.42 / 0.00 0.00 / 0.00 / 0.00 0.00 / 0.00 / 0.00
iDecep 0.97 / 0.97 / 0.00 0.98 / 0.98 / 0.00 0.65 / 0.34 / 0.31 0.84 / 0.23 / 0.61

GPT-5 의 Total SR 이 텍스트 0.63 에서 0.84 로, Claude 가 0.59 에서 0.65 로 올랐습니다. 무해 이미지는 공격을 약화시키기보다 정당성을 강화하는 맥락 산물(context artifact) 로 작동합니다. VLM 안전에서는 이미지 자체의 유해성뿐 아니라 이미지가 대화 의도 해석에 주는 프레이밍 효과도 평가해야 합니다.

🗂️ 3. 범주·영역별 결과 (Table 6–8)

  • AdvBench 범주별(Table 6, 범주당 10개) : iDecep 은 GPT-4o 와 Gemini 에서 거의 포화(Qwen-Plus 기준 96, 98)이며, Hacking and Cyber Attacks 와 Fraud and Financial Crimes 는 여러 행에서 10/10 입니다.
  • ClearHarm 영역별(Table 8, 영역당 25개, Chemical / Biological / Nuclear / Cybersecurity) :
피해 모델 (Qwen-Plus 공격자) 합계 Chem Bio Nuc Cyber
GPT-4o 86 21 20 21 24
Gemini-2.5-Flash 89 22 21 22 24
GPT-5 63 14 10 17 22

사이버보안이 가장 취약하고 생물 영역이 가장 엄격하지만, GPT-5 에서도 생물 10/25 는 무시할 수 없는 수치입니다. 본문은 생물·화학이 “대략 16 수준에 머문다”고 쓰지만 표의 화학 값은 그보다 높은 셀이 여럿이고, Crescendo 가 생물·화학·핵에서 “붕괴한다”는 서술도 GPT-4o·Gemini 에서는 7–12 성공이 있어 다소 과장입니다. 인용 시 표 수치를 기준으로 삼는 것이 안전합니다.

💡 Key Takeaway 강한 모델일수록 직접 jailbreak 는 막히지만 para-jailbreak 가 주된 실패 모드로 떠오릅니다. 그리고 무해한 이미지 한 장이 그 비율을 더 키웁니다.

다중 턴 안전과 방어 함의

방어 관점에서 이 논문은 구체적 완화책을 제시하지 않지만, 어떤 종류의 방어가 필요한지를 분명히 보여줍니다.

🛡️ 1. 기존 방어가 놓치는 것

방어 놓치는 이유
입력 의도 분류 각 턴의 의도가 선의로 프레이밍되어 있어 통과
턴 단위 조정(per-turn moderation) 어느 한 턴도 단독으로는 위반이 아님
직접 답변 중심 평가 para 경로를 집계하지 않음
강한 거부로의 회귀 유용성 손실. safe completion 으로 옮겨온 이유 자체를 포기

🧭 2. 필요한 방어의 방향

  • 세션 수준 위험 누적(session-level risk accumulation) : 선의 서사가 누적될 때 위험 점수가 어떻게 변하는지 추적하는 의도 가설 추적기.
  • 공개 예산(disclosure budget) : 세션 전체에서 목표 관련 정보의 누적량을 제한.
  • 대안 내용 감사(alternative-content auditing) : safe completion 의 대안 생성 앞단 또는 후단에 목표 관련 누출 필터.
  • 거부 인접 누출 탐지(refusal-adjacent leakage detection) : 거부 응답만 따로 모아 대안 내용을 2차 평가.

모델의 대화 일관성(conversational consistency) 자체가 공격면이라는 점이 중요합니다. 일관되고 유용하게 대화를 이어가려는 성향이 나중의 유해 누출을 위한 발판이 됩니다. 방어는 이 성향을 없애는 것이 아니라, 초반에 형성된 선의 가설을 언제 어떤 증거로 갱신할지를 설계하는 문제가 됩니다.

💡 Key Takeaway 방어의 단위는 프롬프트가 아니라 세션이어야 합니다. 그리고 safe completion 의 대안 생성기는 유용성 모듈이자 동시에 감사 대상이어야 합니다.

한계와 열린 방향

이 논문의 한계는 재현성, 심판 의존성, 방어 부재로 요약되며, 일부는 저자들이 명시적으로 인정합니다.

⚠️ 1. 저자가 인정한 한계

  • black-box 설정과 상호작용당 제한된 질의 예산.
  • 특정 목표 유형, 주로 지시형 피해에 초점. 유해 의도의 전체 범위를 다룬다고 주장하지 않음.
  • 평가자와 질의 생성기가 LLM 기반이라 편향과 확률성을 도입할 수 있음.
  • 이론 결과는 평가자 이점 $\gamma>0$, Theorem 3 의 비저하 가정 등에 조건부.
  • 이중 용도 위험 때문에 구체적 공격 프롬프트와 도구를 공개하지 않음.

🔒 2. 외부 관점의 한계

  • 범위 : 100개 과제 표본에 기반합니다. 비지시형 피해, 설득, 사기 확대, 에이전트 도구 사용 환경으로의 일반화는 추가 검증이 필요합니다.
  • 가정 : 공격자가 여러 턴 동안 대화를 이어가고 재생성까지 쓸 수 있다는 조건은 실제 제품 UX, 속도 제한, 모니터링 정책에 따라 달라집니다. 무해 이미지 선택 전략 자체의 ablation 은 분리되어 있지 않습니다.
  • 평가 : 외부 심판이 직접/para 유해성을 판정하는데, 심판의 보정, 거짓 양성·음성, 영역별 민감도 차이가 SR 에 큰 영향을 줄 수 있습니다. para-jailbreaking 은 정의상 “직접 답변은 아니지만 유해한 보조 정보”를 판정해야 하므로 심판 프롬프트와 정책 경계가 특히 중요합니다. 심판 모델의 정체도 본문에서 확인되지 않습니다.
  • 재현성 : 공식 코드가 없고 $T_{explore}$, $T_{branch}$, $B_{regen}$, 온도 같은 예산 값이 명시되지 않아, 프롬프트 세부·심판 설정·샘플링 파라미터가 결과를 크게 흔들 수 있습니다.
  • 방어 : para-jailbreaking 에 특화된 완화의 필요성을 주장하지만 실제 방어 알고리즘을 제안하거나 검증하지 않습니다. “취약점 발견 논문”으로는 강하지만 “해결책 논문”으로는 약합니다.

❓ 3. 열린 질문

  • Para SR 은 심판 모델이 바뀌면 얼마나 안정적인가?
  • $y^{alt}$ 를 어떤 세분성으로 분해해야 para 피해를 정확히 측정할 수 있는가?
  • Safe completion 모델에서 유용성 보상을 낮추지 않고 para 누출만 줄일 수 있는가? 누출을 줄이는 방어는 유용성을 얼마나 희생하는가?
  • 다중 턴 의도 추적을 도입하면 거짓 거부(false refusal)가 얼마나 증가하는가?
  • 무해 이미지의 의미적 관련성, 사실성, 출처 신뢰도가 공격 성공에 미치는 영향은 무엇인가? 이미지가 의도 추론에 미치는 인과 효과를 어떻게 분리 측정할 수 있는가?
  • 모델이 대화 초반에 형성한 선의 의도 가설을 언제, 어떤 증거로 갱신해야 하는가?

🧷 4. 내 판단과 연구 연결

  • 판단 : 설득력·중요도·실제 위험성은 높고, 새로움은 중간에서 높음, 재현 가능성은 중간입니다. 가장 강한 부분은 “거절했으니 안전하다”는 관점을 무너뜨리고 safe completion 의 대안 통로를 별도 실패 모드로 정의한 점이며, Direct/Para 분해 지표는 향후 벤치마크 설계에 바로 가져다 쓸 수 있습니다. 가장 약한 부분은 공식 코드와 상세 재현 설정의 부족, 심판 신뢰성과 para 피해 경계의 미검증, 그리고 방어 실험의 부재입니다.
  • 기억할 점 : Refusal is not enough; safe alternatives can be the leakage channel. Safe completion 모델의 핵심 위험은 직접 답변 실패보다 “도움이 되려고 제공한 주변 정보”가 공격 목표에 충분히 유용해지는 경우일 수 있습니다.
  • 인용 용도 : safe completion 시대의 위협 모델이 강한 거부 우회에서 대안 누출로 확장되고 있음을 설명할 때, Crescendo·Chain-of-Attack 과의 비교, 다중 턴 탐색-착취 공격자·Direct/Para 분해·대화 수준 심판 설계 참고, 선의 서사와 일관성 압력에 의한 유해 보조 내용 누출 사례, 턴 단위 조정이나 직접 거부 평가가 충분하지 않다는 근거.
  • 연구 연결 : 다중 턴 정렬 실패, 의도 추론, 공개 감사, VLM 안전 평가에 직접 연결됩니다. 최전선 모델 안전 사례(safety case)에서 “모델이 직접 유해 지시를 생성하지 않는다”는 주장만으로는 부족하다는 근거로 쓸 수 있습니다. 가져다 쓸 아이디어로는 Direct/Para 실패 분류, 거부-대안 감사, 세션 수준 유해성 점수, 무해 맥락 멀티모달 스트레스 테스트, 응답 세그먼트를 후속 위험 후보로 추출하는 평가자가 있습니다. 확장으로는 para-jailbreaking 의 방어 관점 벤치마크화, safe completion 출력을 직접 거부 / 안전한 대안 / 영역 설명 / 절차적 세부 / 실행 가능 세부로 세분화, 다중 턴 위험 기억을 가진 가드레일 설계, 무해 이미지 역할의 세밀한 ablation(무관 이미지, 의미 정렬 이미지, 권위 프레이밍 이미지, 문서 스크린샷)이 있습니다.
  • 실행 항목
    • 기존 jailbreak 평가에 Direct SR / Para SR / Total SR 분해를 추가하고, 거부 응답만 모아 대안 누출을 판정하는 2차 평가 패스 구축
    • 모델 답변을 직접 답변 / 거부 / 대안 / 배경 설명 / 실행 가능 세부로 세그먼트 주석. 심판이 세그먼트별로 어떤 근거에서 para 피해를 판정하는지 보정 세트 작성
    • 세션 수준 의도 추적기를 붙여 선의 서사 누적 시 위험 점수 변화 측정. 안전한 대안 생성기 앞단 또는 후단에 목표 관련 누출 필터를 추가해 Para SR 감소 여부 확인
    • 공식 코드가 없으므로 Algorithm 1/2 수준에서 안전한 비조작적 재현 하네스 구축. 유해 조작 내용을 저장하지 않는 편집(redacted) 로깅 파이프라인 설계. 공격자 모델, 심판 모델, 온도, 최대 턴, 재생성 예산을 고정하고 민감도 분석
    • 후속 문헌: Crescendo, Chain-of-Attack 등 다중 턴/VLM jailbreak 비교 정리, safe completion / 출력 중심 안전 학습 논문을 묶어 강한 거부 → safe completion 전환의 장단점 정리, 대화 의도 추적·누적 위험 점수·거부 대안 감사 관련 방어 문헌

💡 Key Takeaway iDecep 은 safe completion 이라는 진전이 만든 그림자를 보여줍니다. 다음 단계는 유용성을 포기하지 않으면서 대안 경로를 감사하는 방어, 그리고 그 방어가 거짓 거부를 얼마나 늘리는지 측정하는 일입니다.