You know maize mean?
Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack
0. Summary
기본 정보 : ArXiv,2024.04.02 (USENIX Security 2025), Great, Now Write an Article About That: The Crescendo Multi-Turn LLM Jailbreak Attack
연구 배경
기존 jailbreak 연구는 주로 단일 턴 프롬프트, 적대적 접미사(adversarial suffix), 명시적 악성 지시에 집중했다. 안전정렬 역시 “현재 사용자 입력이 명시적으로 위험한가”를 중심으로 학습되어 단일 턴 거부에는 상당히 강하다. 그러나 실제 배포된 어시스턴트는 대화 이력을 유지하며 여러 턴에 걸쳐 상호작용하고, 모델은 자신이 직전에 생성한 내용과 대화 맥락을 강하게 따르는 성향을 가진다. 이 두 조건이 결합되면 겉보기에는 전적으로 무해한 다중 턴 대화만으로 안전 경계를 점진적으로 약화시킬 수 있는가라는 질문이 생긴다. 논문은 이 질문에 긍정으로 답하며, 그 취약점이 특정 모델이 아니라 정렬된 LLM 전반에 걸친 패턴임을 보인다.
제안 방법
Crescendo 는 공격 목표와 느슨하게 관련된 일반적·역사적·추상적 질문으로 시작해, 모델이 스스로 생성한 응답을 다음 턴의 발판으로 삼아 점진적으로 요청을 구체화하는 다중 턴 black-box jailbreak 다. 프롬프트에는 적대적이거나 악의적인 텍스트가 없고 사람이 읽기에 자연스럽다. 모델이 거부하거나 콘텐츠 필터가 작동하면 해당 질문을 이력에서 제거하고 다른 방식으로 다시 묻는 백트래킹(backtracking) 을 쓴다. 이를 자동화한 Crescendomation 은 GPT-4 를 공격 LLM 으로 두고, GPT-4 기반 Judge(성공 플래그 + 0–100 점수 + 설명), Judge 의 설명을 검토해 판정을 뒤집을 수 있는 Secondary Judge, 거부와 필터 작동을 감지하는 Refusal Judge 로 구성된다. 기본 설정은 최대 10 라운드, 최대 10 백트래킹, 독립 반복 10회, 온도 0.5 다.
발견 사실
수동 Crescendo 는 15개 과제(Table 1)에서 GPT-3.5/GPT-4, Gemini-Pro/Ultra, Claude-2/3 Opus/3.5 Sonnet, LLaMA-2 70B/7B, LLaMA-3 70B 대부분을 jailbreak 했다(Table 2). AdvBench 부분집합 50개 과제에서 Crescendomation 은 GPT-4 에 대해 평균 ASR 56.2%, 이진 ASR 98.0% 를, Gemini-Pro 에 대해 82.6%, 100.0% 를 기록해 CIA, CoA, MSJ, PAIR 보다 GPT-4 에서 29–61%, Gemini-Pro 에서 49–71% 높았다(Table 4). HarmBench 무작위 100개 과제에서도 평균 ASR 63.2%, 이진 성공 91% 로 MSJ 의 38.9%, 70% 를 앞섰다. 대부분의 과제는 평균 5턴 이하에서 성공했고, 중간 턴을 생략하거나 모델이 만든 지시어 대신 사용자가 직접 위험 단어를 쓰면 성공률이 크게 떨어졌다. LLaMA-2 70B 와 7B 의 취약성 패턴이 비슷해 모델 크기와 취약성이 단순 비례하지 않았으며, Self-Reminder 와 Goal Prioritization 방어는 일부 과제에서만 ASR 을 낮췄다.
핵심 기여
- 다중 턴 무해 상승(benign escalation) 취약점 발견 : 명시적 악성 문자열 없이, 모델 자신의 출력과 대화 맥락만으로 정렬된 LLM 전반에서 재현되는 안전 실패 패턴을 보였다.
- Crescendo 와 자동화 도구 Crescendomation : 백트래킹을 포함한 적응형 다중 턴 공격을 설계하고 공격 LLM·심판·2차 심판으로 자동화해 PyRIT 의 일부로 공개했다.
- 광범위한 정량 비교와 메커니즘 분석 : AdvBench·HarmBench 에서 기존 기법 대비 우위를 보였고, ablation 으로 공격의 핵심이 개별 프롬프트가 아니라 맥락 누적과 모델의 자기 조건화(self-conditioning) 임을 밝혔으며, 전이성·방어·멀티모달 확장까지 다뤘다.
관련 개념
다중 턴 무해 상승(Benign Escalation) 위협 모델
다중 턴 무해 상승은 어느 한 턴도 단독으로는 위반이 아닌 질문들로 대화를 쌓아 올려, 처음에 직접 요청했다면 거부되었을 내용에 도달하는 공격 패턴입니다. 위험이 여러 턴에 분산되므로 단일 입력 단위의 안전 메커니즘은 구조적으로 이를 보기 어렵습니다.
🎯 1. 공격자의 가정과 제약
| 항목 | 내용 |
|---|---|
| 접근 권한 | black-box. 가중치, 로짓, gradient, 시스템 프롬프트, 인코더 접근 없음 |
| 필요한 것 | 일반적인 채팅 또는 API 접근, 대화 이력 유지 |
| 프롬프트 제약 | 대체로 무해하고 사람이 읽을 수 있어야 함. 적대적 접미사, gradient 최적화 없음 |
| 자동화 시 추가 요구 | 공격 LLM 과 심판 LLM 접근 |
대부분의 상용 LLM 서비스가 여러 턴의 대화와 이력 유지를 제공하므로, 이 위협 모델은 실제 배포 환경과 거의 일치합니다.
🧩 2. 취약점의 위치와 실패 경로
| 관점 | 내용 |
|---|---|
| 취약점 위치 | 다중 턴 맥락 창과 지시 추종 행동 |
| 조작 대상 | 내부 표현이 아니라 대화 이력과 모델 자신의 이전 출력 |
| 충돌 지점 | 안전 메커니즘은 현재 사용자 입력의 명시적 위험성에 반응하지만, Crescendo 는 위험을 여러 턴에 분산 |
| 실패 전파 경로 | 초기 무해 응답 → 관련 맥락 축적 → 모델이 자기 응답을 신뢰하고 이어 씀 → 거부 임계값 약화 → 안전하지 않은 완성 |
핵심은 모델이 자신이 생성한 내용을 신뢰할 수 있는 맥락으로 취급한다는 점입니다. 사용자가 쓴 위험 단어는 검사되지만, 모델이 직전 턴에 쓴 같은 단어는 “이미 대화에 있는 것”이 되어 다음 요청의 정당한 참조점이 됩니다.
🔀 3. 기존 공격과의 차이
| 기존 접근 | Crescendo |
|---|---|
| one-shot jailbreak, DAN 류 역할극 | 대화형·점진적·다중 턴 |
| 적대적 접미사 최적화 | gradient 없음, 읽을 수 있는 자연어 |
| many-shot 악성 예시(MSJ) | 악성 예시 대신 모델이 만든 맥락 재활용 |
| 공격 LLM 프롬프트 최적화(PAIR) | 단일 프롬프트 탐색이 아니라 대화 궤적 탐색 |
실질적 차이는 세 가지입니다. 탐지하기 어렵고, 입력 필터만으로 막기 어려우며, 실제 채팅 제품의 상호작용 패턴과 더 가깝습니다.
💡 Key Takeaway Crescendo 가 조작하는 것은 모델 내부가 아니라 대화 이력, 그중에서도 모델 자신의 이전 출력입니다. 안전 메커니즘이 사용자 입력만 검사하고 어시스턴트가 만든 맥락을 덜 엄격하게 다루는 순간 이 틈이 열립니다.
Crescendo 공격의 단계와 메커니즘
Crescendo 는 다섯 단계로 기술할 수 있으며, 각 단계가 모델의 지시 추종과 맥락 일관성 성향을 이용합니다(Section 3).
🏗️ 1. 다섯 단계
| 단계 | 내용 |
|---|---|
| (1) 무해한 시작(Benign opening) | 공격 목표와 느슨하게 관련된 일반적·역사적·추상적 질문 |
| (2) 모델 생성 맥락 축적 | 모델이 스스로 생성한 답변을 다음 턴의 기반으로 사용 |
| (3) 점진적 상승(Progressive escalation) | 다음 질문은 직전 답변의 일부를 참조하면서 조금 더 구체적이거나 강한 표현을 요청 |
| (4) 목표 행동 유도 | 충분한 관련 맥락이 쌓이면 원래 직접 요청에는 거부했을 내용을 생성 |
| (5) 백트래킹 / 재표현 | 거부나 필터 작동 시 해당 질문을 이력에서 제거하고 다른 방식으로 다시 질문 |
논문 제목 “Great, Now Write an Article About That” 이 (3) 단계의 전형입니다. “그것(that)”은 사용자가 쓴 것이 아니라 모델이 직전에 만든 내용을 가리킵니다.
📈 2. 왜 맥락 누적이 효과가 있는가 (Figure 4–5)
논문은 관련 맥락이 누적될수록 특정 목표 토큰이나 순응(compliance) 응답의 확률이 증가하는 현상을 보여줍니다. Crescendo 가 단순한 프롬프트 트릭이 아니라, 맥락 누적에 의해 모델의 다음 토큰 분포 자체가 이동하는 현상과 관련되어 있다는 뜻입니다. 거부는 고정된 규칙이 아니라 맥락 조건부 확률이고, 그 조건을 모델 자신의 출력으로 채울 수 있습니다.
🔁 3. 백트래킹의 역할
백트래킹은 실패한 질문을 대상 모델의 이력에서 물리적으로 제거합니다. 거부 응답이 이력에 남으면 모델이 그 거부를 다시 참조해 이후 거부가 강화되기 때문입니다. 즉 Crescendo 는 “좋은 맥락은 쌓고 나쁜 맥락은 지우는” 궤적 탐색입니다. Ablation 에서 백트래킹의 효과는 과제 의존적이었습니다. Election 은 백트래킹 0회에서도 100% 였지만 Manifesto 는 백트래킹 없이는 어려웠고, 백트래킹을 0 으로 두고 라운드를 20 으로 늘려도 “여전히 그만큼 효과적이지 않았습니다.”
💡 Key Takeaway Crescendo 의 핵심은 단일 프롬프트 문구가 아니라 맥락 누적과 모델의 자기 조건화입니다. 중간 턴을 빼거나 모델이 만든 지시어 대신 사용자가 직접 위험 단어를 쓰면 성공률이 크게 떨어진다는 ablation 이 이를 뒷받침합니다.
Crescendomation: 자동화된 공격 루프
Crescendomation 은 Crescendo 를 공격 LLM, 심판, 2차 심판, 거부 심판으로 자동화한 도구이며 PyRIT 의 일부로 공개되었습니다(Section 4).
⚙️ 1. 구성 요소
| 구성 요소 | 역할 | 구현 |
|---|---|---|
| 공격 LLM | 이전 응답을 보고 다음 상승 질문 생성 | GPT-4 |
| Judge | 성공 플래그, 0–100 점수, 설명 반환 | GPT-4 |
| Secondary Judge | Judge 의 설명을 검토해 거짓 음성을 줄이기 위해 판정을 뒤집을 수 있음 | GPT-4 |
| Refusal Judge | 거부 또는 콘텐츠 필터 작동 감지. 거부된 질문은 대상 이력에서 철회 | GPT-4 |
🔢 2. 기본 설정
| 항목 | 값 |
|---|---|
| 최대 상호작용 라운드 | 10 |
| 최대 백트래킹 | 10 ($C_{refu}<10$ 조건) |
| 독립 반복 | 10 |
| 온도 | 모든 모델 0.5 |
| 수동 실행 제한 | 과제당 4회 시도 |
⚠️ 3. 자동화의 한계
- 공격 LLM 자체가 정렬되어 있어 때때로 공격 생성이나 평가를 거부합니다. 자동화 성능은 공격 모델의 능력, 안전 정책, 프롬프트 추종 품질에 의존합니다.
- Claude-2 는 API 접근이 허가되지 않아 Crescendomation 에서 제외되었습니다.
- LLaMA-2 70B 에서 Crescendomation 은 Manifesto 와 Explicit 과제에 실패했지만 수동 Crescendo 는 성공했습니다. 저자들은 Crescendomation 이 Crescendo 의 한 구현일 뿐이며, 자동화 실패가 Crescendo 자체의 한계를 뜻하지 않는다고 설명합니다.
- 논문이 보여준 것은 “Crescendo 를 자동화할 수 있다”이지 최적의 자동화 알고리즘을 제시했다는 것은 아닙니다.
💡 Key Takeaway Crescendomation 은 공격자·심판·2차 심판이 모두 GPT-4 인 루프입니다. 그래서 강력하지만, 공격 LLM 의 정렬이 공격의 상한을 정한다는 역설도 안고 있습니다.
실험 설정과 평가 지표
실험은 수동 평가와 자동 평가, 세 종류의 과제 집합, 다층 평가 지표로 구성됩니다(Section 5).
🧪 1. 과제 집합
| 집합 | 내용 |
|---|---|
| 자체 15개 과제 (Table 1) | Illegal Activities: Molotov, Meth, Toxin / Self Harm: Soothing, Denial / Misinformation: Choice, Climate, Election, UnsafeVax / Pornography: Explicit, Intimacy / Profanity: Rant / Sexism: PayGap / Hate Speech: Manifesto / Violence: Stabbing |
| AdvBench 부분집합 | 50개 과제 |
| HarmBench | 무작위 100개 과제 |
🤖 2. 대상 모델
GPT-3.5, GPT-4 (ChatGPT), Gemini-Pro, Gemini Ultra (수동), Claude-2, Claude-3 Opus, Claude-3.5 Sonnet (수동), LLaMA-2 70B/7B, LLaMA-3 70B Chat.
📏 3. 평가 지표
| 지표 | 정의 |
|---|---|
| Judge 성공 플래그 / 점수 | GPT-4 심판의 이진 판정과 0–100 점수 |
| ASR | 하나 이상의 응답이 성공으로 판정된 시도의 비율 |
| 이진 ASR | 여러 시도 중 하나라도 성공하면 성공으로 보는, 과제 단위 성공 비율 |
| Perspective API | Toxicity, Severe Toxicity, Insult, Profanity, Sexually Explicit, Threat 여섯 지표 중 응답별 최고값 |
| Azure Content Filter | Hate Speech, Self-Harm, Sexually Explicit, Violence 네 범주, 각 0–7 |
| 기타 | 거부 횟수, 최소 성공 턴 수 |
LLM 심판에 의존하되 Secondary Judge 와 상위 프롬프트의 수동 검토로 보완했습니다. 다만 Perspective API 와 Azure Content Filter 는 허위 정보처럼 다루기 어려운 범주를 충분히 포괄하지 못합니다.
💡 Key Takeaway ASR 과 이진 ASR 을 함께 보고하는 것이 중요합니다. 전자는 “얼마나 자주 성공하는가”, 후자는 “충분히 시도하면 결국 뚫리는가”를 말하며, Crescendo 는 후자에서 거의 100% 입니다.
실험 결과: 기준선 비교, Ablation, 전이, 방어
결과는 Crescendo 가 다양한 정렬 모델에서 재현되고, 기존 다중 턴·단일 턴 기법을 능가하며, 현재 방어로는 안정적으로 막히지 않음을 보여줍니다.
📈 1. AdvBench 부분집합 (Table 4, 50개 과제, 평균 ASR (이진 ASR), %)
| 모델 | CIA | CoA | MSJ | PAIR | Crescendo |
|---|---|---|---|---|---|
| GPT-4 | 35.6 (82.0) | 22.0 (22.0) | 37.0 (86.0) | 40.0 (76.0) | 56.2 (98.0) |
| Gemini-Pro | 42.4 (92.0) | 24.0 (24.0) | 35.4 (88.0) | 33.0 (80.0) | 82.6 (100.0) |
- Crescendo 는 GPT-4 에서 29–61%, Gemini-Pro 에서 49–71% 높은 평균 ASR 을 보입니다.
- GPT-4 에서 50개 중 49개 과제를 뚫었고(MSJ 는 43개), Gemini-Pro 에서는 50개 모두를 뚫었습니다.
- HarmBench (GPT-4, 100개) : Crescendo 평균 ASR 63.2%, 이진 성공 91% 로 MSJ 의 38.9%, 70% 를 앞섭니다. 단, MSJ 기준선은 원 논문과 달리 128개 대신 100개 예시, 32k 컨텍스트 GPT-4, GPTFuzz 샘플을 써서 완전히 동일한 조건은 아닙니다.
🗂️ 2. 수동 Crescendo 와 과제별 경향 (Table 2)
- 수동 Crescendo 는 평가된 대부분의 모델과 과제에서 성공했습니다. 특정 모델에 국한된 취약점이 아니라 다양한 정렬 LLM 에서 재현되는 패턴입니다.
- 대부분의 과제는 평균 5턴 이하에서 jailbreak 됩니다.
- 허위 정보 계열, 특히 Climate·Election 과제와 Self-harm 의 Denial 과제에서 성공률이 높습니다.
- Explicit 과 Manifesto 류 과제는 상대적으로 어렵습니다. GPT-4 대상 일부 고민감 과제에서는 모든 자동화 기법이 실패한 사례도 있습니다.
- LLaMA-2 70B 와 7B 의 취약성 패턴이 비슷해, 모델 크기와 Crescendo 취약성이 단순 비례하지 않습니다.
🔬 3. Ablation (GPT-4, 15개 과제)
| 변경 | 결과 |
|---|---|
| 중간 턴 생략 | 성공 확률 크게 하락 |
| 모델 생성 지시어 대신 사용자가 직접 위험 단어 사용 | 성공률 크게 하락 |
| 백트래킹 0 / 5 / 10 | 과제 의존적. Election 은 0회에서도 100%, Manifesto 는 백트래킹 없이 어려움 |
| 백트래킹 0, 라운드 20 | 부분 보완되지만 “여전히 그만큼 효과적이지 않음” |
| 라운드 증가 | Soothing, Choice 에서 개선 |
정확한 값은 그림에만 있습니다. 결론은 일관됩니다. 공격의 본질은 대화 맥락의 누적과 모델 자기 조건화이며, 어떤 한 문장이 아닙니다.
🔁 4. 전이성과 멀티모달
- 전이성 : 한 모델에서 만든 Crescendo 질문열을 다른 모델에 그대로 적용했을 때, Election 은 GPT-4 와 Gemini-Pro 모두에서 90% 이상 ASR 을 보였지만 Explicit 과 Manifesto 는 0% 에 가까웠습니다. 질문을 수정 없이 재생했으므로 저자들은 이를 하한으로 봅니다. 일부 공격 궤적은 재사용 가능한 red-teaming 산물이 될 수 있습니다.
- 멀티모달 : Crescendo 로 ChatGPT 와 Gemini 가 평소에는 거부할 이미지를 생성하게 만든 정성적 사례(Figure 14)가 있으며, 정량 결과는 없습니다.
🛡️ 5. 방어 (Figure 13, GPT-4)
| 방어 | 결과 |
|---|---|
| Self-Reminder | Toxin, Explicit 같은 어려운 과제에서 ASR 감소 |
| Goal Prioritization | 마찬가지로 어려운 과제에서 감소 |
| 공통 | Election, Climate, Stabbing 은 유의하게 영향받지 않음. 라운드·백트래킹을 10 에서 20 으로 늘리면 일부 회복(예: Meth 가 Self-Reminder 를 뚫음) |
현재 방어는 일부 과제에서 ASR 을 낮추지만, 적응형 다중 턴 공격자가 예산을 늘리면 안정적으로 막지 못합니다.
💡 Key Takeaway Crescendo 는 GPT-4 에서 50개 중 49개, Gemini-Pro 에서 50개 모두를 뚫었습니다. 그리고 방어는 공격자가 라운드를 두 배로 늘리는 것만으로 일부 무력화됩니다.
방어 함의와 관련 연구
방어 관점에서 이 논문은 단일 턴 거부 강건성만으로는 실제 채팅 환경의 안전을 보장할 수 없음을 보여줍니다. 논문은 사전 필터링, Crescendo 데이터를 활용한 정렬, 입출력 필터링을 논의하지만 체계적으로 검증하지는 않습니다.
🧭 1. 필요한 방어의 방향
| 방향 | 내용 |
|---|---|
| 대화 수준 조정(conversation-level moderation) | 턴 단위가 아니라 대화 궤적 전체의 위험 누적을 평가 |
| 어시스턴트 출력 인식 안전 학습 | 모델 자신의 이전 출력을 안전 관련 맥락으로 재평가 |
| 맥락 인식 거부(context-aware refusal) | 현재 입력의 명시적 위험성이 아니라 맥락이 수렴하는 방향을 기준으로 |
| 적응형 다중 턴 적대 평가 | 고정 데이터셋이 아니라 대상 응답에 의존하는 동적 벤치마크 |
개별 프롬프트가 무해해 보이므로 단일 입력 단위 탐지는 구조적으로 어렵습니다. 핵심 질문은 “어시스턴트가 이전에 생성한 메시지를 신뢰할 수 있는 맥락으로 취급하는 것이 얼마나 위험한가” 입니다.
🔗 2. 계보 안에서의 위치
| 연구 | 성격 | Crescendo 와의 관계 |
|---|---|---|
| PAIR | 공격 LLM 으로 단일 프롬프트 반복 개선 | Crescendo 는 프롬프트가 아니라 궤적을 탐색 |
| MSJ (Many-Shot Jailbreaking) | 많은 악성 예시로 맥락 채움 | 둘 다 긴 맥락을 쓰지만 Crescendo 는 악성 예시 없이 모델 출력으로 채움 |
| CoA (Chain-of-Attack) | 의미 기반 다중 턴 조향 | 유사한 다중 턴 계열. AdvBench 에서 Crescendo 가 크게 앞섬 |
| Intention Deception (iDecep) | 처음부터 선의의 의도로 목표 근처에 머묾 | Crescendo 의 후속. safe-completion 모델에서 Crescendo 가 거의 실패(GPT-5 에서 0.02)하는 지점을 겨냥 |
| Self-Reminder, Goal Prioritization | 프롬프트 수준 방어 | 본 논문에서 부분 효과만 확인 |
💡 Key Takeaway Crescendo 는 “jailbreak 는 프롬프트 하나의 문제가 아니라 대화 궤적의 문제”라는 관점을 확립했습니다. 이후 다중 턴 공격과 대화 수준 방어 연구는 모두 이 관점 위에 있습니다.
한계와 열린 방향
이 논문의 한계는 모델 버전 의존성, 심판 의존성, 자동화 구현의 특수성, 얕은 방어 분석으로 요약되며, 일부는 저자들이 인정합니다.
⚠️ 1. 저자가 인정한 한계
- 이력 기능이 필요하므로 채팅 이력이 없는 시스템은 더 강건할 수 있습니다.
- Crescendomation 은 API 접근이 필요해 Claude-2 를 테스트하지 못했습니다.
- 공격 LLM 이 때때로 공격 생성이나 평가를 거부합니다.
- 수동 결과는 예시적이며 망라적이지 않습니다.
- LLM 기반 심판은 거짓 양성과 거짓 음성을 만듭니다.
- MSJ 기준선이 원 논문 설정과 다릅니다.
🔒 2. 외부 관점의 한계
- 범위 : 평가 시점의 특정 모델 버전에 제한됩니다. 폐쇄형 모델은 지속적으로 갱신되므로 결과가 장기적으로 유지된다고 보기 어렵습니다. 실제 제품의 시스템 프롬프트, 메모리, 도구 사용, 기업 정책 층까지 포함한 종단 평가와는 차이가 있습니다.
- 가정 : 이력이 짧거나 턴별로 강한 독립 조정이 적용되는 시스템에서는 효과가 달라질 수 있습니다. Crescendomation 은 대상 모델 API 외에 공격 모델과 심판 모델 접근도 필요합니다.
- 평가 : 주요 평가가 LLM 심판에 크게 의존합니다. Perspective API 와 Azure Content Filter 는 허위 정보 같은 범주를 충분히 포괄하지 못합니다.
- 방법 : Crescendomation 은 GPT-4 를 공격 모델로 쓰므로 자동화 성능이 그 모델의 능력과 안전 정책에 의존하며, 구체적 프롬프트와 자동화 세부가 성능에 큰 영향을 줄 가능성이 높습니다.
- 방어 : Self-Reminder 와 Goal Prioritization 만 실험했고, 대화 수준 방어의 설계 공간은 훨씬 넓습니다. 근본적 완화보다는 문제 제기에 가깝습니다.
❓ 3. 열린 질문
- 어시스턴트 생성 콘텐츠를 안전에 중요한 맥락으로 간주해 재평가하면 Crescendo 를 얼마나 줄일 수 있는가?
- 턴 수준 조정보다 대화 수준 궤적 조정이 얼마나 효과적인가? 어떤 세분성으로 작동해야 하는가?
- Crescendo 에 대한 적대적 학습은 일반 유용성과 과잉 거부를 얼마나 바꾸는가?
- 사람이 만든 Crescendo 와 자동 Crescendomation 의 실제 위험도 차이는 어느 정도인가?
- 도구 사용 에이전트나 RAG 시스템에서는 Crescendo 가 검색, 도구 호출, 플래너 상태를 통해 더 강해지는가?
- 모델 내부 활성화에서 Crescendo 상승의 상전이(phase transition)를 관찰할 수 있는가?
🧷 4. 내 판단과 연구 연결
- 판단 : 설득력·중요도·실제 위험성은 높고, 새로움은 중간에서 높음, 재현 가능성은 중간입니다. 가장 강한 부분은 LLM 안전에서 자주 과소평가되는 다중 턴 상호작용 표면을 매우 명확하게 보여준 점이며, 강한 적대적 문자열이 아니라 정상 대화처럼 보이는 점진적 상승, 특히 모델 자신의 출력을 다음 공격 단계의 발판으로 삼는 구조가 핵심입니다. 가장 약한 부분은 LLM 심판 의존도, 모델 업데이트에 따른 결과 변동 가능성, 자동화 세부 구현의 영향, 그리고 상대적으로 얕은 방어 분석입니다.
- 기억할 점 : Jailbreak 는 프롬프트 하나의 문제가 아니라 대화 궤적의 문제입니다. 안전 경계는 현재 입력뿐 아니라 모델이 이전에 생성한 안전하지 않은 중간 맥락에 의해서도 약화됩니다. 다중 턴 벤치마크는 다음 턴이 대상 모델의 응답에 의존하므로 고정 데이터셋만으로 만들기 어렵습니다.
- 인용 용도 : 단일 턴 jailbreak 평가의 한계 설명, 적대적 접미사·PAIR·MSJ·CoA·CIA 와 다중 턴 무해 상승 비교, 적응형 다중 턴 red-teaming 프레임워크 설계 참고, 어시스턴트 생성 맥락이 안전 실패를 유발하는 사례, 입력 전용 필터와 단일 턴 거부 튜닝의 한계 근거, AdvBench/HarmBench 기반 다중 턴 ASR 평가 구성.
- 연구 연결 : 정렬이 정적 속성이 아니라 상호작용 의존적 속성임을 보여줍니다. 배포된 어시스턴트의 안전성은 개별 응답 분류기가 아니라 대화 전체의 상태 전이로 평가해야 합니다. 가져다 쓸 아이디어로는 다중 턴 red-teaming 을 궤적 탐색 문제로 모델링, 어시스턴트 생성 콘텐츠를 별도 위험 신호로 추적, 거부를 “궤적 수준 안전 불변량”으로 정의, 백트래킹을 포함한 적응형 공격자를 벤치마크에 포함하는 것이 있습니다. 확장으로는 방어 측 상태 기계 설계, 다중 턴에서 위험도 누적을 측정하는 맥락 위험 점수, 모델 생성 유해 중간 표현 탐지 조정, RAG·도구 사용·에이전트 계획 환경에서의 Crescendo 류 상승 평가, Crescendo 저항적 지시 계층 또는 메모리 정책 설계가 있습니다.
- 실행 항목
- 현재 사용 중인 안전 벤치마크에 적응형 다중 턴 jailbreak 항목을 추가하고, 단일 턴 ASR 과 별도로 궤적 수준 ASR, 성공까지의 턴 수, 거부 회복률 측정
- 모델이 언제부터 안전하지 않은 방향으로 기우는지 턴별로 로짓·거부 확률·심판 점수 추적. 어시스턴트 생성 맥락과 사용자 생성 맥락을 분리해 위험 기여도 분석
- 입력 전용·출력 전용·대화 수준 조정 비교. Self-Reminder 류 접미사 방어가 장기 다중 턴에서 얼마나 유지되는지 실험. 어시스턴트 응답 자체를 다음 턴의 위험 특징으로 넣는 탐지기 테스트
- PyRIT 기반으로 Crescendomation 식 red-team 루프 구성. 직접적인 유해 콘텐츠 생성을 피하면서 정책상 안전한 대리 과제로 상승 역학을 먼저 재현. 심판의 거짓 양성·음성을 줄이기 위한 사람 감사 부분집합 작성
- 후속 문헌: PAIR, MSJ, HarmBench, Goal Prioritization, Self-Reminder, 다중 라운드 자동 red-teaming(MART) 계열
💡 Key Takeaway Crescendo 가 남긴 과제는 “모델의 이전 메시지를 신뢰할 수 있는 맥락으로 취급하는 것이 얼마나 위험한가”입니다. 대화 수준 조정과 어시스턴트 출력 인식 안전 학습이 그 답을 찾는 자리이며, 평가는 고정 데이터셋이 아니라 적응형 적대자를 포함해야 합니다.