Abstention Direction in Large Language Models: Mechanistic Interpretability of Abstention Across Query Ambiguity, Model Knowledge, and Human Values
0. Summary
- 기본 정보 : ArXiv,2026.11.16, Abstention Direction in Large Language Models: Mechanistic Interpretability of Abstention Across Query Ambiguity, Model Knowledge, and Human Values
- 연구 배경 : 기권(abstention)은 LLM 이 불확실하거나 안전 위험이 있을 때 답을 유보하는 행동으로, Wen et al. (2025) 의 분류에 따르면 그 원인은 질의 자체의 모호함(Query, Q), 모델 지식 경계 밖(Model Knowledge, MK), 인간 가치와의 충돌(Human Values, HV) 세 관점으로 나뉜다. 그런데 내부 표현을 분석한 기존 연구는 Arditi et al. (2024) 의 거부 방향(refusal direction)처럼 유해/무해 질의 쌍에서 계산한 HV 관점에 집중했고, 세 관점을 하나의 틀로 함께 분석하거나 공통 구조가 있는지 물은 연구는 없었다. 또 기존 방향 계산은 AdvBench 와 Alpaca 처럼 출처가 다른 데이터셋을 양극으로 써서, 기권 이외의 분포 차이가 방향에 섞여 들어갈 수 있었다.
- 제안 방법 : 거부 방향 틀을 세 관점 전체로 일반화한 기권 방향(abstention direction) 을 정의한다. 관점 p 마다 양극 데이터셋 $D_{\mathrm{p} }^{+}$(기권해야 함)와 $D_{\mathrm{p} }^{-}$(답해야 함)의 마지막 토큰 평균 활성 차이를 구하고 노름으로 정규화한다. 양극 데이터는 slot-flipped 방식으로 만든다. 한 극성의 질의에서 기권 유발 구절을 LLM(Kimi-K3)으로 슬롯화해 템플릿을 얻고, 그 슬롯에 반대 극성의 구절을 채워 템플릿을 공유하고 슬롯만 다른 반사실 쌍을 만든다. 이 방향을 각 층 활성에 더하거나($m>0$) 빼서($m<0$) 기권률(AR)과 과잉 기권률(OAR)의 변화를 재고, 관점 간 코사인 유사도와 Fisher 판별비(FDR)로 기하 구조를 분석한다.
- 발견 사실 : Qwen3-4B(thinking 모드)에서 slot-flipped 기권 방향을 중간 층에 더하면 Q·MK 의 AR 과 세 관점의 OAR 이 오르고, 빼면 세 관점 모두 AR 이 내려간다. 출처 독립(source-independent) 방향은 세 관점·양방향 모두에서 효과가 일관되게 작았고, 무작위 방향은 효과가 없었다. thinking/non-thinking 모드 사이 층별 추세의 Pearson 상관은 AR 0.94, OAR 0.93 이었다. 한 관점의 방향 개입이 다른 관점의 기권도 바꾸는 교차 관점 효과가 비대칭으로 나타났고, 가장 효과적인 층의 방향 간 코사인 유사도는 Q–MK +0.163, MK–HV +0.190, Q–HV +0.092 로 완전히 직교하지 않았다. FDR 은 MK 1.15(층 23), HV 2.65(층 21)로 중간 층에서 최고였으나 Q 는 중간 층에서 두드러진 상승이 없었다.
- 핵심 기여 :
- 세 관점 통합 기권 방향 : HV 에 한정됐던 거부 방향 틀을 Q·MK·HV 로 확장해, 관점마다 기권을 매개하는 방향이 존재하고 중간 층 개입으로 기권을 양방향 제어할 수 있음을 보였다.
- slot-flipped 반사실 쌍 구성 : 템플릿을 공유하고 기권 유발 슬롯만 뒤집은 쌍으로 방향을 계산하면 출처 독립 쌍보다 개입 효과가 일관되게 크다는 것을 세 관점·두 생성 모드에서 확인했다.
- 부분 공유 구조의 발견 : 교차 관점 효과, 코사인 유사도, FDR 분석으로 기권 표현이 관점 특이성과 공통 방향 성분을 함께 가진다는 것을 처음 보였다.
Abstract 쉬운 설명(Gemini)
관련 개념
기권(Abstention)의 세 관점과 거부 방향(Refusal Direction)
기권은 Wen et al. (2025) 의 정의로 “질의에 답하기를 거부하는 것”이며, 환각(hallucination) 완화와 안전 양쪽에서 중요한 행동입니다. 논문은 같은 저자들의 분류를 따라 기권 원인을 세 관점으로 나누고, 각 관점에서 “모델이 기권해야 하는 질의”와 “답해야 하는 질의”가 내부 표현에서 어떻게 갈리는지 묻습니다.
🧭 1. 세 관점
| 관점 | 기호 | 기권 이유 | 예시(Figure 2) |
|---|---|---|---|
| Query | Q | 질의가 모호하거나 불완전 | “When did the film Casino Royale come out?” (연도 한정어 없음) |
| Model Knowledge | MK | 질의가 모델 지식 경계 밖 | “Who wrote the novel Starlight Reverie?” (가상의 소설) |
| Human Values | HV | 안전·가치 위반 | 유해 행위 튜토리얼 요청 |
기계론적 해석가능성(mechanistic interpretability)은 이미 기권 연구에 적용되어 왔지만(Zhang et al. 2025b, Lindsey et al. 2025, Arditi et al. 2024), 세 관점의 내부 표현을 비교한 연구는 없었고, 세 종류의 기권이 공통 구조를 공유하는지도 알려져 있지 않았습니다.
📐 2. 거부 방향 (Eq. 1–2)
선형 표현 가설(linear representation hypothesis; Park et al. 2024, Elhage et al. 2022)에 기반해, HV 관점의 거부를 나타내는 벡터는 다음과 같이 계산됩니다. 유해 질의 집합 $D_{\mathrm{HV} }^{+}$ 와 무해 질의 집합 $D_{\mathrm{HV} }^{-}$ 를 두고, $L$ 층·은닉 차원 $d$ 인 모델에서 질의 $q$ 의 층 $\ell$ 마지막 토큰 출력 활성을 $\mathbf{x}^{(\ell)}(q)\in\mathbb{R}^{d}$ 라 하면
$$ \bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,+)}=\frac{1}{|D_{\mathrm{HV} }^{+}|}\sum_{q\in D_{\mathrm{HV} }^{+} }\mathbf{x}^{(\ell)}(q),\qquad \bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,-)}=\frac{1}{|D_{\mathrm{HV} }^{-}|}\sum_{q\in D_{\mathrm{HV} }^{-} }\mathbf{x}^{(\ell)}(q) $$
$$ \mathbf{r}{\mathrm{HV} }^{(\ell)}=\bar{\mathbf{x} }{\mathrm{HV} }^{(\ell,+)}-\bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,-)} $$
정의상 Eq. 2 는 “인간 가치를 침해하는 질의”와 “그렇지 않은 질의”의 내부 표현 차이이므로 HV 기권을 나타내는 벡터로 볼 수 있습니다.
🎛️ 3. 거부 방향을 이용한 활성 조향 (Eq. 3)
활성 조향(activation steering; Rimsky et al. 2024, Turner et al. 2024)은 추론 시점에 특정 개념 벡터를 활성에 더해 출력 행동을 제어합니다.
$$ {\mathbf{x}^{(\ell)} }^{\prime}(q)=\mathbf{x}^{(\ell)}(q)+c\cdot\mathbf{r}_{\mathrm{HV} }^{(\ell)} $$
$c\in\mathbb{R}$ 는 주입 계수(injection coefficient)입니다. Arditi et al. (2024) 은 $c>0$ 이면 무해 질의에도 거부를 유도하고, $c<0$ 이거나 방향을 제거(ablation)하면 유해 질의에 대한 거부가 억제됨을 보였습니다. Aaliyan (2026) 은 이를 HV 와 MK 두 관점에 적용했지만, 세 관점 전체의 벡터 구조는 충분히 분석되지 않았습니다.
💡 Key Takeaway 출발점은 “거부 방향은 HV 전용 도구인가, 아니면 기권 일반의 한 사례인가”라는 질문입니다. 논문은 같은 평균 차이 레시피를 Q·MK 에도 적용해 답을 찾습니다.
기권 방향(Abstention Direction)의 정의와 조향
논문은 Section 2 의 HV 전용 정의를 관점 $\mathrm{p}\in{\mathrm{Q},\mathrm{MK},\mathrm{HV}}$ 전체로 일반화합니다.
📐 1. 평균 차이와 정규화 (Eq. 4–6)
관점별 반사실 쌍 데이터셋 $D_{\mathrm{p} }^{+}$, $D_{\mathrm{p} }^{-}$ 에서 평균 활성을 구하고,
$$ \bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,+)}=\frac{1}{|D_{\mathrm{p} }^{+}|}\sum_{q\in D_{\mathrm{p} }^{+} }\mathbf{x}^{(\ell)}(q),\qquad \bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,-)}=\frac{1}{|D_{\mathrm{p} }^{-}|}\sum_{q\in D_{\mathrm{p} }^{-} }\mathbf{x}^{(\ell)}(q) $$
그 차이를 취한 뒤,
$$ \mathbf{r}{\mathrm{p} }^{(\ell)}=\bar{\mathbf{x} }{\mathrm{p} }^{(\ell,+)}-\bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,-)} $$
노름으로 나누어 기권 방향 을 정의합니다.
$$ \hat{\mathbf{r} }{\mathrm{p} }^{(\ell)}=\frac{\mathbf{r}{\mathrm{p} }^{(\ell)} }{|\mathbf{r}_{\mathrm{p} }^{(\ell)}|} $$
정규화를 하는 이유는 $|\mathbf{r}_{\mathrm{p} }^{(\ell)}|$ 이 관점과 층에 따라 크게 다르기 때문입니다(Appendix H). Qwen3-4B 에서는 HV 의 노름이 중간 층 이후 Q·MK 보다 크고, 모델 간에도 Qwen3-4B 는 약 $10^{2}$, Llama-3.2-3B-Instruct 는 약 $10^{1}$ 수준으로 달라서, 정규화 없이 같은 $c$ 를 쓰면 실질적인 개입 강도가 관점·모델마다 달라집니다.
🎛️ 2. 주입 크기 $m$ 을 이용한 조향 (Eq. 7)
$$ {\mathbf{x}^{(\ell)} }^{\prime}(q)=\mathbf{x}^{(\ell)}(q)+m\cdot\hat{\mathbf{r} }_{\mathrm{p} }^{(\ell)} $$
$m\in\mathbb{R}$ 을 Eq. 3 의 주입 계수 $c$ 와 구분해 주입 크기(injection magnitude) 라 부릅니다. $\mathrm{p}=\mathrm{HV}$, $m=c|\mathbf{r}_{\mathrm{HV} }^{(\ell)}|$ 로 두면 Eq. 3 의 HV 개입이 그대로 재현됩니다. $m>0$(덧셈)은 기권 개념을 증폭하고, $m<0$(뺄셈)은 억제합니다. 이 양방향 개입으로 기권 방향이 기권 행동에 미치는 인과 효과 를 평가합니다.
💡 Key Takeaway 방법 자체는 difference-of-means 와 activation addition 의 조합으로 단순합니다. 논문의 무게는 “어떤 쌍에서 평균 차이를 구하느냐”(다음 절)와 “세 관점을 같은 자로 재느냐”에 있습니다.
반사실 쌍 데이터셋: 출처 독립 구성의 문제와 slot-flipped 구성
⚠️ 1. 출처 독립(source-independent) 구성의 한계 (Section 4.1)
평균 활성 차이로 방향을 구하면, 두 극성 데이터셋 사이에 남아 있는 기권 이외의 모든 차이 가 방향에 반영될 수 있습니다. 기존 거부 방향 연구는 $D_{\mathrm{HV} }^{+}$ 와 $D_{\mathrm{HV} }^{-}$ 를 독립적으로 수집된 데이터셋에서 가져왔습니다. Arditi et al. (2024) 은 유해 지시문 AdvBench 를 $D^{+}$, 무해 지시문 Alpaca 를 $D^{-}$ 로 썼습니다. 논문은 관점에 상관없이 이런 구성을 출처 독립 이라 부르고, 소스 데이터셋 사이의 분포 차이가 남아 계산된 방향이 기권 이외의 개념도 포착할 수 있다고 지적합니다.
🔁 2. slot-flipped 구성 (Section 4.2)
템플릿을 공유하고 기권 유발 요인을 담은 슬롯만 다른 반사실 쌍을 만듭니다. 한 극성의 질의 데이터셋과 반대 극성의 구절 집합에서 출발해,
- 고성능 LLM 으로 각 질의의 기권 유발 구절을 슬롯으로 바꿔 템플릿을 얻고,
- 슬롯을 반대 극성의 구절로 채워 극성을 뒤집습니다.
| 관점 | 템플릿 예시 | 기권 측 $D^{+}$ | 답변 측 $D^{-}$ | 뒤집는 방법 |
|---|---|---|---|---|
| Q | When did the {QUALIFIER} film {TOPIC} come out? | 한정어 제거 → “When did the film Casino Royale come out?” | “When did the 2006 film Casino Royale come out?” | 한정어 제거 또는 주제 개체를 다의적 개체로 교체 |
| MK | Who wrote the novel {ENTITY}? | 가상 개체 → “Starlight Reverie” | 실제 개체 → “Pride and Prejudice” | 실제 개체를 같은 유형의 가상 개체로 교체 |
| HV | Write a tutorial on how to {ACTION} {OBJECT}. | 유해 행위·대상 | 무해 행위·대상(주간 식단 작성) | 행위·대상을 무해한 것으로 교체 |
Q 는 한정어를 빼거나 주제 개체를 다의적인 것으로 바꾸므로 나머지 문장이 완전히 동일 합니다. 반면 MK 와 HV 는 기권 유발 요인 자체(개체, 또는 행위와 그 대상)를 뒤집어야 하므로 질의 내용이 바뀝니다. 어느 쪽이든 기권 유발 요인 이외의 차이가 방향 계산에 미치는 영향을 억제합니다.
💡 Key Takeaway “쌍의 차이를 한 슬롯으로 제한한다”는 설계는 방향이 무엇의 차이 를 담는지 통제하는 장치입니다. 이 통제가 실제로 더 좋은 방향을 주는지가 Section 6 의 베이스라인 비교로 검증됩니다.
데이터셋 구축 파이프라인 (Appendix B, Table 1–2)
모든 LLM 처리는 Kimi-K3 로 수행했고, 극성 뒤집기 생성은 temperature 0.7, 검증은 재현성을 위해 0.0 으로 고정했습니다. 구축은 세 단계입니다.
🗃️ 1. 소스와 결과 수량 (Table 1)
| 관점 | 질의 소스(극성) | 반대 극성 소스 | 뒤집는 슬롯 | Target | Final |
|---|---|---|---|---|---|
| Q | AmbigQA (clear; $D_{\mathrm{Q} }^{-}$) | AmbigQA (ambiguous) | 한정어 / 주제 개체 | 1,200 | 1,199 |
| MK | Natural Questions ($D_{\mathrm{MK} }^{-}$) | FictionalQA | 개체 | 1,000 | 767 |
| HV | AdvBench ($D_{\mathrm{HV} }^{+}$) | Alpaca | 행위 / 대상 | 500 | 377 |
Target 은 필터링 전 질의 소스에서 구성한 쌍 수, Final 은 규칙 기반 필터링과 LLM 검증을 거친 최종 쌍 수입니다. Q 는 거의 손실이 없지만 MK 는 약 23%, HV 는 약 25% 가 걸러졌습니다.
🧩 2. Phase 1: 교체 후보 집합 구성
질의 소스 문장은 관점당 하나의 극성만 가지므로, 반대 극성 소스에서 뒤집기 재료가 될 표현을 LLM 으로 추출합니다(프롬프트는 Figure 9).
- Q : AmbigQA 의 모호한 질문에서 복수 해석을 유발하는 지시 표현을 추출. 이름 자체가 여러 유명한 대상을 가리키면 polysemous 로 표시.
- MK : FictionalQA 에서 존재하지 않는 개체를 추출.
- HV : Alpaca 에서 무해한 요청 내용(행위와 대상)을 추출.
추출된 표현은 고정된 범주 목록(Table 2)에 맞는 것만 남기고, 글자 수 제한을 적용하고, 중복을 제거합니다.
| 범주 집합 | 개수 | 항목 |
|---|---|---|
| 개체 유형(Q, MK) | 9 | person, place, organization, building_or_structure, media_work, event, product_or_technology, concept_or_protocol, other |
| 도메인(HV) | 21 | cyber, weapons_and_explosives, drugs, physical_violence, fraud_and_deception, hate_and_harassment, self_harm, privacy, theft, misinformation, household, health, food, education, business, writing, science, crafts, civic, digital_media, other |
✍️ 3. Phase 2: slot-flipped 질의 생성
질의 소스 문장마다 LLM 이 한 번의 패스 로 템플릿 분해, 유형이 맞는 후보 선택, 주입에 의한 극성 뒤집기를 수행합니다(프롬프트는 Figure 10). Q 는 qualifier_drop(한정어 제거, 다의어 후보가 없을 때 선호)과 entity_swap(다의적 후보로 교체 후 한정어 제거) 두 모드 중 하나를 고릅니다. MK 는 실제 개체가 반드시 고유명사여야 하며(연도·숫자·일반명사 금지), 선택된 개체의 유형이 분해 시 식별된 유형과 다를 때만 유형 일치 후보 풀에서 한 번 재주입을 시도합니다. HV 는 무해 측이 윤리·합법성·안전을 언급하지 않는 평범한 요청으로 읽혀야 합니다.
✅ 4. Phase 3: 후처리
| 단계 | 내용 |
|---|---|
| 규칙 기반 필터 | 글자 수, 문자열 유사도·길이 비율로 잰 시드 질의로부터의 이탈, 관점별 제약(한정어나 유해 행위 구절의 누출, 남은 placeholder 탐지) |
| LLM 검증 | 필터를 통과한 쌍에 대해 관점별 수락 조건 전부 충족 시에만 수락(프롬프트는 Figure 11) |
수락 조건은 Q 의 모호 측이 복수 해석을 허용하고 명확 측이 유일하게 답변 가능할 것, MK 의 개체가 존재하지 않을 것, HV 의 무해 측이 숨은 유해 의도가 없는 무해 요청일 것이며, 모든 관점에 공통으로 두 측의 차이가 의도한 요소로 제한 되어야 합니다.
🧪 5. 출처 독립 베이스라인 (Appendix C)
| 비교를 위해 같은 세 관점에 대해 출처 독립 데이터셋도 만듭니다. Q 는 AmbigQA 의 모호/명확 질문, MK 는 FictionalQA/Natural Questions, HV 는 AdvBench/Alpaca 를 각각 $D^{+}$/$D^{-}$ 로 쓰고, 큰 쪽을 무작위 부표본해 $ | D^{+} | = | D^{-} | $ 로 맞추고 쌍 수를 slot-flipped 의 Final 열(1,199 / 767 / 377)과 일치시킵니다. 두 극성이 템플릿·주제를 공유하지 않으므로 추출된 방향이 기권 요인 이외의 개념 차이를 담을 수 있습니다. |
💡 Key Takeaway 방향 계산에는 관점당 64쌍 만 씁니다(Stolfo et al. 2025 의 20쌍, Arditi et al. 2024 의 128쌍과 같은 규모). 수천 쌍을 만든 이유는 방향이 아니라 평가 세트 와 품질 필터링을 위해서입니다.
실험 설정: 모델, 판정자, 지표
🧠 1. 모델
주 모델은 공개 가중치 Qwen3-4B 로 $L=36$ 층, $d=2560$ 입니다. 구현은 TransformerLens 위에서 하며 blocks.{ $\ell$ }.hook_resid_pre 를 층 $\ell$ 의 출력으로 삼습니다. 모듈이 0-indexed 라서 마지막 층($\ell=36$)의 출력은 분석에서 빠지며, Arditi et al. (2024) 도 출력 토큰만 반영하는 방향을 피하려고 늦은 층을 제외했습니다. Qwen3-4B 는 enable_thinking 플래그로 thinking 모드(추론)와 non-thinking 모드(일반 대화)를 전환할 수 있고, 논문은 추론 모델에 해당하는 thinking 모드 를 중심으로 보고하며 non-thinking 모드는 Appendix F, Llama-3.2-3B-Instruct 는 Appendix D 에서 다룹니다.
| 설정 | Qwen3-4B thinking | Qwen3-4B non-thinking | Llama-3.2-3B-Instruct |
|---|---|---|---|
| temperature / top-p / top-k | 0.6 / 0.95 / 20 | 0.7 / 0.8 / 20 | 0.6 / 0.9 / – |
| 주입 크기 $\lvert m\rvert$ | 2, 4, 8, 16, 32 | 2, 4, 8, 16, 32 | 0.25, 0.5, 1, 2, 4, 8 |
Llama 의 $m$ 범위를 10배 작게 잡은 것은 정규화 전 평균 차이 벡터의 노름이 Qwen3-4B 의 약 $10^{-1}$ 배이기 때문입니다(Appendix H). 절대 L2 노름이 아니라 모델별 노름 스케일에 상대적인 개입 강도를 대략 맞추려는 휴리스틱입니다.
📏 2. 지표: AR 과 OAR (Eq. 8–10)
질의 $q$ 에 대한 출력이 기권인지 판정하는 함수를 두고,
$$ y(q)=\begin{cases}1 & (\text{model abstains})\\ 0 & (\text{otherwise})\end{cases} $$
두 지표를 정의합니다.
$$ \mathrm{AR}_{\mathrm{p} }=\frac{1}{|D_{\mathrm{p} }^{+}|}\sum_{q\in D_{\mathrm{p} }^{+} }y(q),\qquad \mathrm{OAR}_{\mathrm{p} }=\frac{1}{|D_{\mathrm{p} }^{-}|}\sum_{q\in D_{\mathrm{p} }^{-} }y(q) $$
| 지표 | 의미 | 대응 개념 | 바람직한 방향 |
|---|---|---|---|
| AR (abstention rate) | 기권해야 할 질의 중 기권한 비율 | AbstentionBench 의 abstention recall | 높을수록 좋음 |
| OAR (over-abstention rate) | 답할 수 있는 질의 중 기권한 비율 | AbstentionBench 는 precision·F1 로 간접 반영 | 낮을수록 좋음 |
⚖️ 3. 판정자와 평가 데이터
$y(q)$ 는 AbstentionBench 를 따라 LLM-as-a-Judge 로 구현하며, 판정 모델은 gpt-oss-120b(reasoning effort medium, temperature 0.0, top-p 1.0, seed 0)에 AbstentionBench 의 평가 프롬프트를 씁니다. AbstentionBench 의 2단계(기권 탐지 + 정답 평가) 중 기권 탐지만 수행합니다. 평가 데이터는 방향 계산에 쓰지 않은 slot-flipped 테스트 쌍으로, 관점당 128쌍(256 질의) 입니다. 방향을 slot-flipped 에서 구하든 출처 독립에서 구하든 같은 테스트 쌍으로 평가합니다. 질의마다 서로 다른 샘플링 시드로 3회 생성하고 판정자가 각 응답을 한 번 라벨링해, 실행별 AR·OAR 의 평균 ± 1 표준편차를 보고합니다.
💡 Key Takeaway 평가 세트가 방향 계산 데이터와 같은 slot-flipped 분포 라는 점은 저자들도 한계로 인정합니다. 이 논문은 “방향이 존재한다”를 보이는 것이 목표이고 분포 밖 일반화는 다루지 않습니다.
결과 1: 층별 개입 효과 (Figure 3)
Qwen3-4B 의 모든 층 에 $m=\pm 2,\pm 4,\pm 8,\pm 16,\pm 32$ 로 개입했고, 본문은 출력 붕괴가 적으면서 변화가 가장 큰 $m=\pm 16$ 을 보고합니다. 초기 층 개입은 토큰 반복 같은 텍스트 퇴화를 자주 일으켜(응답의 10% 초과가 붕괴하면 × 표시) 분석에서 제외했습니다.
📈 1. slot-flipped 방향 (Figure 3a)
| 개입 | Q | MK | HV |
|---|---|---|---|
| 덧셈 $m=+16$ | 일부 층에서 AR 이 무개입보다 상승, OAR 상승 | 일부 층에서 AR 상승, OAR 상승 | AR 은 이미 1.0 이라 변화 없음(덧셈 후에도 1.0), OAR 상승 |
| 뺄셈 $m=-16$ | 일부 층에서 AR 하락 | 일부 층에서 AR 하락 | 일부 층에서 AR 하락; 무개입 OAR 이 이미 작아 뺄셈의 OAR 효과는 관찰 어려움 |
효과는 개입 방향과 일치하는 일관된 추세를 보이며 중간 층에 집중 됩니다. 그래프에서는 개입 관점과 평가 관점이 같을 때 선이 불투명하고, 다를 때 반투명합니다(교차 관점 효과는 Section 7.1.1).
📉 2. 출처 독립 방향 (Figure 3b)
출처 독립 방향은 세 관점·양방향 모두에서 slot-flipped 보다 일관되게 작은 개입 효과를 보입니다. 방향 계산용 데이터셋을 어떻게 구성하느냐가 개입 효과에 영향을 준다는 뜻입니다.
🎲 3. 통제 실험: 무작위 방향 (Appendix E)
같은 크기의 어떤 섭동이라도 효과가 나는지 확인하기 위해, 표준정규분포 $\mathbf{g}\sim\mathcal{N}(\mathbf{0},\mathbf{I}{d})$ 에서 뽑아 단위 벡터로 정규화한 무작위 방향 $\hat{\mathbf{g} }{\mathrm{p} }^{(\ell)}$ 로 개입했습니다. 고차원에서 이 벡터는 기권 방향과 거의 직교합니다(Qwen3-4B 에서 $\cos\approx 0\pm 0.02$). 결과(Figure 15, 단일 실행)에서 $m$ 이 커져도 AR·OAR 에 체계적인 변화가 없었으므로, 관찰된 효과는 섭동 크기가 아니라 기권 방향의 특정 방위 때문입니다.
💡 Key Takeaway HV 는 무개입 AR 이 1.0, OAR 이 거의 0 이라 “더 기권시키기”와 “덜 과잉 기권시키기”를 잴 여지가 없습니다. HV 에서 실제로 측정되는 것은 뺄셈에 의한 AR 하락과 덧셈에 의한 OAR 상승뿐입니다.
결과 2: 주입 크기 sweep, 생성 모드, 다른 모델
📊 1. 대표 층에서의 $m$ sweep (Figure 4)
| 관점마다 $m=-16$ 과 $m=16$ 사이 지표 차이가 최대인 층을 대표 층으로 골라 $m\in{-16,-8,-4,-2,2,4,8,16}$ 을 쓸었습니다. thinking 모드에서 세 관점 모두 slot-flipped 방향이 출처 독립 방향보다 일관되게 큰 효과를 보였고, 특히 **작은 $ | m | $ 에서도** 눈에 띄는 효과가 나타났습니다. non-thinking 모드에서도 같은 우위가 유지됩니다. 저자들은 템플릿으로 기권 유발 요인 이외의 문장 차이를 제한하면 기권을 더 효과적으로 제어하는 방향을 얻는다고 결론짓습니다. |
🔁 2. thinking vs non-thinking (Appendix F)
| 지표 | $m=\pm 16$ 에서 두 모드의 층별 추세 Pearson 상관(6개 패널 평균) |
|---|---|
| AR | 0.94 |
| OAR | 0.93 |
기권 방향의 인과 효과는 생성 모드에 거의 의존하지 않습니다. 두 모드 모두 중간 정도의 $m$ 부터 덧셈 개입이 과잉 기권을 유발합니다.
🧪 3. 전체 조건과 Llama-3.2-3B-Instruct (Appendix D)
| 모델 | $\lvert m\rvert$ 범위 | 결과 그림 | 비고 |
|---|---|---|---|
| Qwen3-4B thinking | 2–32 | Figure 12 | $\lvert m\rvert=32$ 에서 일부 셀의 텍스트 퇴화율 10% 초과 |
| Qwen3-4B non-thinking | 2–32 | Figure 13 | 동일 |
| Llama-3.2-3B-Instruct | 0.25–8 | Figure 14 | 노름 스케일이 작아 더 작은 범위를 세밀하게 탐색 |
| 세 설정 모두 $ | m | $ 이 커질수록 개입 효과가 커지며, Qwen3-4B 에서는 최대값 $ | m | =32$ 에서 개입 노름 $|m\hat{\mathbf{r} }_{\mathrm{p} }^{(\ell)}|$ 이 너무 커져 토큰 반복 등으로 응답의 10% 이상이 붕괴합니다. Llama 에 대한 구체적 수치는 본문에 없고 그림으로만 제시됩니다. |
💡 Key Takeaway 효과의 단조 증가와 큰 $|m|$ 에서의 붕괴는 조향 연구의 전형적 패턴입니다. 이 논문에서 새로운 점은 같은 정규화된 방향 으로 세 관점을 같은 $m$ 눈금에 올려 비교했다는 것입니다.
정성 분석: 개입이 바꾸는 것 (Section 6.3, Appendix I)
논문은 개입 전후의 thinking 과 최종 답변을 나란히 보여 주는 사례를 Figure 5, 6, 18, 19 에 싣습니다. 여기서는 사례의 구조 만 옮기고 출력 원문은 옮기지 않습니다.
🔍 1. 같은 관점 개입 (Figure 5, 18; $\ell=19$, $\lvert m\rvert=16$)
| 사례 | 개입 | 개입 전 | 개입 후 |
|---|---|---|---|
| Q: 한정어가 빠진 법안 도입 시점 질문 | Q 방향 덧셈 | thinking 이 특정 연도·인물을 확신하고 틀린 답을 자신 있게 제시 | thinking 이 “여러 법안이 있어 모호하다”고 인식하고 어떤 법안인지 특정해 달라고 요청 |
| MK: 가상의 야구팀에 관한 기록 질문 | MK 방향 뺄셈 | thinking 이 실존하지 않는 팀임을 인식하고 기권 | thinking 이 거짓 확신으로 전환해 리그 소속과 구체적 날짜를 지어냄 |
| HV: 유해한 프로그램 작성 요청 | HV 방향 뺄셈 | thinking 이 불법·비윤리임을 인식하고 거부 | thinking 에서 그 우려가 사라지고 요청을 작업 단위로 분해해 응답(가드레일 약화) |
저자들은 Q 사례에서 개입이 불확실성에 대한 인식 자체를 바꾸고 그 변화가 출력에 반영된다고 해석합니다. MK 뺄셈은 지식 경계 인식을 잃게 하고, HV 뺄셈은 인간 가치를 무시하게 만듭니다.
🔀 2. 교차 관점 개입 (Figure 6, 19; $m=-16$, $\ell=19$)
| 조향 벡터 | 대상 질의 | 결과 |
|---|---|---|
| HV 방향 뺄셈 | MK 질의(영화의 가상 배역을 연기한 배우) | 개입 전 “기억나지 않는다”며 유보 → 개입 후 가상의 배우 이름을 지어내 환각 |
| Q 방향 뺄셈 | MK 질의(가상의 나라 “Pineworth”의 국가) | 개입 전 실존하지 않는 나라라고 기권 → 개입 후 가상 출처를 근거로 작가 이름을 지어냄 |
| MK 방향 뺄셈 | Q 질의(시점 한정어가 없는 신문 편집장 질문) | 개입 전 실시간 데이터가 없다고 기권 → 개입 후 특정 시점과 인물명을 지어냄 |
세 사례 모두 “한 관점의 방향을 빼면 다른 관점 의 질의에서도 환각이 유발된다”는 것을 보여 주며, Section 7 의 비대칭 교차 관점 효과와 부분 공유 가설을 정성적으로 뒷받침합니다.
💡 Key Takeaway 기권 방향을 빼는 것은 세 관점 모두에서 “모르면 모른다고 말하기”를 끄는 스위치처럼 작동합니다. HV 에서는 이것이 안전 가드레일 제거이고, Q·MK 에서는 자신 있는 환각입니다.
기하 분석 1: 교차 관점 효과와 코사인 유사도 (Section 7.1)
🔀 1. 교차 관점 효과의 비대칭 (Section 7.1.1)
Figure 3a 는 한 관점의 방향 개입이 다른 관점의 지표 도 바꾼다는 것(교차 관점 효과)을 보여 줍니다. 효과는 비대칭입니다.
| 개입 관점 | 영향을 받는 다른 관점 |
|---|---|
| Q | MK 의 AR 만 변화, HV 는 영향 없음 |
| MK | Q 와 HV 양쪽 지표 변화 |
| HV | Q 와 MK 양쪽 지표 변화 |
이 비대칭이 관점 간에 얼마나 많은 표현이 공유되는지 묻게 하고, 코사인 유사도 분석으로 이어집니다.
📐 2. 층별 코사인 유사도 (Figure 7)
같은 층 $\ell$ 에서 서로 다른 관점 쌍의 방향 사이 $\cos(\hat{\mathbf{r} }{\mathrm{p} }^{(\ell)},\hat{\mathbf{r} }{\mathrm{p}^{\prime} }^{(\ell)})$ 를 계산했습니다.
| 관점 쌍 | 층에 따른 추세 |
|---|---|
| MK–HV | 모든 층에서 대략 비음(non-negative) |
| Q–MK | 깊은 층으로 갈수록 상승 |
| Q–HV | 깊은 층으로 갈수록 하락 |
Q 가 MK·HV 와 다르게 행동하는 것은 Section 4.2 에서 논의한 데이터셋 성질 차이(Q 는 한정어·주제 개체만 바뀜) 때문일 수 있다고 저자들은 봅니다.
🔢 3. 가장 효과적인 층에서의 값
Figure 4 의 대표 층(Q 는 층 20, MK 는 층 19, HV 는 층 17)에서 방향 간 코사인 유사도는 다음과 같습니다.
| 쌍 | 코사인 유사도 |
|---|---|
| Q(20)–MK(19) | +0.163 |
| MK(19)–HV(17) | +0.190 |
| Q(20)–HV(17) | +0.092 |
세 방향은 완전히 직교하지 않고 공통 방향 성분 을 공유합니다. 개입이 효과적인 중간 층에서 MK–HV 쌍의 유사도가 상대적으로 큰 것은 Section 7.1.1 의 MK–HV 교차 효과와 일치하고, Q–HV 가 Q–MK 보다 작은 것은 Q 방향을 빼도 HV 의 AR 은 거의 줄지 않지만 MK 의 AR 은 줄어드는 비대칭과 일치합니다.
💡 Key Takeaway 코사인 유사도 0.1–0.2 는 작아 보이지만 $d=2560$ 차원에서 무작위 방향의 유사도가 $0\pm 0.02$ 임을 감안하면 유의미한 공유입니다. 공유 성분의 크기와 교차 효과의 크기가 같은 순서(MK–HV > Q–MK > Q–HV)라는 점이 논문의 핵심 정합성 논증입니다.
기하 분석 2: 활성 공간의 분리도, Fisher 판별비 (Section 7.2)
📏 1. 정의와 결과 (Figure 8)
Fisher 판별비(Fisher discriminant ratio, FDR; Tharwat et al. 2017)는 두 극성 평균 차이를 극성 내 분산으로 나눈 값으로, 클수록 $D_{\mathrm{p} }^{+}$ 와 $D_{\mathrm{p} }^{-}$ 의 활성 벡터가 활성 공간에서 더 명확히 분리됩니다.
| 관점 | 중간 층 추세 | 최대값(층) |
|---|---|---|
| MK | 중간 층에서 상승 | 1.15 ($\ell=23$) |
| HV | 중간 층에서 크게 상승 | 2.65 ($\ell=21$) |
| Q | 중간 층에서 두드러진 상승 없음 | – |
분리가 발달하는 중간 층은 Figure 3a 에서 개입이 효과를 내는 층과 대략 일치합니다. 저자들은 기권 방향 개입이 두 극성 활성이 잘 분리된 층에서 효과적으로 작동한다고 해석합니다.
❓ 2. 왜 Q 는 분리되지 않는가
MK 와 HV 에서는 슬롯 구절 자체(가상 개체 이름, 유해 행위)가 기권 유발 요인을 담고 있고, 이런 의미적 속성은 중간 층 근처에서 선형 분리 가능해진다고 보고되어 있습니다(Marks and Tegmark 2024). 반면 Q 는 두 극성의 차이가 한정어와/또는 주제 개체로 제한되어 있어 활성 공간에서 분리하기 어려울 수 있습니다. 그럼에도 Q 방향 개입이 AR·OAR 을 바꾼다는 점(Section 6)은 “분리도가 낮아도 평균 차이 방향은 인과적으로 작동할 수 있다”는 것을 시사하지만, 논문은 이를 명시적으로 논하지는 않습니다.
💡 Key Takeaway FDR 은 “방향이 효과적인 층”을 개입 실험 없이 예측하는 보조 신호로 쓸 수 있습니다. 다만 Q 처럼 분리도가 낮은데도 조향이 되는 경우가 있어, FDR 만으로 방향의 유효성을 판단할 수는 없습니다.
관련 연구와의 위치 (Appendix A)
📚 1. 단일 관점 연구
| 관점 | 연구 | 내용 |
|---|---|---|
| Q | Zhang et al. (2025b) | 질의 모호성이 선형으로 인코딩되고 극소수 뉴런에 집중; 뉴런 개입으로 직접 답변에서 기권(명확화 요청)으로 전환 |
| MK | Chen et al. (2026) | 답변 생성 전 내부 표현에서 지식 경계 안/밖을 추정하는 학습 불필요 방법(Internal Confidence) |
| MK | Lindsey et al. (2025) | 기본 거부 회로가 “알려진 개체” 피처에 의해 억제되어 답변으로 전환; 억제 오작동이 환각을 유발 |
| HV | Arditi et al. (2024), Wei et al. (2024), Li et al. (2025), Zheng et al. (2024) | 거부가 소수 뉴런·부분공간·방향에 집중; 제거 시 가드레일 붕괴, 안전 프롬프트가 표현을 거부 방향으로 이동 |
🔗 2. 교차 관점 연구
| 연구 | 범위 | 이 논문과의 차이 |
|---|---|---|
| Son et al. (2026) | 지식 기반 거부(KR≈MK)와 안전 기반 거부(SR≈HV)를 공통 템플릿의 대조 4중쌍으로 비교. 두 방향이 지배적 공통 성분을 공유하고 유형 특이 성분은 늦은 층에서 출현; SR 프로브가 KR 로 더 잘 전이 | Q 를 다루지 않고, 조향은 비거부 통제 프롬프트에 방향을 더하는 것에 한정 |
| Joad et al. (2026) | 다양한 비순응 범주(세분화된 HV, Q 관련 미지정 요청, 능력 한계)의 거부 방향이 기하적으로 구별되지만 조향 시 비슷한 거부–과잉 거부 트레이드오프를 보임 | MK 가 독립 범주로 분리되지 않음 |
| Aaliyan (2026) | 안전 거부와 인식론적 기권 방향의 관련 분석 | – |
저자들은 세 관점 모두를 기권 유발 요인을 분리한 반사실 쌍 과 통일된 개입 방법 으로 분석한 연구는 없었다고 정리하며, 추론 모델에서 Q 를 포함하고 덧셈·뺄셈 양방향과 교차 관점 효과를 평가한 점을 차별점으로 듭니다.
💡 Key Takeaway Son et al. 과 Joad et al. 의 “공통 핵심 + 범주 특이 성분” 결론과 이 논문의 부분 공유 결과는 서로 일관됩니다. 이 논문의 추가 기여는 Q 를 포함했다는 것과 쌍 구성 방식 자체를 변수로 삼아 비교했다는 것입니다.
한계, 윤리적 고려, 계산 자원
⚠️ 1. 저자가 명시한 한계
- 모델은 Qwen3-4B 와 Llama-3.2-3B-Instruct 두 개뿐이며, 다른 모델 계열과 더 큰 모델로의 일반화는 미검증입니다.
- Arditi et al. (2024) 과 마찬가지로 기권 방향이 무엇을 의미하는지 의 해석은 미해결입니다. 방향이 기권을 매개한다는 것은 보였지만 내부 구조 해석은 향후 과제입니다.
- 기권 유발 요인의 범위가 Wen et al. (2025) 의 세 관점 분류와 각 관점 안의 특정 요인에 한정됩니다. AbstentionBench 의 시나리오 수준 세분화로의 확장은 남아 있습니다.
- 방향 계산과 평가에 같은 slot-flipped 구성 분포를 쓰므로 분포 밖 일반화는 미검증 입니다.
- 영어만 다룹니다.
- 평가가 gpt-oss-120b 판정자에 의존해 판정자 편향이 있을 수 있고, 판정자는 기권 여부만 탐지할 뿐 개입 후 출력의 정확성·유창성은 평가하지 않습니다. 출력 품질 변화는 정성적으로만 살폈습니다.
- Kimi-K3 가 slot-flipped 쌍을 생성하고 스스로 검증하므로 모델 고유 편향이 두 단계 중 어느 쪽으로든 들어갈 수 있습니다. 규칙 기반 점검이 이를 완화하지만 완전히 제거하지는 못합니다.
🔒 2. 윤리적 고려
기권 방향 개입에는 정렬 제거 위험이 있습니다. HV 에서 안전 거부 억제는 jailbreak 에 악용될 수 있고, Q·MK 의 기권은 진실성 정렬을 반영하므로 이를 제거하면 지식 밖 질의에 자신 있게 환각하거나 명확화 없이 한 해석에 몰입하는 모델이 됩니다. 특히 교차 관점 효과 때문에 과잉 기권을 줄이려는 개입이 의도치 않게 안전 행동을 약화시킬 수 있습니다. 다만 방법이 가중치에 대한 white-box 접근을 요구하므로 위협은 공개 가중치 모델로 한정되며, 저자들은 내부 메커니즘 이해가 이런 개입의 탐지와 견고한 정렬 개발에 필수라고 봅니다. AdvBench 의 유해 지시문은 연구 목적으로만 쓰고 새로운 유해 콘텐츠는 생성하지 않았습니다.
🖥️ 3. 계산 자원 (Appendix J)
| 항목 | GPU 시간(H100) |
|---|---|
| 응답 생성, Qwen3-4B thinking (3회 실행) | 291 |
| 응답 생성, Qwen3-4B non-thinking | 144 |
| 응답 생성, Llama-3.2-3B-Instruct | 75 |
| 생성 소계 | 510 |
| gpt-oss-120b 로 AR·OAR 계산 | 800 |
| 합계 | 약 1,310 |
판정 비용이 생성 비용보다 큽니다. 모든 층 × 다수의 $m$ × 세 관점 × 3회 실행에 대해 LLM 판정자를 돌리는 설계의 대가입니다.
💡 Key Takeaway 이 논문의 결론은 “기권 방향이 세 관점 모두에 존재하고 부분적으로 공유된다”는 존재 증명 입니다. 방향의 의미 해석, 분포 밖 일반화, 더 큰 모델, 출력 품질의 정량 평가는 모두 다음 단계로 남아 있습니다.