0. Summary

  • 기본 정보 : ArXiv,2026.11.16, Abstention Direction in Large Language Models: Mechanistic Interpretability of Abstention Across Query Ambiguity, Model Knowledge, and Human Values
  • 연구 배경 : 기권(abstention)은 LLM 이 불확실하거나 안전 위험이 있을 때 답을 유보하는 행동으로, Wen et al. (2025) 의 분류에 따르면 그 원인은 질의 자체의 모호함(Query, Q), 모델 지식 경계 밖(Model Knowledge, MK), 인간 가치와의 충돌(Human Values, HV) 세 관점으로 나뉜다. 그런데 내부 표현을 분석한 기존 연구는 Arditi et al. (2024) 의 거부 방향(refusal direction)처럼 유해/무해 질의 쌍에서 계산한 HV 관점에 집중했고, 세 관점을 하나의 틀로 함께 분석하거나 공통 구조가 있는지 물은 연구는 없었다. 또 기존 방향 계산은 AdvBench 와 Alpaca 처럼 출처가 다른 데이터셋을 양극으로 써서, 기권 이외의 분포 차이가 방향에 섞여 들어갈 수 있었다.
  • 제안 방법 : 거부 방향 틀을 세 관점 전체로 일반화한 기권 방향(abstention direction) 을 정의한다. 관점 p 마다 양극 데이터셋 $D_{\mathrm{p} }^{+}$(기권해야 함)와 $D_{\mathrm{p} }^{-}$(답해야 함)의 마지막 토큰 평균 활성 차이를 구하고 노름으로 정규화한다. 양극 데이터는 slot-flipped 방식으로 만든다. 한 극성의 질의에서 기권 유발 구절을 LLM(Kimi-K3)으로 슬롯화해 템플릿을 얻고, 그 슬롯에 반대 극성의 구절을 채워 템플릿을 공유하고 슬롯만 다른 반사실 쌍을 만든다. 이 방향을 각 층 활성에 더하거나($m>0$) 빼서($m<0$) 기권률(AR)과 과잉 기권률(OAR)의 변화를 재고, 관점 간 코사인 유사도와 Fisher 판별비(FDR)로 기하 구조를 분석한다.
  • 발견 사실 : Qwen3-4B(thinking 모드)에서 slot-flipped 기권 방향을 중간 층에 더하면 Q·MK 의 AR 과 세 관점의 OAR 이 오르고, 빼면 세 관점 모두 AR 이 내려간다. 출처 독립(source-independent) 방향은 세 관점·양방향 모두에서 효과가 일관되게 작았고, 무작위 방향은 효과가 없었다. thinking/non-thinking 모드 사이 층별 추세의 Pearson 상관은 AR 0.94, OAR 0.93 이었다. 한 관점의 방향 개입이 다른 관점의 기권도 바꾸는 교차 관점 효과가 비대칭으로 나타났고, 가장 효과적인 층의 방향 간 코사인 유사도는 Q–MK +0.163, MK–HV +0.190, Q–HV +0.092 로 완전히 직교하지 않았다. FDR 은 MK 1.15(층 23), HV 2.65(층 21)로 중간 층에서 최고였으나 Q 는 중간 층에서 두드러진 상승이 없었다.
  • 핵심 기여 :
    1. 세 관점 통합 기권 방향 : HV 에 한정됐던 거부 방향 틀을 Q·MK·HV 로 확장해, 관점마다 기권을 매개하는 방향이 존재하고 중간 층 개입으로 기권을 양방향 제어할 수 있음을 보였다.
    2. slot-flipped 반사실 쌍 구성 : 템플릿을 공유하고 기권 유발 슬롯만 뒤집은 쌍으로 방향을 계산하면 출처 독립 쌍보다 개입 효과가 일관되게 크다는 것을 세 관점·두 생성 모드에서 확인했다.
    3. 부분 공유 구조의 발견 : 교차 관점 효과, 코사인 유사도, FDR 분석으로 기권 표현이 관점 특이성과 공통 방향 성분을 함께 가진다는 것을 처음 보였다.

Abstract 쉬운 설명(Gemini)

관련 개념

기권(Abstention)의 세 관점과 거부 방향(Refusal Direction)

기권은 Wen et al. (2025) 의 정의로 “질의에 답하기를 거부하는 것”이며, 환각(hallucination) 완화와 안전 양쪽에서 중요한 행동입니다. 논문은 같은 저자들의 분류를 따라 기권 원인을 세 관점으로 나누고, 각 관점에서 “모델이 기권해야 하는 질의”와 “답해야 하는 질의”가 내부 표현에서 어떻게 갈리는지 묻습니다.


🧭 1. 세 관점

관점 기호 기권 이유 예시(Figure 2)
Query Q 질의가 모호하거나 불완전 “When did the film Casino Royale come out?” (연도 한정어 없음)
Model Knowledge MK 질의가 모델 지식 경계 밖 “Who wrote the novel Starlight Reverie?” (가상의 소설)
Human Values HV 안전·가치 위반 유해 행위 튜토리얼 요청

기계론적 해석가능성(mechanistic interpretability)은 이미 기권 연구에 적용되어 왔지만(Zhang et al. 2025b, Lindsey et al. 2025, Arditi et al. 2024), 세 관점의 내부 표현을 비교한 연구는 없었고, 세 종류의 기권이 공통 구조를 공유하는지도 알려져 있지 않았습니다.


📐 2. 거부 방향 (Eq. 1–2)

선형 표현 가설(linear representation hypothesis; Park et al. 2024, Elhage et al. 2022)에 기반해, HV 관점의 거부를 나타내는 벡터는 다음과 같이 계산됩니다. 유해 질의 집합 $D_{\mathrm{HV} }^{+}$ 와 무해 질의 집합 $D_{\mathrm{HV} }^{-}$ 를 두고, $L$ 층·은닉 차원 $d$ 인 모델에서 질의 $q$ 의 층 $\ell$ 마지막 토큰 출력 활성을 $\mathbf{x}^{(\ell)}(q)\in\mathbb{R}^{d}$ 라 하면

$$ \bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,+)}=\frac{1}{|D_{\mathrm{HV} }^{+}|}\sum_{q\in D_{\mathrm{HV} }^{+} }\mathbf{x}^{(\ell)}(q),\qquad \bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,-)}=\frac{1}{|D_{\mathrm{HV} }^{-}|}\sum_{q\in D_{\mathrm{HV} }^{-} }\mathbf{x}^{(\ell)}(q) $$

$$ \mathbf{r}{\mathrm{HV} }^{(\ell)}=\bar{\mathbf{x} }{\mathrm{HV} }^{(\ell,+)}-\bar{\mathbf{x} }_{\mathrm{HV} }^{(\ell,-)} $$

정의상 Eq. 2 는 “인간 가치를 침해하는 질의”와 “그렇지 않은 질의”의 내부 표현 차이이므로 HV 기권을 나타내는 벡터로 볼 수 있습니다.


🎛️ 3. 거부 방향을 이용한 활성 조향 (Eq. 3)

활성 조향(activation steering; Rimsky et al. 2024, Turner et al. 2024)은 추론 시점에 특정 개념 벡터를 활성에 더해 출력 행동을 제어합니다.

$$ {\mathbf{x}^{(\ell)} }^{\prime}(q)=\mathbf{x}^{(\ell)}(q)+c\cdot\mathbf{r}_{\mathrm{HV} }^{(\ell)} $$

$c\in\mathbb{R}$ 는 주입 계수(injection coefficient)입니다. Arditi et al. (2024) 은 $c>0$ 이면 무해 질의에도 거부를 유도하고, $c<0$ 이거나 방향을 제거(ablation)하면 유해 질의에 대한 거부가 억제됨을 보였습니다. Aaliyan (2026) 은 이를 HV 와 MK 두 관점에 적용했지만, 세 관점 전체의 벡터 구조는 충분히 분석되지 않았습니다.

💡 Key Takeaway 출발점은 “거부 방향은 HV 전용 도구인가, 아니면 기권 일반의 한 사례인가”라는 질문입니다. 논문은 같은 평균 차이 레시피를 Q·MK 에도 적용해 답을 찾습니다.

기권 방향(Abstention Direction)의 정의와 조향

논문은 Section 2 의 HV 전용 정의를 관점 $\mathrm{p}\in{\mathrm{Q},\mathrm{MK},\mathrm{HV}}$ 전체로 일반화합니다.


📐 1. 평균 차이와 정규화 (Eq. 4–6)

관점별 반사실 쌍 데이터셋 $D_{\mathrm{p} }^{+}$, $D_{\mathrm{p} }^{-}$ 에서 평균 활성을 구하고,

$$ \bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,+)}=\frac{1}{|D_{\mathrm{p} }^{+}|}\sum_{q\in D_{\mathrm{p} }^{+} }\mathbf{x}^{(\ell)}(q),\qquad \bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,-)}=\frac{1}{|D_{\mathrm{p} }^{-}|}\sum_{q\in D_{\mathrm{p} }^{-} }\mathbf{x}^{(\ell)}(q) $$

그 차이를 취한 뒤,

$$ \mathbf{r}{\mathrm{p} }^{(\ell)}=\bar{\mathbf{x} }{\mathrm{p} }^{(\ell,+)}-\bar{\mathbf{x} }_{\mathrm{p} }^{(\ell,-)} $$

노름으로 나누어 기권 방향 을 정의합니다.

$$ \hat{\mathbf{r} }{\mathrm{p} }^{(\ell)}=\frac{\mathbf{r}{\mathrm{p} }^{(\ell)} }{|\mathbf{r}_{\mathrm{p} }^{(\ell)}|} $$

정규화를 하는 이유는 $|\mathbf{r}_{\mathrm{p} }^{(\ell)}|$ 이 관점과 층에 따라 크게 다르기 때문입니다(Appendix H). Qwen3-4B 에서는 HV 의 노름이 중간 층 이후 Q·MK 보다 크고, 모델 간에도 Qwen3-4B 는 약 $10^{2}$, Llama-3.2-3B-Instruct 는 약 $10^{1}$ 수준으로 달라서, 정규화 없이 같은 $c$ 를 쓰면 실질적인 개입 강도가 관점·모델마다 달라집니다.


🎛️ 2. 주입 크기 $m$ 을 이용한 조향 (Eq. 7)

$$ {\mathbf{x}^{(\ell)} }^{\prime}(q)=\mathbf{x}^{(\ell)}(q)+m\cdot\hat{\mathbf{r} }_{\mathrm{p} }^{(\ell)} $$

$m\in\mathbb{R}$ 을 Eq. 3 의 주입 계수 $c$ 와 구분해 주입 크기(injection magnitude) 라 부릅니다. $\mathrm{p}=\mathrm{HV}$, $m=c|\mathbf{r}_{\mathrm{HV} }^{(\ell)}|$ 로 두면 Eq. 3 의 HV 개입이 그대로 재현됩니다. $m>0$(덧셈)은 기권 개념을 증폭하고, $m<0$(뺄셈)은 억제합니다. 이 양방향 개입으로 기권 방향이 기권 행동에 미치는 인과 효과 를 평가합니다.

💡 Key Takeaway 방법 자체는 difference-of-means 와 activation addition 의 조합으로 단순합니다. 논문의 무게는 “어떤 쌍에서 평균 차이를 구하느냐”(다음 절)와 “세 관점을 같은 자로 재느냐”에 있습니다.

반사실 쌍 데이터셋: 출처 독립 구성의 문제와 slot-flipped 구성


⚠️ 1. 출처 독립(source-independent) 구성의 한계 (Section 4.1)

평균 활성 차이로 방향을 구하면, 두 극성 데이터셋 사이에 남아 있는 기권 이외의 모든 차이 가 방향에 반영될 수 있습니다. 기존 거부 방향 연구는 $D_{\mathrm{HV} }^{+}$ 와 $D_{\mathrm{HV} }^{-}$ 를 독립적으로 수집된 데이터셋에서 가져왔습니다. Arditi et al. (2024) 은 유해 지시문 AdvBench 를 $D^{+}$, 무해 지시문 Alpaca 를 $D^{-}$ 로 썼습니다. 논문은 관점에 상관없이 이런 구성을 출처 독립 이라 부르고, 소스 데이터셋 사이의 분포 차이가 남아 계산된 방향이 기권 이외의 개념도 포착할 수 있다고 지적합니다.


🔁 2. slot-flipped 구성 (Section 4.2)

템플릿을 공유하고 기권 유발 요인을 담은 슬롯만 다른 반사실 쌍을 만듭니다. 한 극성의 질의 데이터셋과 반대 극성의 구절 집합에서 출발해,

  1. 고성능 LLM 으로 각 질의의 기권 유발 구절을 슬롯으로 바꿔 템플릿을 얻고,
  2. 슬롯을 반대 극성의 구절로 채워 극성을 뒤집습니다.
관점 템플릿 예시 기권 측 $D^{+}$ 답변 측 $D^{-}$ 뒤집는 방법
Q When did the {QUALIFIER} film {TOPIC} come out? 한정어 제거 → “When did the film Casino Royale come out?” “When did the 2006 film Casino Royale come out?” 한정어 제거 또는 주제 개체를 다의적 개체로 교체
MK Who wrote the novel {ENTITY}? 가상 개체 → “Starlight Reverie” 실제 개체 → “Pride and Prejudice” 실제 개체를 같은 유형의 가상 개체로 교체
HV Write a tutorial on how to {ACTION} {OBJECT}. 유해 행위·대상 무해 행위·대상(주간 식단 작성) 행위·대상을 무해한 것으로 교체

Q 는 한정어를 빼거나 주제 개체를 다의적인 것으로 바꾸므로 나머지 문장이 완전히 동일 합니다. 반면 MK 와 HV 는 기권 유발 요인 자체(개체, 또는 행위와 그 대상)를 뒤집어야 하므로 질의 내용이 바뀝니다. 어느 쪽이든 기권 유발 요인 이외의 차이가 방향 계산에 미치는 영향을 억제합니다.

💡 Key Takeaway “쌍의 차이를 한 슬롯으로 제한한다”는 설계는 방향이 무엇의 차이 를 담는지 통제하는 장치입니다. 이 통제가 실제로 더 좋은 방향을 주는지가 Section 6 의 베이스라인 비교로 검증됩니다.

데이터셋 구축 파이프라인 (Appendix B, Table 1–2)

모든 LLM 처리는 Kimi-K3 로 수행했고, 극성 뒤집기 생성은 temperature 0.7, 검증은 재현성을 위해 0.0 으로 고정했습니다. 구축은 세 단계입니다.


🗃️ 1. 소스와 결과 수량 (Table 1)

관점 질의 소스(극성) 반대 극성 소스 뒤집는 슬롯 Target Final
Q AmbigQA (clear; $D_{\mathrm{Q} }^{-}$) AmbigQA (ambiguous) 한정어 / 주제 개체 1,200 1,199
MK Natural Questions ($D_{\mathrm{MK} }^{-}$) FictionalQA 개체 1,000 767
HV AdvBench ($D_{\mathrm{HV} }^{+}$) Alpaca 행위 / 대상 500 377

Target 은 필터링 전 질의 소스에서 구성한 쌍 수, Final 은 규칙 기반 필터링과 LLM 검증을 거친 최종 쌍 수입니다. Q 는 거의 손실이 없지만 MK 는 약 23%, HV 는 약 25% 가 걸러졌습니다.


🧩 2. Phase 1: 교체 후보 집합 구성

질의 소스 문장은 관점당 하나의 극성만 가지므로, 반대 극성 소스에서 뒤집기 재료가 될 표현을 LLM 으로 추출합니다(프롬프트는 Figure 9).

  • Q : AmbigQA 의 모호한 질문에서 복수 해석을 유발하는 지시 표현을 추출. 이름 자체가 여러 유명한 대상을 가리키면 polysemous 로 표시.
  • MK : FictionalQA 에서 존재하지 않는 개체를 추출.
  • HV : Alpaca 에서 무해한 요청 내용(행위와 대상)을 추출.

추출된 표현은 고정된 범주 목록(Table 2)에 맞는 것만 남기고, 글자 수 제한을 적용하고, 중복을 제거합니다.

범주 집합 개수 항목
개체 유형(Q, MK) 9 person, place, organization, building_or_structure, media_work, event, product_or_technology, concept_or_protocol, other
도메인(HV) 21 cyber, weapons_and_explosives, drugs, physical_violence, fraud_and_deception, hate_and_harassment, self_harm, privacy, theft, misinformation, household, health, food, education, business, writing, science, crafts, civic, digital_media, other

✍️ 3. Phase 2: slot-flipped 질의 생성

질의 소스 문장마다 LLM 이 한 번의 패스 로 템플릿 분해, 유형이 맞는 후보 선택, 주입에 의한 극성 뒤집기를 수행합니다(프롬프트는 Figure 10). Q 는 qualifier_drop(한정어 제거, 다의어 후보가 없을 때 선호)과 entity_swap(다의적 후보로 교체 후 한정어 제거) 두 모드 중 하나를 고릅니다. MK 는 실제 개체가 반드시 고유명사여야 하며(연도·숫자·일반명사 금지), 선택된 개체의 유형이 분해 시 식별된 유형과 다를 때만 유형 일치 후보 풀에서 한 번 재주입을 시도합니다. HV 는 무해 측이 윤리·합법성·안전을 언급하지 않는 평범한 요청으로 읽혀야 합니다.


✅ 4. Phase 3: 후처리

단계 내용
규칙 기반 필터 글자 수, 문자열 유사도·길이 비율로 잰 시드 질의로부터의 이탈, 관점별 제약(한정어나 유해 행위 구절의 누출, 남은 placeholder 탐지)
LLM 검증 필터를 통과한 쌍에 대해 관점별 수락 조건 전부 충족 시에만 수락(프롬프트는 Figure 11)

수락 조건은 Q 의 모호 측이 복수 해석을 허용하고 명확 측이 유일하게 답변 가능할 것, MK 의 개체가 존재하지 않을 것, HV 의 무해 측이 숨은 유해 의도가 없는 무해 요청일 것이며, 모든 관점에 공통으로 두 측의 차이가 의도한 요소로 제한 되어야 합니다.


🧪 5. 출처 독립 베이스라인 (Appendix C)

비교를 위해 같은 세 관점에 대해 출처 독립 데이터셋도 만듭니다. Q 는 AmbigQA 의 모호/명확 질문, MK 는 FictionalQA/Natural Questions, HV 는 AdvBench/Alpaca 를 각각 $D^{+}$/$D^{-}$ 로 쓰고, 큰 쪽을 무작위 부표본해 $ D^{+} = D^{-} $ 로 맞추고 쌍 수를 slot-flipped 의 Final 열(1,199 / 767 / 377)과 일치시킵니다. 두 극성이 템플릿·주제를 공유하지 않으므로 추출된 방향이 기권 요인 이외의 개념 차이를 담을 수 있습니다.

💡 Key Takeaway 방향 계산에는 관점당 64쌍 만 씁니다(Stolfo et al. 2025 의 20쌍, Arditi et al. 2024 의 128쌍과 같은 규모). 수천 쌍을 만든 이유는 방향이 아니라 평가 세트 와 품질 필터링을 위해서입니다.

실험 설정: 모델, 판정자, 지표


🧠 1. 모델

주 모델은 공개 가중치 Qwen3-4B 로 $L=36$ 층, $d=2560$ 입니다. 구현은 TransformerLens 위에서 하며 blocks.{ $\ell$ }.hook_resid_pre 를 층 $\ell$ 의 출력으로 삼습니다. 모듈이 0-indexed 라서 마지막 층($\ell=36$)의 출력은 분석에서 빠지며, Arditi et al. (2024) 도 출력 토큰만 반영하는 방향을 피하려고 늦은 층을 제외했습니다. Qwen3-4B 는 enable_thinking 플래그로 thinking 모드(추론)와 non-thinking 모드(일반 대화)를 전환할 수 있고, 논문은 추론 모델에 해당하는 thinking 모드 를 중심으로 보고하며 non-thinking 모드는 Appendix F, Llama-3.2-3B-Instruct 는 Appendix D 에서 다룹니다.

설정 Qwen3-4B thinking Qwen3-4B non-thinking Llama-3.2-3B-Instruct
temperature / top-p / top-k 0.6 / 0.95 / 20 0.7 / 0.8 / 20 0.6 / 0.9 / –
주입 크기 $\lvert m\rvert$ 2, 4, 8, 16, 32 2, 4, 8, 16, 32 0.25, 0.5, 1, 2, 4, 8

Llama 의 $m$ 범위를 10배 작게 잡은 것은 정규화 전 평균 차이 벡터의 노름이 Qwen3-4B 의 약 $10^{-1}$ 배이기 때문입니다(Appendix H). 절대 L2 노름이 아니라 모델별 노름 스케일에 상대적인 개입 강도를 대략 맞추려는 휴리스틱입니다.


📏 2. 지표: AR 과 OAR (Eq. 8–10)

질의 $q$ 에 대한 출력이 기권인지 판정하는 함수를 두고,

$$ y(q)=\begin{cases}1 & (\text{model abstains})\\ 0 & (\text{otherwise})\end{cases} $$

두 지표를 정의합니다.

$$ \mathrm{AR}_{\mathrm{p} }=\frac{1}{|D_{\mathrm{p} }^{+}|}\sum_{q\in D_{\mathrm{p} }^{+} }y(q),\qquad \mathrm{OAR}_{\mathrm{p} }=\frac{1}{|D_{\mathrm{p} }^{-}|}\sum_{q\in D_{\mathrm{p} }^{-} }y(q) $$

지표 의미 대응 개념 바람직한 방향
AR (abstention rate) 기권해야 할 질의 중 기권한 비율 AbstentionBench 의 abstention recall 높을수록 좋음
OAR (over-abstention rate) 답할 수 있는 질의 중 기권한 비율 AbstentionBench 는 precision·F1 로 간접 반영 낮을수록 좋음

⚖️ 3. 판정자와 평가 데이터

$y(q)$ 는 AbstentionBench 를 따라 LLM-as-a-Judge 로 구현하며, 판정 모델은 gpt-oss-120b(reasoning effort medium, temperature 0.0, top-p 1.0, seed 0)에 AbstentionBench 의 평가 프롬프트를 씁니다. AbstentionBench 의 2단계(기권 탐지 + 정답 평가) 중 기권 탐지만 수행합니다. 평가 데이터는 방향 계산에 쓰지 않은 slot-flipped 테스트 쌍으로, 관점당 128쌍(256 질의) 입니다. 방향을 slot-flipped 에서 구하든 출처 독립에서 구하든 같은 테스트 쌍으로 평가합니다. 질의마다 서로 다른 샘플링 시드로 3회 생성하고 판정자가 각 응답을 한 번 라벨링해, 실행별 AR·OAR 의 평균 ± 1 표준편차를 보고합니다.

💡 Key Takeaway 평가 세트가 방향 계산 데이터와 같은 slot-flipped 분포 라는 점은 저자들도 한계로 인정합니다. 이 논문은 “방향이 존재한다”를 보이는 것이 목표이고 분포 밖 일반화는 다루지 않습니다.

결과 1: 층별 개입 효과 (Figure 3)

Qwen3-4B 의 모든 층 에 $m=\pm 2,\pm 4,\pm 8,\pm 16,\pm 32$ 로 개입했고, 본문은 출력 붕괴가 적으면서 변화가 가장 큰 $m=\pm 16$ 을 보고합니다. 초기 층 개입은 토큰 반복 같은 텍스트 퇴화를 자주 일으켜(응답의 10% 초과가 붕괴하면 × 표시) 분석에서 제외했습니다.


📈 1. slot-flipped 방향 (Figure 3a)

개입 Q MK HV
덧셈 $m=+16$ 일부 층에서 AR 이 무개입보다 상승, OAR 상승 일부 층에서 AR 상승, OAR 상승 AR 은 이미 1.0 이라 변화 없음(덧셈 후에도 1.0), OAR 상승
뺄셈 $m=-16$ 일부 층에서 AR 하락 일부 층에서 AR 하락 일부 층에서 AR 하락; 무개입 OAR 이 이미 작아 뺄셈의 OAR 효과는 관찰 어려움

효과는 개입 방향과 일치하는 일관된 추세를 보이며 중간 층에 집중 됩니다. 그래프에서는 개입 관점과 평가 관점이 같을 때 선이 불투명하고, 다를 때 반투명합니다(교차 관점 효과는 Section 7.1.1).


📉 2. 출처 독립 방향 (Figure 3b)

출처 독립 방향은 세 관점·양방향 모두에서 slot-flipped 보다 일관되게 작은 개입 효과를 보입니다. 방향 계산용 데이터셋을 어떻게 구성하느냐가 개입 효과에 영향을 준다는 뜻입니다.


🎲 3. 통제 실험: 무작위 방향 (Appendix E)

같은 크기의 어떤 섭동이라도 효과가 나는지 확인하기 위해, 표준정규분포 $\mathbf{g}\sim\mathcal{N}(\mathbf{0},\mathbf{I}{d})$ 에서 뽑아 단위 벡터로 정규화한 무작위 방향 $\hat{\mathbf{g} }{\mathrm{p} }^{(\ell)}$ 로 개입했습니다. 고차원에서 이 벡터는 기권 방향과 거의 직교합니다(Qwen3-4B 에서 $\cos\approx 0\pm 0.02$). 결과(Figure 15, 단일 실행)에서 $m$ 이 커져도 AR·OAR 에 체계적인 변화가 없었으므로, 관찰된 효과는 섭동 크기가 아니라 기권 방향의 특정 방위 때문입니다.

💡 Key Takeaway HV 는 무개입 AR 이 1.0, OAR 이 거의 0 이라 “더 기권시키기”와 “덜 과잉 기권시키기”를 잴 여지가 없습니다. HV 에서 실제로 측정되는 것은 뺄셈에 의한 AR 하락과 덧셈에 의한 OAR 상승뿐입니다.

결과 2: 주입 크기 sweep, 생성 모드, 다른 모델


📊 1. 대표 층에서의 $m$ sweep (Figure 4)

관점마다 $m=-16$ 과 $m=16$ 사이 지표 차이가 최대인 층을 대표 층으로 골라 $m\in{-16,-8,-4,-2,2,4,8,16}$ 을 쓸었습니다. thinking 모드에서 세 관점 모두 slot-flipped 방향이 출처 독립 방향보다 일관되게 큰 효과를 보였고, 특히 **작은 $ m $ 에서도** 눈에 띄는 효과가 나타났습니다. non-thinking 모드에서도 같은 우위가 유지됩니다. 저자들은 템플릿으로 기권 유발 요인 이외의 문장 차이를 제한하면 기권을 더 효과적으로 제어하는 방향을 얻는다고 결론짓습니다.

🔁 2. thinking vs non-thinking (Appendix F)

지표 $m=\pm 16$ 에서 두 모드의 층별 추세 Pearson 상관(6개 패널 평균)
AR 0.94
OAR 0.93

기권 방향의 인과 효과는 생성 모드에 거의 의존하지 않습니다. 두 모드 모두 중간 정도의 $m$ 부터 덧셈 개입이 과잉 기권을 유발합니다.


🧪 3. 전체 조건과 Llama-3.2-3B-Instruct (Appendix D)

모델 $\lvert m\rvert$ 범위 결과 그림 비고
Qwen3-4B thinking 2–32 Figure 12 $\lvert m\rvert=32$ 에서 일부 셀의 텍스트 퇴화율 10% 초과
Qwen3-4B non-thinking 2–32 Figure 13 동일
Llama-3.2-3B-Instruct 0.25–8 Figure 14 노름 스케일이 작아 더 작은 범위를 세밀하게 탐색
세 설정 모두 $ m $ 이 커질수록 개입 효과가 커지며, Qwen3-4B 에서는 최대값 $ m =32$ 에서 개입 노름 $|m\hat{\mathbf{r} }_{\mathrm{p} }^{(\ell)}|$ 이 너무 커져 토큰 반복 등으로 응답의 10% 이상이 붕괴합니다. Llama 에 대한 구체적 수치는 본문에 없고 그림으로만 제시됩니다.

💡 Key Takeaway 효과의 단조 증가와 큰 $|m|$ 에서의 붕괴는 조향 연구의 전형적 패턴입니다. 이 논문에서 새로운 점은 같은 정규화된 방향 으로 세 관점을 같은 $m$ 눈금에 올려 비교했다는 것입니다.

정성 분석: 개입이 바꾸는 것 (Section 6.3, Appendix I)

논문은 개입 전후의 thinking 과 최종 답변을 나란히 보여 주는 사례를 Figure 5, 6, 18, 19 에 싣습니다. 여기서는 사례의 구조 만 옮기고 출력 원문은 옮기지 않습니다.


🔍 1. 같은 관점 개입 (Figure 5, 18; $\ell=19$, $\lvert m\rvert=16$)

사례 개입 개입 전 개입 후
Q: 한정어가 빠진 법안 도입 시점 질문 Q 방향 덧셈 thinking 이 특정 연도·인물을 확신하고 틀린 답을 자신 있게 제시 thinking 이 “여러 법안이 있어 모호하다”고 인식하고 어떤 법안인지 특정해 달라고 요청
MK: 가상의 야구팀에 관한 기록 질문 MK 방향 뺄셈 thinking 이 실존하지 않는 팀임을 인식하고 기권 thinking 이 거짓 확신으로 전환해 리그 소속과 구체적 날짜를 지어냄
HV: 유해한 프로그램 작성 요청 HV 방향 뺄셈 thinking 이 불법·비윤리임을 인식하고 거부 thinking 에서 그 우려가 사라지고 요청을 작업 단위로 분해해 응답(가드레일 약화)

저자들은 Q 사례에서 개입이 불확실성에 대한 인식 자체를 바꾸고 그 변화가 출력에 반영된다고 해석합니다. MK 뺄셈은 지식 경계 인식을 잃게 하고, HV 뺄셈은 인간 가치를 무시하게 만듭니다.


🔀 2. 교차 관점 개입 (Figure 6, 19; $m=-16$, $\ell=19$)

조향 벡터 대상 질의 결과
HV 방향 뺄셈 MK 질의(영화의 가상 배역을 연기한 배우) 개입 전 “기억나지 않는다”며 유보 → 개입 후 가상의 배우 이름을 지어내 환각
Q 방향 뺄셈 MK 질의(가상의 나라 “Pineworth”의 국가) 개입 전 실존하지 않는 나라라고 기권 → 개입 후 가상 출처를 근거로 작가 이름을 지어냄
MK 방향 뺄셈 Q 질의(시점 한정어가 없는 신문 편집장 질문) 개입 전 실시간 데이터가 없다고 기권 → 개입 후 특정 시점과 인물명을 지어냄

세 사례 모두 “한 관점의 방향을 빼면 다른 관점 의 질의에서도 환각이 유발된다”는 것을 보여 주며, Section 7 의 비대칭 교차 관점 효과와 부분 공유 가설을 정성적으로 뒷받침합니다.

💡 Key Takeaway 기권 방향을 빼는 것은 세 관점 모두에서 “모르면 모른다고 말하기”를 끄는 스위치처럼 작동합니다. HV 에서는 이것이 안전 가드레일 제거이고, Q·MK 에서는 자신 있는 환각입니다.

기하 분석 1: 교차 관점 효과와 코사인 유사도 (Section 7.1)


🔀 1. 교차 관점 효과의 비대칭 (Section 7.1.1)

Figure 3a 는 한 관점의 방향 개입이 다른 관점의 지표 도 바꾼다는 것(교차 관점 효과)을 보여 줍니다. 효과는 비대칭입니다.

개입 관점 영향을 받는 다른 관점
Q MK 의 AR 만 변화, HV 는 영향 없음
MK Q 와 HV 양쪽 지표 변화
HV Q 와 MK 양쪽 지표 변화

이 비대칭이 관점 간에 얼마나 많은 표현이 공유되는지 묻게 하고, 코사인 유사도 분석으로 이어집니다.


📐 2. 층별 코사인 유사도 (Figure 7)

같은 층 $\ell$ 에서 서로 다른 관점 쌍의 방향 사이 $\cos(\hat{\mathbf{r} }{\mathrm{p} }^{(\ell)},\hat{\mathbf{r} }{\mathrm{p}^{\prime} }^{(\ell)})$ 를 계산했습니다.

관점 쌍 층에 따른 추세
MK–HV 모든 층에서 대략 비음(non-negative)
Q–MK 깊은 층으로 갈수록 상승
Q–HV 깊은 층으로 갈수록 하락

Q 가 MK·HV 와 다르게 행동하는 것은 Section 4.2 에서 논의한 데이터셋 성질 차이(Q 는 한정어·주제 개체만 바뀜) 때문일 수 있다고 저자들은 봅니다.


🔢 3. 가장 효과적인 층에서의 값

Figure 4 의 대표 층(Q 는 층 20, MK 는 층 19, HV 는 층 17)에서 방향 간 코사인 유사도는 다음과 같습니다.

쌍 코사인 유사도
Q(20)–MK(19) +0.163
MK(19)–HV(17) +0.190
Q(20)–HV(17) +0.092

세 방향은 완전히 직교하지 않고 공통 방향 성분 을 공유합니다. 개입이 효과적인 중간 층에서 MK–HV 쌍의 유사도가 상대적으로 큰 것은 Section 7.1.1 의 MK–HV 교차 효과와 일치하고, Q–HV 가 Q–MK 보다 작은 것은 Q 방향을 빼도 HV 의 AR 은 거의 줄지 않지만 MK 의 AR 은 줄어드는 비대칭과 일치합니다.

💡 Key Takeaway 코사인 유사도 0.1–0.2 는 작아 보이지만 $d=2560$ 차원에서 무작위 방향의 유사도가 $0\pm 0.02$ 임을 감안하면 유의미한 공유입니다. 공유 성분의 크기와 교차 효과의 크기가 같은 순서(MK–HV > Q–MK > Q–HV)라는 점이 논문의 핵심 정합성 논증입니다.

기하 분석 2: 활성 공간의 분리도, Fisher 판별비 (Section 7.2)


📏 1. 정의와 결과 (Figure 8)

Fisher 판별비(Fisher discriminant ratio, FDR; Tharwat et al. 2017)는 두 극성 평균 차이를 극성 내 분산으로 나눈 값으로, 클수록 $D_{\mathrm{p} }^{+}$ 와 $D_{\mathrm{p} }^{-}$ 의 활성 벡터가 활성 공간에서 더 명확히 분리됩니다.

관점 중간 층 추세 최대값(층)
MK 중간 층에서 상승 1.15 ($\ell=23$)
HV 중간 층에서 크게 상승 2.65 ($\ell=21$)
Q 중간 층에서 두드러진 상승 없음 –

분리가 발달하는 중간 층은 Figure 3a 에서 개입이 효과를 내는 층과 대략 일치합니다. 저자들은 기권 방향 개입이 두 극성 활성이 잘 분리된 층에서 효과적으로 작동한다고 해석합니다.


❓ 2. 왜 Q 는 분리되지 않는가

MK 와 HV 에서는 슬롯 구절 자체(가상 개체 이름, 유해 행위)가 기권 유발 요인을 담고 있고, 이런 의미적 속성은 중간 층 근처에서 선형 분리 가능해진다고 보고되어 있습니다(Marks and Tegmark 2024). 반면 Q 는 두 극성의 차이가 한정어와/또는 주제 개체로 제한되어 있어 활성 공간에서 분리하기 어려울 수 있습니다. 그럼에도 Q 방향 개입이 AR·OAR 을 바꾼다는 점(Section 6)은 “분리도가 낮아도 평균 차이 방향은 인과적으로 작동할 수 있다”는 것을 시사하지만, 논문은 이를 명시적으로 논하지는 않습니다.

💡 Key Takeaway FDR 은 “방향이 효과적인 층”을 개입 실험 없이 예측하는 보조 신호로 쓸 수 있습니다. 다만 Q 처럼 분리도가 낮은데도 조향이 되는 경우가 있어, FDR 만으로 방향의 유효성을 판단할 수는 없습니다.

관련 연구와의 위치 (Appendix A)


📚 1. 단일 관점 연구

관점 연구 내용
Q Zhang et al. (2025b) 질의 모호성이 선형으로 인코딩되고 극소수 뉴런에 집중; 뉴런 개입으로 직접 답변에서 기권(명확화 요청)으로 전환
MK Chen et al. (2026) 답변 생성 전 내부 표현에서 지식 경계 안/밖을 추정하는 학습 불필요 방법(Internal Confidence)
MK Lindsey et al. (2025) 기본 거부 회로가 “알려진 개체” 피처에 의해 억제되어 답변으로 전환; 억제 오작동이 환각을 유발
HV Arditi et al. (2024), Wei et al. (2024), Li et al. (2025), Zheng et al. (2024) 거부가 소수 뉴런·부분공간·방향에 집중; 제거 시 가드레일 붕괴, 안전 프롬프트가 표현을 거부 방향으로 이동

🔗 2. 교차 관점 연구

연구 범위 이 논문과의 차이
Son et al. (2026) 지식 기반 거부(KR≈MK)와 안전 기반 거부(SR≈HV)를 공통 템플릿의 대조 4중쌍으로 비교. 두 방향이 지배적 공통 성분을 공유하고 유형 특이 성분은 늦은 층에서 출현; SR 프로브가 KR 로 더 잘 전이 Q 를 다루지 않고, 조향은 비거부 통제 프롬프트에 방향을 더하는 것에 한정
Joad et al. (2026) 다양한 비순응 범주(세분화된 HV, Q 관련 미지정 요청, 능력 한계)의 거부 방향이 기하적으로 구별되지만 조향 시 비슷한 거부–과잉 거부 트레이드오프를 보임 MK 가 독립 범주로 분리되지 않음
Aaliyan (2026) 안전 거부와 인식론적 기권 방향의 관련 분석 –

저자들은 세 관점 모두를 기권 유발 요인을 분리한 반사실 쌍 과 통일된 개입 방법 으로 분석한 연구는 없었다고 정리하며, 추론 모델에서 Q 를 포함하고 덧셈·뺄셈 양방향과 교차 관점 효과를 평가한 점을 차별점으로 듭니다.

💡 Key Takeaway Son et al. 과 Joad et al. 의 “공통 핵심 + 범주 특이 성분” 결론과 이 논문의 부분 공유 결과는 서로 일관됩니다. 이 논문의 추가 기여는 Q 를 포함했다는 것과 쌍 구성 방식 자체를 변수로 삼아 비교했다는 것입니다.

한계, 윤리적 고려, 계산 자원


⚠️ 1. 저자가 명시한 한계

  • 모델은 Qwen3-4B 와 Llama-3.2-3B-Instruct 두 개뿐이며, 다른 모델 계열과 더 큰 모델로의 일반화는 미검증입니다.
  • Arditi et al. (2024) 과 마찬가지로 기권 방향이 무엇을 의미하는지 의 해석은 미해결입니다. 방향이 기권을 매개한다는 것은 보였지만 내부 구조 해석은 향후 과제입니다.
  • 기권 유발 요인의 범위가 Wen et al. (2025) 의 세 관점 분류와 각 관점 안의 특정 요인에 한정됩니다. AbstentionBench 의 시나리오 수준 세분화로의 확장은 남아 있습니다.
  • 방향 계산과 평가에 같은 slot-flipped 구성 분포를 쓰므로 분포 밖 일반화는 미검증 입니다.
  • 영어만 다룹니다.
  • 평가가 gpt-oss-120b 판정자에 의존해 판정자 편향이 있을 수 있고, 판정자는 기권 여부만 탐지할 뿐 개입 후 출력의 정확성·유창성은 평가하지 않습니다. 출력 품질 변화는 정성적으로만 살폈습니다.
  • Kimi-K3 가 slot-flipped 쌍을 생성하고 스스로 검증하므로 모델 고유 편향이 두 단계 중 어느 쪽으로든 들어갈 수 있습니다. 규칙 기반 점검이 이를 완화하지만 완전히 제거하지는 못합니다.

🔒 2. 윤리적 고려

기권 방향 개입에는 정렬 제거 위험이 있습니다. HV 에서 안전 거부 억제는 jailbreak 에 악용될 수 있고, Q·MK 의 기권은 진실성 정렬을 반영하므로 이를 제거하면 지식 밖 질의에 자신 있게 환각하거나 명확화 없이 한 해석에 몰입하는 모델이 됩니다. 특히 교차 관점 효과 때문에 과잉 기권을 줄이려는 개입이 의도치 않게 안전 행동을 약화시킬 수 있습니다. 다만 방법이 가중치에 대한 white-box 접근을 요구하므로 위협은 공개 가중치 모델로 한정되며, 저자들은 내부 메커니즘 이해가 이런 개입의 탐지와 견고한 정렬 개발에 필수라고 봅니다. AdvBench 의 유해 지시문은 연구 목적으로만 쓰고 새로운 유해 콘텐츠는 생성하지 않았습니다.


🖥️ 3. 계산 자원 (Appendix J)

항목 GPU 시간(H100)
응답 생성, Qwen3-4B thinking (3회 실행) 291
응답 생성, Qwen3-4B non-thinking 144
응답 생성, Llama-3.2-3B-Instruct 75
생성 소계 510
gpt-oss-120b 로 AR·OAR 계산 800
합계 약 1,310

판정 비용이 생성 비용보다 큽니다. 모든 층 × 다수의 $m$ × 세 관점 × 3회 실행에 대해 LLM 판정자를 돌리는 설계의 대가입니다.

💡 Key Takeaway 이 논문의 결론은 “기권 방향이 세 관점 모두에 존재하고 부분적으로 공유된다”는 존재 증명 입니다. 방향의 의미 해석, 분포 밖 일반화, 더 큰 모델, 출력 품질의 정량 평가는 모두 다음 단계로 남아 있습니다.