Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs
0. Summary
- 기본 정보 : ArXiv,2026.11.11, Where Is Uncertainty Observed? A Mechanistic Understanding of Uncertainty Quantification in LLMs
- 연구 배경 : LLM 의 응답을 언제 믿어도 되는지 판단하려면 불확실성 정량화(Uncertainty Quantification, UQ)가 필요하다. 기존 UQ 서베이는 방법을 불확실성의 원천(데이터/모델), 발생 시점(생애주기 단계), 추정 메커니즘(알고리즘 계열)으로 분류했지만, 불확실성을 모델 계산의 어디서 관측하는가는 분류 축으로 삼지 않았다. 관측 지점은 추정기가 목표를 복원할 만큼의 정보에 접근할 수 있는지와 얼마나 잘 복원하는지를 결정하므로, 저자들은 이를 암묵적 선택이 아니라 설계 변수로 다뤄야 한다고 주장한다.
- 제안 방법 : 기계론적 해석가능성(mechanistic interpretability)의 잔차 스트림(residual stream) 관점에서 네 가지 기계론적 관측 렌즈(mechanistic observation lens) 를 정의한다. 구조(structural) 렌즈는 어텐션 헤드와 FFN 의 구성요소별 쓰기 $\Delta h_c$ 를, 표현(representational) 렌즈는 은닉 상태 $h$ 를, 분포(distributional) 렌즈는 토큰 확률 $\Pi(h)$ 를, 의미(semantical) 렌즈는 의미 관계 $R$ 로 유도된 의미 분포 $\Pi_R(h)$ 를 읽는다. 네 렌즈는 $g_{\text{sum} }$, $g_{\text{unemb} }$, $g_R$ 세 맵으로 사슬처럼 연결되며(Lemma 3), 각 맵은 정보를 잃고(Corollary 4), 목표가 잃어버린 정보에 의존하는지에 따라 렌즈의 충분성이 결정된다(Corollary 5). 모든 추정기는 렌즈 $\lambda$, 재표집 변수 $Z$, 보조 구조 $S$ 의 세 좌표 $(\lambda, Z, S)$ 로 기술되고, 159편의 UQ 논문을 이 축으로 조사한다.
- 발견 사실 : Qwen2.5-7B-Instruct/Base 와 Llama-3.1-8B-Instruct 를 TriviaQA, PopQA, MMLU 에서 평가한 개념 검증 실험에서, 정답 여부를 예측하는 지도 프로브(DecBase)의 AUROC 는 대체로 구조 → 의미 렌즈 순으로 단조 감소했다(예: Qwen-Inst TriviaQA 0.910 → 0.908 → 0.884 → 0.871). 다만 의미 렌즈만으로도 이미 높은 AUROC 가 나오고, 단일 순방향 패스의 내부 피처가 추가하는 이득은 작다. MMLU 에서는 출력 공간이 네 글자로 붕괴해 증분이 거의 0 이 된다. 기존 추정기(RAUQ, INSIDE, TE, SE)는 모두 해당 렌즈의 DecBase 이하였고, 의미 렌즈 간극 $g_R$ 의 어휘 변이는 정답 여부와 약하게만 상관하며, $g_{\text{unemb} }$ 간극의 약하게 표현되는 꼬리 성분 $h_{\text{tail} }$ 은 단독으로는 정답을 예측하지만 $h_{\text{top} }$ 이 주어지면 거의 아무것도 더하지 않는다. 조사 결과 표현 렌즈 방법 41개 중 34개, 구조 렌즈 방법 28개 중 25개는 의미/분포 수준 라벨에 맞춰 학습되는 대리(surrogate) 추정기였다.
- 핵심 기여 :
- 네 가지 기계론적 관측 렌즈 : 잔차 스트림 위에서 구조·표현·분포·의미 렌즈를 형식적으로 정의하고, 이들이 정보량 순서로 위계를 이룸을 보이며 정답 예측 실험으로 검증했다.
- 추정기의 세 축 특성화 : 렌즈 $\lambda$, 변이 $Z$, 보조 구조 $S$ 로 모든 UQ 추정기를 좌표화하고, 네이티브(native)/대리(surrogate) 구분을 도입해 기존 방법을 조사했다.
- 평가 프로토콜의 분해 : 평가 목표(정답성·근거성·과소명세·충실성), 기준(분포적/의미적), 지표(7개 계열)를 구분해 문헌의 평가 관행을 정리하고, 에이전트 UQ 와 내부 렌즈 네이티브 추정기 등 열린 문제를 제시했다.
Abstract 쉬운 설명(Gemini)
관련 개념
불확실성 정량화와 “어디서 관측하는가”라는 질문
LLM 은 수학·추론·코딩에서 강력하지만 사실과 어긋나거나 문맥의 뒷받침이 없는 환각(hallucination) 을 생성할 수 있습니다. UQ 는 모델이 자기 응답에 대해 얼마나 불확실한지를 재어 신뢰도를 높이려는 접근이며, 그 신호는 답변 거부(abstain), 문맥 기반 수정, 명확화 요청, 확장 추론 호출 같은 후속 행동에 쓰입니다(Figure 1).
🧭 1. 기존 분류 축과 빠진 축
논문의 Table 2 는 UQ 서베이·벤치마크·포지션 논문을 연구 질문별로 정리합니다.
| 연구 질문 | 대표 문헌 | 조직 축 | 한계 |
|---|---|---|---|
| 불확실성이란 무엇인가 | Hüllermeier & Waegeman (2021) | 형식 프레임워크(A/E 분해) | 출력 공간 $\mathcal{Y}$ 를 과제 출력으로 고정 |
| 어느 원천에서 오는가 | He et al. (2026), Liu et al. (2025c), Gawlikowski et al. (2023) | 데이터/모델, 원천 × 계산 | 관측 지점 미고려 |
| 파이프라인의 언제인가 | Beigi et al. (2024), Kirchhof et al. (2025), Hu et al. (2023) | 생애주기 단계, HCI 단계 | 관측을 과제 출력으로 고정 |
| 어떻게 추정하는가 | Shorinwa et al. (2025), Xia et al. (2025), Vashurin et al. (2025a) 등 | 방법 계열 | 절차로 분류, 관측 대상 구분 없음 |
| 어디서 관측하는가 | 이 논문 | 기계론적 관측 | — |
Shorinwa et al. (2025) 는 LLM UQ 서베이 중 유일하게 기계론적 해석가능성(MI)을 최상위 범주로 올렸지만, “MI 범주는 미개척”이라고만 적고 내부 관측 중 무엇을 읽는지는 구분하지 않았습니다. 이 논문의 네 렌즈는 그 분류 위에 그대로 올라갑니다. 토큰 수준 방법과 의미 유사도 방법은 각각 분포·의미 렌즈에, 자기 보고 신뢰도는 의미 렌즈의 하위 유형에, MI 방법은 구조·표현 렌즈로 갈라집니다.
🔀 2. 두 질의 예시가 보여주는 것
Figure 2 는 Qwen2.5-0.5B-Instruct 로 두 질의를 네 렌즈로 본 예시입니다. 수학 질의에서는 표집된 답이 틀린 답에 일치하므로 의미 불확실성은 낮지만 은닉 상태는 불확실 방향 근처에 놓입니다. 의견 질의에서는 토큰 분포가 여러 표현에 퍼지지만 답들은 같은 입장을 공유합니다. 의미만 보면 전자를, 토큰만 보면 후자를 놓친다는 것이 출발점입니다.
📐 3. 불확실성·신뢰도·보정의 구분
| 용어 | 논문의 정의 | 정답 필요 여부 |
|---|---|---|
| 불확실성(uncertainty) | 모델 예측 상태의 분산(dispersion), 렌즈로 관측 | 없음 |
| 신뢰도(confidence) | 자기 예측이 옳다는 모델의 믿음, 출력에서 결정 | 있음 (평가 목표) |
| 보정(calibration) | 추정 불확실성과 경험적 정답 빈도의 일치 | 지표 계열의 이름 |
저자들은 알레아토릭/에피스테믹(A/E) 구분을 다루지 않습니다. 그 구분은 불확실성의 종류에 관한 것이고 이미 충분히 논의되었다는 입장입니다. 대신 출력 공간 $\mathcal{Y}$ 를 네 렌즈의 관측 공간 $\mathcal{O}_\lambda$ 로 바꿔 가며 봅니다. 같은 뜻의 두 문장은 어휘 공간에서는 분리되지만 의미 공간에서는 분리되지 않으므로, 그 차이는 한 렌즈에서는 에피스테믹이고 다른 렌즈에서는 알레아토릭입니다.
💡 Key Takeaway 이 논문은 “불확실성이 무엇이고 어디서 생기는가”가 아니라 “모델 계산의 어느 지점에서 읽는가” 를 분류 축으로 세웁니다. 읽는 지점이 다르면 같은 질의에서도 보이는 불확실성이 달라지며, 이것이 추정기의 상한을 정합니다.
잔차 스트림과 관측 가능한 대상
네 렌즈는 모두 트랜스포머의 잔차 스트림에서 읽힙니다. 논문은 먼저 모든 구성요소가 잔차 스트림을 통해서만 통신한다는 사실을 명제로 고정합니다.
🧱 1. 구성요소 쓰기 (Eq. 1–2)
블록 $\ell$ 은 $C$ 개의 어텐션 헤드와 하나의 FFN 으로 이루어지며, 구성요소 $c \in {0,\dots,C}$ 는 잔차 스트림을 읽고 덧셈 갱신 $\Delta h_c$ 를 씁니다. 헤드의 쓰기는
$$ \Delta h_{c} = W_{O} V_{c} a_{c}, \qquad a_{c} = \mathrm{softmax}\left(\frac{K_{c} q_{c} }{\sqrt{d_{k} } }\right), \qquad \Delta h_{\text{MHA} } := \sum_{c} \Delta h_{c} $$
이고, FFN 의 쓰기는
$$ \Delta h_{\text{FFN} } := \Delta h_{C} = W_{2} m + b_{2}, \qquad m = \sigma\left(W_{1}\left(h + \Delta h_{\text{MHA} }\right) + b_{1}\right) $$
입니다. 어텐션 가중치 $a_c$ 와 FFN 활성 $m$ 은 같은 구성요소 갱신의 중간 상태로 취급되며, 이 중 하나를 읽는 방법도 구조 렌즈를 읽는 것으로 분류됩니다.
📤 2. 언임베딩 판독 (Eq. 3–4)
은닉 상태를 어휘 분포로 바꾸는 판독은
$$ \Pi(h) := \mathrm{softmax}\big(W_{U}\,\mathrm{norm}(\rho h)\big) $$
이며 $\rho$ 는 외부에서 정의할 수 있는 고정 판독 맵으로 기본값은 $\rho = I$ 입니다. 같은 맵을 중간 층 상태에 적용하면 Logit Lens 가 됩니다. 시퀀스 확률은 조건부의 곱 $p(y \mid x,\theta) = \prod_{t} p(y_t \mid x, y_{<t}, \theta)$ 입니다(Eq. 4).
🔗 3. 잔차 스트림 우선성 (Proposition 1)
정규화를 흡수한 표준 pre-norm 트랜스포머에서, 한 토큰 위치의 블록 $\ell$ 이후 상태는
$$ h_{\ell} = h_{\ell-1} + \Delta h_{\text{MHA} }(h_{\ell-1}) + \Delta h_{\text{FFN} }(h_{\ell-1} + \Delta h_{\text{MHA} }) $$
입니다. FFN 은 위치별로 독립이고 어텐션 헤드는 현재와 이전 위치의 상태를 읽으므로, 잔차 스트림은 층과 위치를 가로질러 구성요소가 통신하는 유일한 통로입니다. 상태 $h_\ell$ 은 초기 상태와 모든 선행 구성요소 갱신의 합이며, 모든 구성요소가 그것을 읽습니다(Takeaway 1).
💡 Key Takeaway “관측 가능한 모든 것은 잔차 스트림 상태 $h$ 이거나 그 구성요소 갱신 $\Delta h_c$ 의 인수분해”라는 명제가 네 렌즈의 토대입니다. 새 해석 도구는 렌즈를 바꾸는 것이 아니라 읽는 방식 $\rho$ 를 바꿀 뿐입니다.
네 가지 기계론적 관측 렌즈
렌즈는 무엇을 읽는지를 정하고, 불확실성 추정기는 그 관측을 점수로 바꿉니다. Figure 3 은 네 렌즈를 잔차 스트림 위에 배치합니다.
📜 1. 렌즈가 만족해야 할 세 조건 (Definition 2)
| 조건 | 내용 |
|---|---|
| 잔차 자연성(Residual naturality) | 고정 외부 맵까지만 허용하고, 모델 $f_\theta$ 의 잔차 스트림만 읽는다. 입력은 $\Delta h_c$(또는 $a_c$, $m$) 혹은 $h$ 이고 출력은 관측 $O_\lambda \in \mathcal{O}_\lambda$ |
| 대상 식별(Object identification) | 렌즈는 관측하는 기계론적 대상, 즉 정준 관측 공간 $\mathcal{O}_\lambda$ 의 유형으로 식별된다. 같은 대상을 읽는 두 판독은 같은 렌즈 |
| 관측 결정성(Observation determinism) | 판독은 잔차 스트림에서 관측 공간으로 가는 고정 맵이다. 입력에 파라미터를 맞추거나 LLM 을 표집해서는 안 된다 |
현재 MI 연구가 다루는 잔차 스트림의 네 종류 대상, 즉 개별 구성요소, 은닉 상태에 부호화된 피처, 어휘 예측, 생성 출력의 의미가 각각 하나의 렌즈에 대응합니다.
🔬 2. 네 렌즈의 형식 정의 (Eq. 6–9)
| 렌즈 | 관측 $O_\lambda$ | 관측 공간 | 읽는 대상 |
|---|---|---|---|
| 구조(str) | $\Delta h_{c}$, $c \in {0,\dots,C}$, 임베딩은 $\Delta h_0 := h_0$ | $\mathbb{R}^{d}$ (구성요소 쓰기) | 개별 헤드·FFN 쓰기와 그 중간 상태 $a_c$, $m$ |
| 표현(rep) | $h_\ell$, $\ell \in {0,\dots,L}$ | $\mathbb{R}^{d}$ (은닉 상태) | 중첩(superposition)·선형 표현 관점의 피처 방향 |
| 분포(dis) | $\Pi(h_\ell)$ | 단체(simplex) $\Delta^{\lvert V \rvert}$ | 어휘 토큰 확률, 로짓도 같은 렌즈 |
| 의미(sem) | $\Pi_R(h_\ell)$ | 단체 $\Delta^{\lvert \mathcal{M}_R \rvert}$ | 의미 관계 $R$ 이 정의한 의미 집합 $\mathcal{M}_R$ 위의 분포 |
구조 렌즈는 가장 세밀하지만 관측 수가 $L(C+1)$ 로 늘고 어텐션 패턴은 문맥 길이에 비례해 가장 분석하기 어렵습니다. 의미 렌즈는 사람의 해석에 가장 가깝지만 $R$ 의 구현만큼만 충실합니다. $R$ 은 NLI 모델, LLM 판정자, 임베딩 모델로 실현되며 $\theta$ 바깥의 구조로는 유일하게 허용됩니다.
🧰 3. 판독 맵 $\rho$ 와 렌즈 배정
새 해석 도구는 렌즈를 바꾸지 못하고 읽는 방식만 바꿉니다.
| 도구 | 적용 대상 | 렌즈 |
|---|---|---|
| Logit Lens ($\rho = I$), Tuned Lens (아핀 맵), J-Lens (야코비안 맵), R-Lens | $h$ 를 언임베딩 전에 변환해 토큰 예측 반환 | 분포 |
| 희소 오토인코더(SAE), J-space ($W_U J_\ell$ 사전), U-space (확신 앵커 기저) | $h$ 를 다른 기저로 다시 씀 | 표현 |
방법의 렌즈 배정은 관측하는 대상으로만 결정됩니다. 측정 함수 $\mathcal{U}$, 변이 $Z$, 보조 구조 $S$ 가 달라도 렌즈는 바뀌지 않습니다. 두 개 이상의 대상을 읽는 방법은 교차 렌즈(cross-lens) 추정기로, 조사에서는 읽는 가장 안쪽 렌즈에 배정됩니다.
💡 Key Takeaway 렌즈는 구현이 아니라 대상으로 정의됩니다. 프로브든 SAE 든 은닉 상태를 읽으면 표현 렌즈이고, Logit Lens 든 Tuned Lens 든 토큰 예측을 돌려주면 분포 렌즈입니다. 이 규칙이 159편의 방법을 하나의 표로 모을 수 있게 합니다.
추정기의 세 축 $(\lambda, Z, S)$ 와 네이티브/대리 구분
렌즈가 관측을 정하면, 추정기는 관측을 스칼라 점수로 바꿉니다. 논문은 모든 추정기를 세 좌표의 점으로 봅니다.
🧮 1. 추정기의 일반형 (Eq. 10, 13)
$$ U_{\lambda}(x) = \mathcal{U}\big({\,O_{\lambda}(\theta, x)\,}_{Z},\, S\big) $$
$\mathcal{U}$ 는 관측의 퍼짐을 재어 스칼라를 돌려줍니다. 각 관측 $O_\lambda$ 는 층 $\ell$, 위치 $t$, 구성요소 $c$ 하나에서 읽는 원자(atom) 이고, 한 순방향 패스에서 여러 $(c, \ell, t)$ 의 원자를 모은 집합이 장(field) 입니다. 모든 렌즈는 원자 추정기와 장 추정기를 모두 허용합니다(Table 3). 네 보조 구조를 합치면
$$ U_{\lambda}(x) = \psi_{S}\Big(\mathcal{U}{S}\big({\,\rho{S}(O_{\lambda}(\theta, x))\,}{Z \sim Z{S} }\big)\Big) $$
이며 기본값은 $Z_S = \varnothing$, $\rho_S = I$, 고정 함수 $\mathcal{U}_S$, 항등 $\psi_S$ 입니다.
🎲 2. 변이 축 $Z$
| $Z$ | 의미 | 예 |
|---|---|---|
| $\varnothing$ | 재표집 없음, 단일 패스 내 퍼짐 | 토큰 분포의 엔트로피 |
| $y \sim p(\cdot \mid x, \theta)$ | 확률적 디코딩으로 출력 재표집 | Semantic Entropy |
| $\theta \sim p(\theta \mid \mathcal{D})$ | 사후분포에서 파라미터 재표집 | 베이지안 예측 불확실성, 앙상블 |
| $x’ \sim p(\cdot \mid x)$ | 의미 이웃 안에서 입력 재표집 | 패러프레이즈, 프롬프트 변형 |
🧩 3. 보조 구조 축 $S$
| 역할 | 기호 | 예 |
|---|---|---|
| $Z$ 의 분포를 정의 | $Z_S$ | 근사 사후분포 $q(\theta)$, 유한 앙상블, 패러프레이즈 집합 |
| 판독 맵 정의 | $\rho_S$ | 아핀 맵, 야코비안 맵, SAE (오프라인에 구축, 질의 비의존) |
| $\mathcal{U}$ 를 매개변수화 | $\mathcal{U}_S$ | 은닉 상태 선형 프로브, 토큰 분포 위 디리클레 헤드 (특정 렌즈의 목표로 학습) |
| 점수 후처리 | $\psi_S$ | 등각 예측(conformal prediction)의 교환 가능 보정 집합 |
🔁 4. 네이티브 추정기와 대리 추정기 (Eq. 11–12)
추정기가 $O_\lambda$ 를 읽고 같은 렌즈 $\lambda$ 의 불확실성을 추정하면 네이티브(native), $O_\lambda$ 를 읽되 다른 렌즈 $\lambda’$ 의 불확실성을 근사하면 대리(surrogate)입니다.
$$ U_{\lambda \to \lambda’}(x) = \mathcal{U}\big({O_{\lambda}}{Z}, S\big), \qquad \text{s.t.} \quad U{\lambda \to \lambda’}(x) \approx \mathcal{U}\big({O_{\lambda’}}_{Z}, S\big) $$
안쪽 렌즈는 바깥 렌즈의 대리가 될 수 있지만 그 역은 일반적으로 성립하지 않습니다. 그 비대칭의 이유가 다음 절의 위계입니다.
💡 Key Takeaway 렌즈는 충분성을, $Z$ 와 $S$ 는 효율을 정합니다. 의미 렌즈로 정답성을 재려면 출력 재표집이, 표현 렌즈로 같은 것을 재려면 라벨로 학습한 $\mathcal{U}_S$ 가 필요합니다. 두 추정기는 표집 비용과 지도·학습 비용을 맞바꿉니다.
렌즈 위계: 결정, 정보 손실, 충분성
네 렌즈는 순방향 계산의 순서대로 사슬을 이룹니다. 안쪽 관측은 바깥 관측을 결정하고, 각 단계는 무언가를 버립니다.
⛓️ 1. 렌즈 결정 (Lemma 3)
입력 $x$ 와 위치 $t$ 를 고정하면
$$ O_{\text{str} } \xrightarrow{\; g_{\text{sum} } \;} O_{\text{rep} } \xrightarrow{\; g_{\text{unemb} } \;} O_{\text{dis} } \xrightarrow{\; g_{R} \;} O_{\text{sem} } $$
입니다. $g_{\text{sum} }$ 은 층 $\ell$ 까지의 모든 구성요소 쓰기(임베딩 포함)의 잔차 합, $g_{\text{unemb} }$ 은 Eq. 3 의 판독, $g_R$ 은 표집된 출력 ${y_k}$ 의 시퀀스 확률을 의미 분포로 옮기는 맵입니다. $\lambda \succeq \lambda’$ 를 “$\lambda$ 가 $\lambda’$ 를 결정한다”로 읽으면 $\text{str} \succeq \text{rep} \succeq \text{dis} \succeq \text{sem}_R$ 이고, 의미 렌즈는 $R$ 로 색인됩니다.
📉 2. 렌즈 정보 손실 (Corollary 4)
각 렌즈 맵 $g$ 는 비단사(non-injective)이므로 바깥 관측만 읽는 추정기는 안쪽 관측을 복원할 수 없습니다. 비단사성은 맵의 형태에서 따라오며 모델·입력과 무관합니다.
| 맵 | 무엇을 버리는가 |
|---|---|
| $g_{\text{sum} }$ | 같은 상태로 합쳐지는 서로 다른 구성요소 갱신 분할 |
| $g_{\text{unemb} }$ | 정규화가 노름 $\lVert h \rVert$(LayerNorm 은 좌표 평균도)를, 소프트맥스가 로짓의 공통 가산 이동을 버림. $h$ 와 그 양의 스케일링은 같은 예측 |
| $g_R$ | $R$ 이 같은 의미로 읽는 서로 다른 출력 형태 |
Corollary 4 는 관측에 들어 있는 정보에 관한 것이지 추정기가 쓸 수 있는 정보에 관한 것이 아닙니다. 쓸 수 있는 정보는 보통 바깥으로 갈수록 줄지만 추정기 계열에 의존합니다.
✅ 3. 렌즈 충분성 (Corollary 5)
목표 $T$ 에 대해, 렌즈 맵 $g: \mathcal{O}{\text{in} } \to \mathcal{O}{\text{out} }$ 이 주어지면
- 허용(Permission) : 어떤 $f$ 에 대해 $T = f(O_{\text{out} })$ 이면 $\lambda_{\text{out} }$ 또는 그 안쪽 렌즈를 읽는 것으로 $T$ 를 복원할 수 있다.
- 금지(Prohibition) : $g(a) = g(b)$ 이지만 $T(a) \neq T(b)$ 인 안쪽 관측 $a, b$ 가 있으면 $T$ 는 $O_{\text{out} }$ 의 함수가 아니고, $\lambda_{\text{out} }$ 이나 그 바깥만 읽는 추정기는 $T$ 를 복원할 수 없다.
목표 $T$ 에 대한 가장 바깥의 충분한 렌즈 $\lambda^$ 가 있으면, 그 안쪽은 모두 허용되고 바깥은 모두 금지됩니다. 기존 추정기는 각각 자기 목표에 충분한 렌즈를 읽습니다. Semantic Entropy 는 의미 수준 정답성에 $O_{\text{sem} }$, 예측 엔트로피는 토큰 수준 정답성에 $O_{\text{dis} }$, 선형 프로브는 은닉 상태 피처에 $O_{\text{rep} }$, 구성요소 귀속(attribution)은 $O_{\text{str} }$ 을 필요로 합니다. 충분한 렌즈 중 무엇을 고를지는 $Z$ 와 $S$ 가 정하는 효율의 문제입니다. $\lambda^$ 까지의 맵은 $T$ 와 무관한 정보만 버리는 반면, 더 안쪽 렌즈를 읽는 추정기는 그 무관한 정보 속에서 $T$ 를 학습해서 복원해야 합니다.
💡 Key Takeaway 위계는 “안쪽일수록 좋다”가 아닙니다. 목표가 버려진 정보에 의존하지 않으면 바깥 렌즈로 충분하고, 그때 안쪽 렌즈는 쓸모없는 정보 속에서 목표를 골라내야 하는 부담만 집니다. 적합한 렌즈는 충분하면서 효율적 추정기를 허용하는 렌즈입니다.
개념 검증 실험 설정
Section 4.5 는 정답 신호가 위계를 따라 줄어드는지 검증합니다. 네 질문을 둡니다. RQ1: 각 렌즈에서 프로브가 복호할 수 있는 정답 신호는 얼마인가. RQ2: 그 신호는 모델 신뢰도에 따라 어떻게 변하는가. RQ3: 기존 추정기는 복호 가능한 신호를 얼마나 쓰는가. RQ4: $g_{\text{unemb} }$ 와 $g_R$ 간극에는 무엇이 들어 있는가.
🧪 1. 모델·데이터·추론 (Appendix A.2.1)
| 항목 | 설정 |
|---|---|
| 모델 | Qwen2.5-7B-Instruct(주 모델), Qwen2.5-7B(베이스, 지시 튜닝 효과 측정), Llama-3.1-8B-Instruct(모델 계열 일반화) |
| 데이터 | TriviaQA(rc.nocontext, validation), PopQA(test), MMLU(all, test, ${A,B,C,D}$). 데이터셋당 $N = 3{,}000$ 문항, 고정 시드 |
| 추론 | 탐욕 디코딩 50 토큰으로 $a_0$. 의미 렌즈용 $k = 20$ 확률 표본($T = 1.0$, top-$p$ 0.9). $[\text{prompt}; a_0]$ 의 교사 강제 1회 패스로 은닉 상태·헤드별 어텐션·토큰 로짓 추출. 5-shot, bfloat16 |
| 정답 라벨 | 오답을 양성 클래스로. TriviaQA·PopQA 는 정규화 문자열 매칭 후 실패 시 cross-encoder/nli-deberta-v3-large 양방향 함의($\tau = 0.5$, 전체의 4% 미만). MMLU 는 선택지 글자 매칭 |
MMLU 는 온전성 검사입니다. 답이 한 글자라 $g_R$ 이 버릴 어휘 형태가 없습니다.
🧷 2. 중첩 피처 집합 (Appendix A.2.2)
$F_{\text{sem} } \subset F_{\text{dis} } \subset F_{\text{rep} } \subset F_{\text{str} }$ 로 엄격히 중첩되게 만들어, 인접 바깥 렌즈 대비 성능 차이가 새 피처의 한계 기여가 되게 합니다.
| 렌즈 | 피처 |
|---|---|
| 의미 | 탐욕 답 + 20 표본을 양방향 NLI 함의로 군집화. 의미 엔트로피, 군집 수, 최대 군집 질량, 상위 5 군집 질량 (총 8개) |
| 분포 | 탐욕 답 로짓에서 평균 토큰 엔트로피, 평균 최대 소프트맥스 확률, top-1 로짓 마진, 길이 정규화 로그확률, 토큰 엔트로피 프로파일의 분산·왜도 (10개 추가). MMLU 는 네 선택지 토큰으로 재정규화 |
| 표현 | 최종 답 토큰의 단일 판독 층 은닉 상태, PCA 압축. 층은 모델별 검증 스윕으로 선택 후 고정 |
| 구조 | 어텐션 엔트로피, lookback ratio, 층별 잔차 갱신의 $\ell_2$ 크기, PCA 압축. 풀링이 헤드 수준 세부를 버리므로 구조 정보의 하한 |
세 안쪽 렌즈의 피처는 단일 교사 강제 패스에서, 의미 피처는 표본에서 나오므로 “의미 렌즈 대비 이득”은 표집된 의미 피처에 단일 패스 내부 피처가 더하는 것을 잽니다.
📏 3. 복호 가능성 기준선 DecBase (Appendix A.2.3)
DecBase 는 해당 프로브 계열이 쓸 수 있는 정답 정보를 기술하는 지도 프로브입니다. TriviaQA·PopQA 는 $\ell_2$ 정규화 로지스틱 회귀 뒤에 256 유닛·ReLU·dropout 0.2 의 1-은닉층 MLP, MMLU 는 로지스틱 회귀만 씁니다. 검증 분할로 조기 종료하고 5개 시드 평균입니다. 판독 층, 표현 PCA 차원, 구조 PCA 차원은 $F_{\text{str} }$ 의 검증 성능을 최대화하는 조합으로 한 번에 선택합니다. 두 Qwen 모두 층 17, 표현 PCA 128, 구조 PCA 128 이고, Llama 도 층 17 이지만 PCA 는 512·256 입니다. 전체 모집단에는 AUROC, 신뢰도 컷오프 아래에서는 우연 기준선 대비 AUPRC 를 봅니다.
비교 추정기는 렌즈당 하나씩, 층마다 한 헤드만 남긴 최소 RAUQ(구조), INSIDE(표현), 평균 토큰 엔트로피 TE(분포), 의미 엔트로피 SE(의미)입니다. SE 와 INSIDE 는 $Z = y$, TE 와 RAUQ 는 $Z = \varnothing$ 입니다.
💡 Key Takeaway 실험은 “렌즈에 정보가 있는가”가 아니라 “이 프로브 계열이 그 정보를 얼마나 꺼낼 수 있는가” 를 잽니다. 중첩 피처 설계 덕에 렌즈 간 차이는 곧 한계 기여이지만, 구조 피처는 풀링으로 인해 하한일 뿐입니다.
개념 검증 결과: 렌즈 순서와 두 간극
📊 1. DecBase AUROC (Table 4)
| 렌즈 | TriviaQA Qwen-Inst | Qwen-Base | Llama-Inst | MMLU Qwen-Inst | Qwen-Base | Llama-Inst | PopQA Qwen-Inst | Qwen-Base | Llama-Inst |
|---|---|---|---|---|---|---|---|---|---|
| 구조 | 0.910 | 0.901 | 0.900 | 0.807 | 0.800 | 0.775 | 0.960 | 0.921 | 0.913 |
| 표현 | 0.908 | 0.897 | 0.899 | 0.807 | 0.797 | 0.774 | 0.965 | 0.912 | 0.907 |
| 분포 | 0.884 | 0.893 | 0.894 | 0.803 | 0.800 | 0.773 | 0.929 | 0.906 | 0.899 |
| 의미 | 0.871 | 0.884 | 0.882 | 0.796 | 0.796 | 0.768 | 0.922 | 0.909 | 0.893 |
본문은 “대체로 구조에서 의미로 단조 감소”라고 서술합니다. 표를 그대로 보면 예외가 셋 있습니다. PopQA Qwen-Inst 는 표현(0.965)이 구조(0.960)보다 높고, PopQA Qwen-Base 는 의미(0.909)가 분포(0.906)보다 높으며, MMLU Qwen-Base 는 분포(0.800)가 표현(0.797)보다 높습니다. 논문은 이 예외를 따로 설명하지 않습니다. 의미 렌즈만으로도 AUROC 가 높고, 단일 패스 내부 피처의 총 이득은 실재하지만 작습니다. MMLU 에서는 객관식 형식이 출력 다양성을 억제해 모든 증분이 거의 0 입니다. Qwen-Inst 는 주로 $g_{\text{unemb} }$ 간극에서 더 큰 이득을 보였고, 저자들은 지시 튜닝이 정답 정보가 은닉 상태에 퍼지는 방식을 바꿀 수 있다고 추정합니다.
📈 2. 신뢰도 수준에 따른 변화 (Figure 4, 7, 8)
마지막 토큰의 평균 최대 소프트맥스 확률(MSP)을 신뢰도 점수로 쓰고 컷오프를 올리면 덜 확신하는 문항이 빠져 오답이 적고 어려운 사례만 남습니다. 모든 렌즈에서 신뢰도와 정답은 상관하고, 개방형 QA 에서는 모든 신뢰도 수준에서 렌즈 순서가 유지되며 간극이 더 넓어집니다. MMLU 에서는 네 선이 교차합니다. 붕괴한 출력 공간에서 분포 신호와 의미 신호가 같아지기 때문입니다. 하단 패널의 $g_{\text{unemb} }$ 한계 이득 $\Delta_{\text{unemb} }$ 은 확신에 찬 오답에서 표현 렌즈가 가장 많이 도움이 됨을 보입니다. 다른 두 모델(Figure 7, 8)도 같은 양상입니다.
🧮 3. 추정기 대 DecBase (Figure 5)
모든 추정기는 해당 렌즈의 DecBase 이하입니다. 가장 큰 간극은 층당 한 헤드만 읽는 최소 RAUQ 였고, MMLU 에서 INSIDE 는 표본들의 은닉 상태가 거의 같아 우연 수준으로 떨어졌으며, TE 는 다양한 출력의 신호를 잡지 못했습니다. SE 는 의미 렌즈의 정답 신호 대부분을 이미 포착합니다. DecBase 는 렌즈에 있는 신호를, 추정기의 $Z$ 와 $S$ 는 그중 얼마를 되찾는지를 보여 줍니다.
🔍 4. 두 간극의 분해 (Figure 6, Table 12)
$g_R$ 간극 : 어휘 항은 의미가 주어졌을 때 표면 형태의 조건부 엔트로피로, 한 의미 안에서 표현이 얼마나 변하는지를 잽니다. 이 어휘 간극은 정답 여부와 약하게만 상관합니다. TriviaQA 에서 표본이 한 의미 안에서 표면 형태를 달리한 문항의 비율(lexical occupancy)은 다음과 같습니다.
| 모델 | lexical occupancy |
|---|---|
| Qwen2.5-7B-Instruct | 60.7% |
| Qwen2.5-7B (base) | 67.1% |
| Llama-3.1-8B-Instruct | 58.9% |
출력이 정규화되지 않은 베이스 모델에서 어휘 변이가 가장 잦습니다.
$g_{\text{unemb} }$ 간극 : $W_U$ 의 그램 행렬 $G = W_U W_U^{\top}$ 로 thin SVD 를 구해 행 공간 분산의 99% 를 설명하는 최소 랭크 $r$ 을 고르고, 마지막 토큰 은닉 상태를 상위 $r$ 우특이벡터로의 사영 $h_{\text{top} }$ 과 꼬리 $h_{\text{tail} } = h - h_{\text{top} }$ 으로 나눕니다.
| 모델 | $h_{\text{top} }$ 비율 | $h_{\text{tail} }$ 비율 | 랭크 $r$ / 차원 $d$ |
|---|---|---|---|
| Qwen2.5-7B-Instruct | 77.7% | 22.3% | 3439 / 3584 |
| Qwen2.5-7B (base) | 77.7% | 22.3% | 3444 / 3584 |
| Llama-3.1-8B-Instruct | 95.6% | 4.4% | 3962 / 4096 |
두 Qwen 의 분해는 거의 같아 지시 튜닝이 이 분할을 바꾸지 않으며, Llama 는 노름의 더 많은 몫을 $h_{\text{top} }$ 에 둡니다. $h_{\text{tail} }$ 만 쓴 프로브도 높은 AUROC 에 이르지만 전체 $h$ 의 프로브는 $h_{\text{top} }$ 프로브보다 거의 낫지 않습니다. 즉 꼬리는 정답 신호를 담지만 $h_{\text{top} }$ 이 주어지면 중복입니다. 바깥 렌즈의 고정 프로브 위에 안쪽 피처로 로짓 오프셋 모델을 맞추는 직접 잔차 예측기도 DecBase 증분과 일치했습니다.
🧾 5. 네 질문의 답 (Summary)
| RQ | 답 |
|---|---|
| RQ1 | 네 렌즈 모두 정답 신호를 담고, DecBase 는 대체로 바깥으로 갈수록 감소. 표집된 의미 피처가 있으면 안쪽 이득은 작음 |
| RQ2 | 모든 렌즈의 DecBase 는 신뢰도가 오를수록 하락. 개방형 QA 에서는 순서 유지, 객관식에서는 붕괴 |
| RQ3 | 모든 추정기가 해당 DecBase 보다 적은 신호를 사용 |
| RQ4 | $g_R$ 의 어휘 변이는 정답과 약한 상관. $g_{\text{unemb} }$ 의 $h_{\text{tail} }$ 은 단독으로는 예측하지만 $h_{\text{top} }$ 이 있으면 거의 무추가 |
💡 Key Takeaway 위계는 경험적으로 대체로 지지되지만, 정답 예측이라는 목표에 한해서는 의미 렌즈가 이미 거의 충분하고 안쪽 렌즈의 추가 정보는 작습니다. 안쪽 렌즈가 더 빛나는 곳은 확신에 찬 오답과, 정답성이 아닌 다른 목표(근거성의 인과적 의존 등)입니다.
의미 렌즈 방법 조사: 군집·그래프·다양체·보고
Section 5 는 문헌의 순서를 따라 의미 렌즈부터 구조 렌즈로 거슬러 올라갑니다. 현재 UQ 연구는 의미·분포 렌즈에 집중되어 있고 표현·구조 렌즈는 미개척입니다. 의미 렌즈는 $O_{\text{sem} } = \Pi_R(h)$ 를 읽으며, 모든 의미 렌즈 방법은 네이티브 입니다.
🗂️ 1. 의미 집합 $\mathcal{M}_R$ 의 네 유형 (Table 5)
| 유형 | $R$ 의 치역 | $R$ 의 조건 | $\mathcal{M}_R$ | 구현 |
|---|---|---|---|---|
| 군집(Cluster) | ${0,1}$ | 대칭, 추이적 | 동치류 | 양방향 NLI |
| 그래프(Graph) | ${0,1}$ 또는 $[0,1]$ | 대칭 또는 비대칭 | 가중 그래프의 노드 | 등급 NLI |
| 다양체(Manifold) | $\mathbb{R}$ | 대칭 | 거리 공간의 출력 | 임베딩 유사도 |
| 보고(Report) | 내부 | — | 암묵적 | 자기 보고 신뢰도 |
$R$ 은 NLI 모델(RoBERTa·DeBERTa 가 $(p_c, p_n, p_e)$ 반환, 등급·방향성 있음), LLM 판정자(두 응답을 템플릿에 넣고 Yes/No 또는 점수), 임베딩 모델(Sentence-BERT, CLIP 의 기하)로 실현됩니다.
🧩 2. 군집 유형
Semantic Entropy(SE, Kuhn et al., 2023)가 기초입니다. 두 표본이 서로를 함의하면 동치이고 의미 군집 위의 엔트로피를 계산합니다($Z = y$, $S = \varnothing$). 원형은 군집을 멤버의 시퀀스 우도로 가중해 그레이박스 접근이 필요하고, 블랙박스 변형(Farquhar et al., 2024)은 경험적 빈도로 가중합니다. NumSets 는 군집 수를 세고, McCabe et al. (2026) 은 두 근사가 모두 의미 엔트로피를 과소추정함을 보여 alphabet-size 추정기로 교정합니다. SRE-UQ 는 표집 전 토큰 분포를 엔트로피 최대화로 재보정하는 교차 렌즈 방법이고, SDLG 는 $S = Z_S$ 로 의미적으로 다양한 응답을 유도하며, Self-Assessment 는 군집을 객관식 선택지로 바꿔 선택 확률을 읽습니다. Input Clarification($Z = x, y$)은 과소명세를, SAC3($Z = y, x, \theta$)는 패러프레이즈와 모델 간 표집을 씁니다. Conformal Prediction 과 ConU 는 LLM 판정 의미 일관성을 비적합도 점수로 삼아 $\psi_S$ 로 감쌉니다.
🕸️ 3. 그래프 유형
Lin et al. (2024b) 는 함의·모순 소프트맥스 확률을 간선 가중치로 삼아 Degree, Eccentricity, 라플라시안 고유값 합(EigV)을 읽습니다. 이후 KLE(열 커널의 폰 노이만 엔트로피), Semantic Density(간선을 $p_c + \frac{1}{2} p_n$ 으로 재가중), 분산 방법(스펙트럼 임베딩)이 판독만 바꿉니다. SelfCheckGPT 는 의미 모델에 따라 NLI·LLM 변형은 무향 그래프, BERTScore 변형은 다양체, $n$-gram 변형은 어휘 유사도라 분포 렌즈에 속합니다. DEG 는 함의의 비대칭을 살린 유향 그래프의 랜덤워크 라플라시안을 읽고, LUQ·CLUE·AGSC·BTProp·CoTA 는 노드를 문장·개념·원자 주장·추론 단계로 세분합니다. CoTA 는 목표를 추론 설명의 충실성으로 바꿉니다. LLM 판정자 기반으로는 Graph Uncertainty(응답–주장 이분 그래프), IUQ, MD-UQ(텐서 분해), TopologyUQ(그래프 편집 거리), Reasoning Graph 가 있습니다.
🌐 4. 다양체 유형과 보고 유형
다양체 유형은 SelfCheckGPT 의 BERTScore 변형에서 시작해, SPUQ($S = Z_S$ 로 섭동 집합 정의, $Z = x$), CSS(CLIP 임베딩의 중심성), GeoU(원형 분석), SpecU(스펙트럼 분해), MATU(다중 에이전트 상호작용 텐서)로 이어집니다. 보고 유형은 모델이 “거의 확실” 같은 언어적 헤지나 “90% 확신” 같은 숫자로 자기 불확실성을 말하는 것으로, $R$ 이 모델 내부에 있고 $\mathcal{M}_R$ 은 명시적으로 구성되지 않습니다. 지도 미세조정(Lin et al., 2022a)과 프롬프팅(Tian et al., 2023)으로 유도되고, SaySelf·CONQORD·Knowledge Transfer·UaIT·linguistic calibration 은 학습 신호를 바꿉니다. 추론 시에는 모두 $(Z, S) = (\varnothing, \varnothing)$ 로 환원됩니다. 과신을 다루기 위해 DINCO·HCPD($Z = y$), T3($Z = x$), LM vs LM, BSDetector, enhanced CP 가 재표집이나 외부 원천을 더합니다. Decisiveness·MetaFaith·RLMF 는 자기 보고가 성능에 충실한지를 묻습니다.
💡 Key Takeaway 의미 렌즈 방법은 $R$ 의 가정이 군집 → 그래프 → 다양체로 약해지는 한 줄기와, 모델 스스로 의미를 판정하는 자기 보고 줄기로 나뉩니다. 전부 네이티브이지만, 관측의 충실성은 전적으로 $R$ 의 구현에 달려 있습니다.
분포 렌즈와 표현 렌즈 방법 조사
🔢 1. 분포 렌즈: 토큰·시퀀스·주장 수준 (Table 7)
분포 렌즈는 $\Pi(h)$ 를 읽으며 로짓이나 판독 맵 $\rho$ 를 쓰는 방법도 같은 렌즈입니다. 관측 입도에 따라 셋으로 나뉩니다.
| 수준 | $S = \varnothing$ 닫힌 형식 | $S = Z_S$ | $S = \mathcal{U}_S$ | $S = \psi_S$ |
|---|---|---|---|---|
| 토큰 | MSP, LogTokU(로짓을 디리클레 증거로), Semantic Energy($Z = y$), P(True)·Self-Evaluation·COOPERATE(특정 토큰 확률, 의미 대리) | CAPE·Stable Explanation·Agreement(프롬프트 변형), MC Dropout·LoRA 앙상블·Bayesian LoRA·BLoB·MUSE($\theta$ 표집) | TokenSAR(NLI 관련도 가중), CoT-UQ(키워드 가중) | MCQA CP, Logit-Free CP, U-LINE(길이 정규화) |
| 시퀀스 | NLL, 길이 정규화 NLL, 퍼플렉서티, G-NLL, Rényi·Fisher–Rao 거리; UProp·SAUP(다중 에이전트), Self-Certainty(CoT), Internal Consistency·LI(중간 층 Logit Lens) | — | 어휘 유사도: $n$-gram, chrF, 토큰 F1, ROUGE-L(CoCoA, SNNE); 의미 대리: SentenceSAR, LARS, MARS, DisAAD | CoRAP, DeepConf |
| 주장 | CCP(NLI 로 주장 분할 후 토큰 확률 집계) | — | — | Conformal LM |
분포 렌즈는 가장 오래되고 많이 연구된 렌즈로 그 추정기들이 통상의 기준선입니다. 대부분 그레이박스 접근으로 토큰 확률을 읽고, 블랙박스 방법은 표집 텍스트나 대리 모델을 씁니다. 대리 추정기는 의미 모델로 토큰을 고르거나 가중해 $\mathcal{M}_R$ 위의 퍼짐을 근사합니다(Takeaway 6).
🧠 2. 표현 렌즈: 읽는 층과 라벨 출처 (Table 8)
표현 렌즈는 $O_{\text{rep} } = h$ 를 읽으며 모두 화이트박스 접근이 필요합니다. 대부분 외부 모델 $\mathcal{U}_S$ 를 $h$ 에 맞추므로 라벨 출처가 분류 기준이 됩니다. 참조 라벨(데이터셋 정답), LLM 라벨(판정자 또는 자기 평가), 프록시 라벨(다른 렌즈 추정기의 점수) 중 무엇을 쓰든 바깥 렌즈의 대리가 됩니다.
| 층 선택 | 네이티브 | LLM 지도 | 참조 지도 | 프록시 지도 |
|---|---|---|---|---|
| 고정 층 | Relative Mahalanobis Distance, U-Space(야코비안 $\rho_S$ + 교차 렌즈 TE), INSIDE(표본 은닉 상태 공분산 고유값), SemGrad | P(IK)(값 헤드), Probe Reasoning | LLM Internal States, LAFaCT, KEEN·HALLUCANA(FActScore 회귀), CCPS, Linguistic Calibration, HaRP(약하게 표현되는 성분으로 $\rho_S$) | — |
| 선택 층 | Geometric Deviation(기지 질문 중심까지의 거리) | Feature-Gaps, CCS, Supervised UE, Distinguish Known, Persona Probe, CoT Success Predictor | SAPLMA, MHAD, PEP, Intrinsic Encoding, Factuality Probe, HaloScope, Steer Latents, SATMD; SAE 판독: Knowledge Awareness, HalluSAE, RAGLens | SEP·Sparse SEP(의미 엔트로피), IRIS(자기 보고), Calibrate Verbal Uncertainty |
| 전 층 | Chain-of-Embedding(인접 층 크기·각도) | ReProbe | Layer Ensembled LR, CLAP, SIVR, GHOST | — |
전 층 방법은 $(L, d)$ 배열을 피처로 압축한 뒤 로지스틱 회귀부터 랜덤 포레스트·트랜스포머까지 다양한 $\mathcal{U}_S$ 를 맞춥니다. 네이티브 추정기는 닫힌 형식이나 비지도 프로브로 은닉 상태 공간의 퍼짐을 재고, 대리 추정기는 의미·분포 라벨에 맞춰 학습합니다(Takeaway 7).
💡 Key Takeaway 표현 렌즈 방법 41개 중 34개가 대리 추정기입니다. 은닉 상태를 읽지만 목표는 출력 수준 정답성이므로, “내부 불확실성”을 잰다기보다 출력 라벨을 내부에서 미리 예측하는 것에 가깝습니다.
구조 렌즈 방법 조사와 렌즈별 패턴
👁️ 1. MHA 관측 (Table 9)
구조 렌즈는 $\Delta h_c$ 와 중간 상태 $a_c$, $m$ 을 읽습니다. 대부분은 어텐션 가중치 또는 위치 간 패턴 $A_c$ 를 읽습니다.
| 목표 | 네이티브 | 대리·교차 렌즈 |
|---|---|---|
| 패턴 퍼짐 | LLM-Check(선택 층 전 헤드의 어텐션 커널 대각 로그행렬식), TOHA(프롬프트·응답 그래프의 위상 발산), RFS Guard(표현 신호로 고른 추론 관련 헤드 풀링) | — |
| 어휘 정답성 | — | Attention Head Entropy, SAT Probe(헤드별 엔트로피·가중치에 로지스틱 회귀, 분포 대리), UQAC(어텐션 사슬 역추적), AGSER |
| 의미 정답성 | — | Internal Attention Divergence Signals(패턴 KL), LapEigvals(상위 $k$ 라플라시안 고유값), Uncertainty Head(어텐션 피처 + top-$k$ 로짓 트랜스포머), LaaB, Focus·Contextualized Sequence Likelihood(패턴으로 토큰 확률 재가중) |
| 근거성 | — | Lookback Ratio(문맥 대 생성 토큰 어텐션 비율 프로브), HalluZig(교차 층 그래프), CHARM(메시지 전달 네트워크), RAUQ·TAD(패턴 + 토큰 확률) |
MHA 갱신 자체를 읽는 방법으로는 Information Flow(MHA 쓰기를 토큰 위치별 기여로 분해해 층간 추적)와 ITI(헤드 출력에 프로브를 맞추고 추론 시 그 방향으로 조향)가 있습니다.
⚙️ 2. FFN 관측과 공동 관측
Factoscope 는 활성 $m$ 과 교차 렌즈 로짓·top-$k$ 토큰에 $\mathcal{U}_S$ 를 맞춰 사실성을 예측하고, UQ Trajectory 는 층간 FFN 갱신 기하를 요약해 희소 프로브를 맞추며, Grad Detect 는 층별 FFN 갱신으로 역전파한 그래디언트를 참조와 비교하고, CRV 는 교차 렌즈 로짓으로 가지치기한 귀속 그래프에서 추론 회로를 분석합니다. 두 구성요소를 함께 읽는 ICR Probe 는 MHA 쓰기 후와 두 쓰기 후의 은닉 상태 사영 불일치를, TPA 는 구성요소 쓰기와 토큰 분포의 분류기를, ReDeEP 는 어텐션 점수와 분포 점수의 결합을, Trace Profiles 는 그래디언트 추론 흔적 피처를 씁니다. 구조 방법은 다른 렌즈보다 근거성 예측에 더 자주 쓰입니다(Takeaway 8).
📊 3. 렌즈 위계에 걸친 축의 패턴
| 렌즈 | 네이티브 비율 | 전형적 $Z$ | 전형적 $S$ | 접근 |
|---|---|---|---|---|
| 의미 | 전부 네이티브 | 출력·입력·파라미터 재표집 | $Z_S$ 또는 $\psi_S$ | 블랙·그레이박스 |
| 분포 | 대부분 네이티브 | 단일 패스 또는 재표집 | $\varnothing$, $Z_S$, $\mathcal{U}_S$, $\psi_S$ | 주로 그레이박스 |
| 표현 | 41개 중 7개만 네이티브 | 단일 패스 | $\mathcal{U}_S$ | 화이트박스 |
| 구조 | 28개 중 3개만 네이티브 | 단일 패스 | $\mathcal{U}_S$ | 화이트박스 |
바깥 렌즈 추정기는 보통 재표집하고 $S$ 는 $Z_S$ 나 $\psi_S$ 이며, 안쪽 렌즈 추정기는 보통 단일 순방향 패스에 $\mathcal{U}_S$ 를 씁니다.
💡 Key Takeaway 구조 렌즈는 인과적 의존(모델이 문맥을 썼는가, 파라미터 지식을 썼는가)을 다룰 수 있는 유일한 렌즈이므로 근거성 목표가 여기에 몰립니다. 그러나 조사된 구조 방법 대부분은 여전히 출력 수준 라벨에 맞춘 대리 추정기입니다.
평가 프로토콜: 목표, 기준, 지표, 벤치마크
불확실성에는 정답이 없으므로, UQ 방법은 정답이 있는 목표의 대리로 평가됩니다. 논문은 평가를 목표·기준·지표의 세 층으로 분해합니다.
🎯 1. 네 가지 평가 목표 (Table 10)
| 목표 | 무엇의 속성인가 | 묻는 질문 | 기준 | 지표 계열 | 정답 필요 | 논문 수 |
|---|---|---|---|---|---|---|
| 정답성 COR | 출력 $y$ | 응답이 옳은지를 얼마나 잘 알려주는가 | dis, sem | RNK CAL SCR DEC REG COV | ✓ | 146 |
| 근거성 GRD | $y$, 문맥 $x$, 모델 $f_\theta$ | 응답이 문맥에 근거하는지를 얼마나 잘 알려주는가 (문맥 지지 + 인과적 의존) | dis, sem | RNK DEC | ✓ | 11 |
| 과소명세 UNS | 입력 $x$ | 입력이 과소명세인지(답 가능성·모호성·신규성) | sem | RNK DEC | ✓ | 3 |
| 충실성 FTH | $y$, $f_\theta$ | 모델의 두 불확실성 신호가 서로 일치하는가 | sem | FTH | – | 6 |
정답성과 근거성은 환각의 두 유형인 사실성 환각과 충실성 환각에 대응합니다. 조사된 159편 중 146편이 정답성을 목표로 하고, 그중 81편은 순위 지표만 보고합니다. 근거성 목표는 거의 전부 구조 렌즈에, 충실성 방법은 전부 의미 렌즈에 있습니다. Corollary 5 가 이 패턴을 설명합니다. 정답 라벨은 출력에 정의되므로 어떤 안쪽 렌즈로도 읽을 수 있지만, 인과적 의존은 $g_{\text{sum} }$ 이 버리는 구성요소별 귀속을 요구합니다. 다만 근거성 방법 대부분은 문맥 지지 라벨로 평가됩니다. (Table 10 의 논문 수 합 166 은 159 보다 크지만, 한 논문이 여러 목표를 가질 수 있으므로 모순은 아닙니다. 논문은 이를 명시하지 않습니다.)
⚖️ 2. 분포적 기준과 의미적 기준
기준 $C(\cdot,\cdot)$ 은 인스턴스가 목표 속성을 갖는지 판정합니다. 분포적 기준(정확 일치, BLEU, ROUGE-1/2/L, WER, METEOR, SQuAD F1)은 어휘 중첩을, 의미적 기준(선택지 일치, NLI 함의, LLM-as-judge, FActScore, AlignScore, 사람 주석, BERTScore 등)은 의미 수준 속성을 봅니다. 둘의 차이는 $C$ 가 어휘 형태를 읽는지이며, 이것이 바로 $g_R$ 이 버리는 정보입니다. 분포적 기준으로 정의된 목표는 의미 추정기로는 완전히 복원할 수 없고(Corollary 4), 의미적 기준은 $R$ 로 작동하므로 어떤 렌즈로도 추정할 수 있습니다. 문헌은 정확 일치와 의미 동치처럼 서로 다른 정답 함수를 쓰면서 결과를 함께 비교하는 경우가 많습니다.
📐 3. 일곱 지표 계열 (Appendix A.4)
| 계열 | 측정 | 대표 지표 |
|---|---|---|
| 순위 RNK | 양성을 음성보다 앞에 두는가 | AUROC, AUPRC, AUARC, AURC($= 1 - \mathrm{AUARC}$), PRR, C@Acc, FPR@%C, TPR@k%FPR |
| 보정 CAL | 점수가 양성 확률로 읽히는가 | ECE, MCE, ACE, ROB |
| 점수 규칙 SCR | 확률 예측으로서의 품질 | Brier, CRPS |
| 결정 DEC | 임계값 이진 결정 | Accuracy, F1, Pass@k |
| 회귀 REG | 연속 목표와의 상관 | PCC, SCC, MSE |
| 커버리지 COV | 등각 예측 보장 | 커버리지 확률, 평균 예측 집합 크기 |
| 충실성 FTH | 두 불확실성 신호의 일치 | 순위 상관, cMFG, CoT 개입 |
순위는 점수의 순서에만, 보정은 값에 의존하는데 문헌은 순위를 보정으로 보고하는 경우가 있습니다. 결정 지표는 순위 곡선 위의 한 점이지만 후속 행동을 위해 임계값이 선택되므로 별도 계열로 둡니다. 모든 목표에서 순위가 가장 흔하고 보정이 그 다음이며, 후속 활용을 위한 결정 지표가 늘고 있습니다.
🗃️ 4. 벤치마크 (Table 11)
| 형식 | 정답성 벤치마크 | 근거성 GRD | 과소명세 UNS |
|---|---|---|---|
| 객관식 MCQA | MMLU(-Pro), MedQA, MedMCQA, GPQA, CommonsenseQA, BoolQ, ARC, HellaSwag, FEVER, Winogrande, PIQA, GLUE, BigBench | SciQ, CosmosQA, RACE, OpenBookQA, HaluEval | — |
| 단답 SFQA | TriviaQA, NQ(-open), PopQA, BioASQ, TruthfulQA, SimpleQA, MS MARCO, WebQuestions, LAMA, PubMedQA, MGSM | CoQA, HotpotQA, SQuAD, HaluEval | QuAC, SelfAware |
| 장문 LFQA | ELI5(-Category), MedLFQA | Qasper, NarrativeQA | — |
| 개방형 OEG | FActScore, WikiBio GPT-3, Chatbot Arena, FAVA, HumanEval, MBPP | MT-Bench | — |
| 문맥 생성 CG | — | XSum, SamSum, TL;DR, SummEval, FRANK, CNN/DailyMail, WMT, HaluEval, RAGTruth | — |
MCQA 는 의미적 선택지 일치로, SFQA 는 때로 분포적 기준으로, LFQA·OEG·CG 는 보통 의미적 기준으로 판정합니다. 충실성은 정답이 필요 없어 어떤 벤치마크에서도 평가할 수 있습니다.
💡 Key Takeaway “AUROC 가 높다”는 말은 목표·기준·지표가 명시되어야 비교 가능합니다. 특히 정답 기준이 분포적인지 의미적인지는 어떤 렌즈가 그 라벨을 복원할 수 있는지를 결정하므로, 기준을 암묵적으로 두면 렌즈 간 비교가 무의미해집니다.
열린 문제와 향후 방향
❓ 1. 열린 문제
- 평가 목표 : 대부분의 UQ 방법은 정답 예측기로 설계됩니다. 출력만 중요할 때는 적절하지만 모델의 내재적 불확실성이 관심이면 새 목표가 필요합니다. 근거성의 인과적 의존은 구조 렌즈 귀속을 요구하지만 대부분의 근거성 방법은 문맥 지지 라벨로 평가되고, 충실성과 과소명세는 정답 라벨이 필요 없는데도 미개척입니다.
- LLM 내부 불확실성 : 표현·구조 방법 대부분이 출력 라벨에 $\mathcal{U}S$ 를 맞춘 대리 추정기이고, 소수의 네이티브 내부 추정기도 출력으로 평가됩니다. 네이티브 내부 추정기가 필요한지, 안쪽 렌즈에서만 보이고 $g{\text{sum} }$·$g_{\text{unemb} }$ 로 사라지는 목표가 무엇인지, 출력 라벨 없이 어떻게 설계할지가 질문입니다.
- 네 렌즈 관측의 한계 : Corollary 4 는 관측에 있는 정보에 관한 것이며, 잃어버린 정보를 어떻게 활용할지는 열려 있습니다. 실험은 한 프로브 계열이 쓸 수 있는 정답 신호만 쟀습니다.
🧭 2. 향후 방향
| 방향 | 내용 |
|---|---|
| 에이전트 프레임워크 UQ | 답할지 명확화를 요청할지, 검색 문맥에 의존할지 파라미터 지식에 의존할지, 확장 추론을 호출할지 등 각 결정이 다른 렌즈를 끌어다 씁니다. 검색 라우팅은 구조 귀속, 추론 결정은 은닉 상태 분석, 선택적 답변은 분포·의미 신호가 필요합니다. 에이전트 시스템에서 불확실성이 어떻게 전파되는지가 과제입니다 |
| 안쪽 렌즈의 네이티브 추정기 | 구성요소 귀속은 $O_{\text{str} }$ 에 의존하므로 인과적 의존 같은 목표에는 네이티브 내부 추정기가 필수입니다. 지도 프로브는 참조 라벨이 필요하고 일반화가 약하므로, 라벨·학습 없이 계산을 직접 읽고 인과적 기계론 검증(신호에 개입하면 행동이나 자기 보고 신뢰도가 바뀌어야 함)으로 검증하는 방향이 유망합니다 |
| 위계의 직접 활용 | Bakman et al. (2025) 는 은닉 상태 변이로 분포 에피스테믹 불확실성의 상한을 유도했습니다. $g_{\text{unemb} }$·$g_R$ 간극이 언제 왜 넓어지는지, 정답성 외 목표에도 중요한지는 불명확합니다. J-lens·R-lens(분포), U-space·SAE(표현) 같은 판독 맵은 렌즈를 바꾸지 않지만 같은 관측을 더 충실하거나 해석하기 쉽게 만들 수 있습니다 |
💡 Key Takeaway 저자들이 가장 힘주어 말하는 방향은 라벨 없는 네이티브 내부 추정기와 그것의 개입 기반 검증입니다. 해석가능성 쪽의 인과 검증 방법론이 UQ 평가의 새 기준이 될 수 있다는 제안입니다.
한계와 읽을 때 주의할 점
⚠️ 1. 저자가 밝힌 한계
- 네 렌즈 맵이 모두 손실적이라는 Corollary 4 는 관측의 정보에 관한 것이고, 추정기가 그 정보를 쓸 수 있는지는 별개입니다. 개념 검증 실험은 한 프로브 계열(로지스틱 회귀 + 1-은닉층 MLP)이 복호할 수 있는 정답 신호만 잽니다.
- 구조 피처는 헤드 수준 세부를 풀링으로 버리므로 구조 렌즈의 정보에 대한 하한입니다.
- 문헌 선정은 Google Scholar 서베이 검색, 그 서베이들이 다루는 방법, 2026년 8월 기준 ACL·EMNLP·NAACL·ICLR·ICML·NeurIPS 최근 2개 판의 “uncertainty”/”hallucination” 논문으로 제한되며, 코드 생성과 멀티모달 모델은 일부만 포함합니다.
🔍 2. 표와 본문을 대조하면 보이는 점
- 단조성의 예외 : Table 4 의 27개 열 중 PopQA Qwen-Inst(표현 > 구조), PopQA Qwen-Base(의미 > 분포), MMLU Qwen-Base(분포 > 표현) 세 곳은 순서가 뒤집힙니다. 차이는 0.003–0.005 수준이고 5개 시드 평균이지만 분산은 표에 없습니다. 본문의 “대체로(in general)”는 이를 포괄하지만 설명은 없습니다.
- 이득의 크기 : 가장 큰 내부 이득도 TriviaQA Qwen-Inst 의 0.039(0.871 → 0.910), PopQA Qwen-Inst 의 0.043(0.922 → 0.965)입니다. “위계가 존재한다”는 주장과 “안쪽 렌즈가 실용적으로 더 낫다”는 주장은 다르며, 논문도 후자를 주장하지 않습니다.
- 의미 피처만 표집 : 의미 렌즈 피처는 20개 표본에서, 나머지는 단일 패스에서 나옵니다. 따라서 Table 4 는 “같은 비용에서의 렌즈 비교”가 아니라 “표집된 의미 피처 위에 단일 패스 피처를 얹었을 때의 증분”입니다.
- 판독 층 선택 : 층 17 과 PCA 차원은 $F_{\text{str} }$ 의 검증 성능으로 고른 뒤 모든 렌즈에 공유됩니다. 표현 렌즈 단독의 최적 층과 다를 수 있습니다.
- Table 10 의 합 : 목표별 논문 수(146 + 11 + 3 + 6 = 166)가 조사 논문 수 159 를 넘습니다. 복수 목표 논문이 있다면 자연스럽지만 본문은 이를 언급하지 않습니다.
- 분류의 주관성 : 방법의 렌즈·$Z$·$S$ 배정은 저자 판단이며, AI 사용 성명에 따르면 사전 분류에 생성 AI 를 썼고 최종 분류는 저자가 결정했습니다. 교차 렌즈 방법을 가장 안쪽 렌즈에 배정하는 규칙 때문에, 예컨대 RAUQ 는 토큰 확률을 함께 쓰면서도 구조 렌즈로 집계됩니다.
💡 Key Takeaway 이 논문의 견고한 부분은 잔차 스트림 위의 네 렌즈 정의와 충분성 논증, 그리고 159편을 $(\lambda, Z, S)$ 로 정리한 표입니다. 개념 검증 실험은 위계를 뒷받침하지만 정답 예측에서의 이득은 작고 예외가 있으므로, “안쪽 렌즈를 읽으면 더 좋다”가 아니라 “목표에 따라 필요한 렌즈가 다르다”로 읽어야 합니다.