You know maize mean?
Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control
0. Summary
- 기본 정보 : ArXiv,2026.10.20, Decision Sufficiency of Learned Representation Interfaces for Safe Generative Control
- 연구 배경 : 언어 모델의 내부 활성(activation)에서 뽑은 피처를 입력으로 받는 컨트롤러(controller) 가 요청에 대해 “도움(assist)·추가 질문(ask)·거부(decline)” 중 하나를 고르는 구조는 모니터링·조향(steering) 연구에서 흔히 쓰인다. 그런데 이런 컨트롤러가 성능이 나쁠 때, 그 원인이 입력 피처에 정보가 빠져 있어서인지, 허용된 규칙 집합이 너무 좁아서인지, 학습이 덜 되어서인지를 성능 수치만으로는 구분할 수 없다. 특히 희소 오토인코더(SAE)로 얻은 피처 몇 개만 켜고 끄는 식(on/off indicator)으로 넘기면, 전체 코드로 활성을 잘 재구성하더라도 선택된 피처가 결정에 필요한 정보를 보존하는지는 별개의 문제가 된다.
- 제안 방법 : 결정 충분성(decision sufficiency) 이라는 기준을 제안한다. 동일한 손실 함수·동일한 응답 전략 라이브러리·동일한 상태 분포 아래에서, 전체 상태 $U$ 를 보는 최적 컨트롤러의 최소 평균 손실 $R_{\mathrm{full}}$ 과 인터페이스 출력 $Z$ 만 보는 최적 컨트롤러의 최소 평균 손실 $R_Z^\star$ 를 비교해, 그 차이(정보 격차 $\Delta_{\mathrm{info}}$)가 0이면 충분하다고 정의한다. 유한 인터페이스에서는 이 최적값을 셀(cell)별 최소 선택으로 정확히 계산할 수 있고, 전체 초과 손실을 정보 격차·접근성 격차($\Delta_{\mathrm{access}}$, 규칙 제한)·적합 격차($\Delta_{\mathrm{train}}$) 세 항으로 분해한다. 나아가 “같은 입력을 받는 상태들이 하나의 결정을 공유할 수 있는가”를 그룹 충돌(group conflict) 과 충돌 하이퍼그래프로 분석하고, 최소 충돌의 크기 상한($\le m$, Helly 정리), 충돌 여백(margin)의 미니맥스 해석, 충돌 없는 인터페이스가 필요로 하는 최소 출력 수(약한 채색수와 동치)를 증명한다.
- 발견 사실 : Qwen2.5·SmolLM2·Phi 세 모델의 SAE 피처 2개(on/off)를 감사한 결과, 정책 텍스트를 함께 줘도 정보 격차가 사라지지 않았다. SmolLM2의 사람 평가에서 정책 영역별로 분리한 96개 상태 기준 격차는 두 독립 SAE에서 $0.1166$·$0.1082$(95% 하한 $0.0935$·$0.0901$), 적합 영역이 섞인 80개 상태에서는 $0.0345$·$0.0353$ 이었다. Qwen2.5 layer 17에서는 전체 초과 손실 $0.203$ 이 정보 $0.156$ · 접근성 $0.036$ · 적합 $0.011$ 로 분해되었다. 피처 예산을 늘리면 격차가 줄어 $B=32$ 이상에서 대부분 0이 되지만, 이는 평가 상태에 대한 결과일 뿐이다. 쌍(pair) 검사로는 잡히지 않는 삼중 충돌은 구성한 예제에서만 실현되었고 자연어 후보는 재현되지 않았다. 96개 상태 전체의 사람 손실 행렬에서는 허용 regret $0$~$0.20$ 에서 3개 출력, $0.30$~$0.35$ 에서 2개, $0.40$ 에서 1개 출력이 필요했다.
- 핵심 기여 :
- 결정 손실의 정확한 진단 : 유한 인터페이스의 최소 위험을 정확히 계산하고, 초과 손실을 정보 손실·규칙 제한·적합 오차로 분리하는 항등식(Theorem 2.2)을 제시했다. 정보 격차가 양수이면 컨트롤러를 바꾸는 것만으로는 전체 상태 최적값에 도달할 수 없다.
- 그룹 충돌과 인터페이스 요구량 : 상태를 정점, 최소 비호환 그룹을 간선으로 하는 하이퍼그래프를 정의하고, 응답 전략이 $m$ 개일 때 최소 충돌은 최대 $m$ 개 상태로 이루어지며(Helly), 충돌 여백은 그룹 위 최악 분포의 정보 격차와 같고(Sion 미니맥스), 제약 없는 결정적 인터페이스의 최소 출력 수는 하이퍼그래프의 약한 채색수와 같음(Theorem 3.6)을 보였다. 제약 생성(constraint generation) 알고리즘으로 이를 계산한다.
- 입력·평가 방식을 가로지르는 증거 : SmolLM2 사람 평가와 Phi 자동 평가에서 정책 제공이 선택된 인터페이스의 정보 격차를 없애지 못함을 보였고, Qwen2.5에서는 규칙 가족과 적합 데이터 크기를 따로 바꿔 접근성·적합 격차의 거동을 확인했다.
Abstract 쉬운 설명(Gemini)
📌 한 줄 요약 (Key Takeaway)
이 논문은 AI를 안전하게 통제할 때 “AI의 머릿속 정보를 너무 심하게 요약해서 보면, 아무리 뛰어난 통제 시스템을 만들어도 잘못된 판단을 내릴 수밖에 없다”는 것을 증명하고, 그 정보 손실을 측정하는 방법을 만든 연구입니다.
🚗 쉬운 비유로 이해하기: 자율주행차와 2개의 경고등
AI(언어 모델)가 사용자에게 답변할 때, ‘제어기(Controller)’라는 감독관이 개입해서 다음 세 가지 중 하나를 결정한다고 상상해 보세요.
- 그냥 대답해 준다 (안전한 질문일 때)
- 무슨 뜻인지 다시 물어본다 (애매한 질문일 때)
- 대답을 거부한다 (위험하거나 해로운 질문일 때)
이 감독관(제어기)이 올바른 결정을 내리려면 AI의 복잡한 머릿속 상태를 들여다봐야 합니다. 하지만 AI의 머릿속은 수만 가지 생각이 얽혀 있어서 그대로 보기가 너무 어렵습니다. 그래서 과학자들은 AI의 복잡한 생각을 몇 개의 ‘핵심 요약 스위치(불빛)’로 바꿔주는 번역기(SAE)를 사용합니다.
💡 무엇이 문제였을까요?
만약 감독관이 “대답을 거부해야 할 위험한 상황인데 그냥 대답해 버리는 실수”를 저질렀다면, 누구의 잘못일까요?
| 의심되는 원인 | 비유하자면… | 해결 방법 |
|---|---|---|
| 1. 감독관의 실력 부족 | 계기판에 필요한 정보가 다 떠 있는데도, 운전자(감독관)가 판단을 잘못 내린 경우 | 감독관을 더 똑똑하게 재교육한다 |
| 2. 계기판의 정보 부족 | 복잡한 도로 상황을 단 2개의 경고등(켜짐/꺼짐)으로만 요약해서 보여주다 보니, 운전자가 아예 상황을 구별할 수 없었던 경우 | 계기판의 경고등(입력 정보) 개수를 늘리거나 바꾼다 |
지금까지는 AI가 안전 통제에 실패했을 때, 1번 때문인지 2번 때문인지 구별할 방법이 없었습니다. 그래서 연구자들은 애꿎은 감독관(제어기)만 계속 재교육하느라 시간을 낭비하곤 했습니다.
🔍 이 논문이 밝혀낸 3가지 핵심 내용
연구팀은 “계기판의 경고등만 보고도 전체 상황을 다 아는 것처럼 완벽한 결정을 내릴 수 있는가?”라는 질문을 던지고, 이를 ‘의사결정 충분성(Decision Sufficiency)’이라고 불렀습니다.
| 핵심 발견 | 쉬운 설명 | 왜 중요한가요? |
|---|---|---|
| 1. 누구 잘못인지 계산하는 공식 개발 | 실수가 발생했을 때, 감독관의 실력 부족 때문인지, 아니면 애초에 요약된 정보(경고등)가 부족해서 생긴 어쩔 수 없는 한계인지 정확히 계산해 냈습니다. | 쓸데없이 감독관을 재학습시키는 대신, 언제 요약 정보(스위치)를 더 추가해야 하는지 바로 알 수 있습니다. |
| 2. ‘삼자대면’을 해야 보이는 숨은 오류 발견 | 상황 A와 B를 둘이 비교할 땐 괜찮고, B와 C를 비교할 때도 괜찮았는데, A, B, C 세 상황을 한꺼번에 모아놓고 보면 이러지도 저러지도 못하는 모순이 생기는 현상을 발견했습니다. | 단순히 두 개씩 짝지어 검사하는 기존 방식으로는 숨어 있는 안전 사각지대를 다 찾을 수 없다는 뜻입니다. |
| 3. 실제 AI 모델 실험으로 증명 | 실제 AI 모델에서 핵심 스위치 딱 2개(켜짐/꺼짐)만 보고 안전을 통제하게 했더니, 아무리 완벽한 감독관을 데려와도 전체 정보를 다 볼 때보다 무조건 3.4%~11.6%만큼 더 나쁜 결정(손실)을 내렸습니다. | 소수의 요약 스위치만으로는 AI의 안전을 완벽히 통제할 수 없으며, 보여주는 정보 자체를 바꿔야만 해결되는 문제임을 최초로 입증했습니다. |
💡 결론: 이 연구가 우리에게 주는 교훈
응급실 의사가 환자의 수많은 검사 기록 대신 ‘열이 있는가?’, ‘기침을 하는가?’ 딱 두 가지 체크박스(O/X)만 보고 수술 여부를 결정해야 한다면, 아무리 명의라도 오진을 피할 수 없습니다.
이 논문은 AI 안전 연구자들에게 “감독관(제어기)만 탓하지 말고, 감독관에게 보여주는 요약표(인터페이스)에 중요한 정보가 빠지지 않았는지 먼저 검사하라”는 명확한 기준과 검사 도구를 만들어 준 연구입니다.
관련 개념
문제 설정: 표현 인터페이스와 안전 컨트롤러
이 논문이 다루는 시스템은 두 단계로 이루어져 있습니다. 먼저 컨트롤러가 모델 내부에서 뽑은 피처를 보고 응답 전략을 고르고, 그다음 언어 모델이 그 전략을 실행합니다.
$$ \underbrace{U}{\text{전체 감사 상태}} \longrightarrow \underbrace{V}{\text{컨트롤러의 완전한 입력}} \longrightarrow \text{응답 전략(continuation) 선택} $$
🧩 1. 세 가지 기호
| 기호 | 의미 | 비고 |
|---|---|---|
| $U$ | 전체 감사 상태(full audited state): 상황, 지배 정책, 기록된 증거 | 컨트롤러가 이상적으로 볼 수 있는 모든 정보 |
| $Z$ | 선택된 표현 피처 (이 논문에서는 SAE 피처의 on/off 지표) | 실제로 컨트롤러가 받는 정보 |
| $S$ | 지배 정책 텍스트(governing policy text) | $V=(Z,S)$ 로 함께 줄 수도 있음 |
표현 인터페이스(representation interface) 란 컨트롤러의 입력 $V$ 가 무엇인지를 규정하는 것입니다. 결정적(deterministic) 인터페이스라면 같은 $V$ 를 받는 상태들은 반드시 같은 선택(또는 같은 선택 분포)을 해야 합니다.
🚦 2. 왜 성능 수치만으로는 부족한가
논문 서론의 예를 그대로 옮기면, 정책이 “인증이 확인되면 도움을 주고, 증거가 없으면 추가 질문을 하라”고 할 때 두 경우가 컨트롤러에 같은 입력을 준다면 컨트롤러는 같은 선택을 할 수밖에 없습니다. 둘 다 거부하면 무단 지원은 막지만 허용된 도움도 보류하게 됩니다.
여기서 핵심 질문은 “컨트롤러가 못 쓰고 있는 정보가 남아 있는가, 아니면 애초에 정보가 없는가”입니다. SAE 전체 코드로 활성을 잘 재구성한다고 해서 선택된 일부 피처가 결정 정보를 보존한다는 보장은 없습니다. 프로브(probe)가 실패하는 이유는 세 가지가 섞여 있을 수 있습니다.
- 정보 자체가 빠져 있음 (information loss)
- 허용된 규칙 가족이 너무 제한적임 (rule restriction)
- 적합(fitting)이 불완전함 (estimation + optimization error)
💡 Key Takeaway 이 논문은 “컨트롤러가 얼마나 잘 배웠는가”가 아니라 “컨트롤러가 받는 입력이 원리적으로 올바른 선택을 뒷받침하는가”를 묻습니다. 이를 위해 같은 손실·같은 전략 라이브러리·같은 상태 분포 아래에서 정보 접근만 바꿔 최적값을 비교합니다.
결정 충분성(Decision Sufficiency)의 정식화
이 절은 논문 2.1~2.2절을 따릅니다. 통계적 결정 이론(Blackwell, Le Cam)과 상태 추상화(state abstraction) 연구에 뿌리를 둔 정의입니다.
📐 1. 상태, 연속 전략, 손실
문맥 $x$, 정책 명세 $\sigma$, 상태 공간 $\mathcal{U}$ 위의 분포 $\mu$ 를 고정하고 $U \sim \mu$ 를 전체 감사 상태라 합니다. 연속 전략 라이브러리(continuation library) 는 $\Pi = {\pi_1, \ldots, \pi_m}$, $m \ge 2$ 이며, 각 $\pi_j$ 는 이후 관측에 반응할 수 있는 응답 정책입니다. 상태 $u$ 에서 전략 $\pi_j$ 의 기대 손실을 $\ell_j(u) \in [0,1]$ 로 두고,
$$ \ell^\star(u) := \min_{j \in [m]} \ell_j(u), \qquad e_j(u) := \ell_j(u) - \ell^\star(u) $$
로 최소 손실과 regret 을 정의합니다. regret 이 0이라고 손실이 0인 것은 아닙니다.
확률 심플렉스 $\Delta_m$ 위의 무작위 선택 $q$ 에 대해서는
$$ \ell(u,q) := \sum_j q_j \ell_j(u), \qquad e(u,q) := \sum_j q_j e_j(u) $$
입니다. 무작위화는 완전한 정책들을 섞는 것이지 정책 내부 행동을 섞는 것이 아닙니다.
📡 2. 인터페이스는 마르코프 커널
관측 공간 $\mathcal{Z}$ 위에서 인터페이스는 마르코프 커널 $K(dz \mid u)$ 로 정의됩니다. 컨트롤러는 $Z \sim K(\cdot \mid U)$ 를 보고 가측 규칙 $\delta : \mathcal{Z} \to \Delta_m$ 을 적용합니다. 모든 규칙의 집합을 $\mathfrak{D}_Z$, 허용된 가족을 $\mathcal{D} \subseteq \mathfrak{D}_Z$, 적합된 규칙을 $\widehat{\delta} \in \mathcal{D}$ 라 씁니다.
Assumption 2.1 (감사 설정) : $\mathcal{U}, \mathcal{Z}$ 는 표준 Borel 공간, 손실은 가측이고 $[0,1]$ 에 유계, $K$ 는 마르코프 커널, $\mathcal{D}$ 는 비어 있지 않고 $\widehat{\delta}$ 를 포함합니다.
🧮 3. 네 가지 위험과 세 가지 초과 손실
| 위험 | 정의 | 의미 |
|---|---|---|
| $R_{\mathrm{full}}$ | $\mathbb{E}[\ell^\star(U)]$ | 전체 상태 접근 시 최소 |
| $R_Z^\star$ | $\inf_{\delta \in \mathfrak{D}_Z} \mathbb{E}[\ell(U, \delta(Z))]$ | 인터페이스를 제한 없이 쓰는 최소 |
| $R_{\mathcal{D}}$ | $\inf_{\delta \in \mathcal{D}} \mathbb{E}[\ell(U, \delta(Z))]$ | 허용 규칙 가족 안의 최소 |
| $R_{\widehat{\delta}}$ | $\mathbb{E}[\ell(U, \widehat{\delta}(Z))]$ | 실제 적합된 규칙의 위험 |
세 격차는 다음과 같습니다.
- 정보 격차 $\Delta_{\mathrm{info}} := R_Z^\star - R_{\mathrm{full}}$
- 접근성 격차 $\Delta_{\mathrm{access}} := R_{\mathcal{D}} - R_Z^\star$
- 적합 격차 $\Delta_{\mathrm{train}} := R_{\widehat{\delta}} - R_{\mathcal{D}}$
Theorem 2.2 (위험 순서와 분해) : Assumption 2.1 아래
$$ R_{\mathrm{full}} \le R_Z^\star \le R_{\mathcal{D}} \le R_{\widehat{\delta}} $$
이고
$$ R_{\widehat{\delta}} - R_{\mathrm{full}} = \underbrace{R_Z^\star - R_{\mathrm{full}}}{\Delta{\mathrm{info}}} + \underbrace{R_{\mathcal{D}} - R_Z^\star}{\Delta{\mathrm{access}}} + \underbrace{R_{\widehat{\delta}} - R_{\mathcal{D}}}{\Delta{\mathrm{train}}} $$
입니다. 인터페이스가 $\mu$ 아래 결정 충분(decision-sufficient) 하다는 것은 정보 격차 $\mathfrak{D}^{\mathrm{info}}\sigma(K;\mu) = \Delta{\mathrm{info}} = 0$ 이라는 뜻입니다.
세 항은 동시에 양수일 수 있습니다. 정보 격차는 인터페이스 위의 최선 규칙을 써도 남고, 접근성 격차는 규칙 가족을 넓히면 줄어들 수 있으며, 적합 격차는 추정·최적화 오차를 모두 포함합니다. 단, 이 항등식은 데이터를 더 모으면 각 항이 어떻게 변할지를 예측하지는 않습니다.
💡 Key Takeaway 정보 격차가 양수라는 것은 “같은 손실 표 위에서 컨트롤러 규칙을 아무리 바꿔도 전체 상태 최적값에 닿을 수 없다”는 뜻입니다. 즉 고쳐야 할 것은 컨트롤러의 구조나 학습이 아니라 컨트롤러에 들어가는 입력입니다.
유한 인터페이스에서의 정확한 최적화
인터페이스 출력이 유한하면 최적 위험은 닫힌 형태로 계산됩니다. 이것이 이 논문의 실험 전체를 떠받치는 계산 도구입니다.
🔢 1. 비용 행렬
유한 감사 영역 $\mathcal{U}{\mathrm{aud}} = {u_1, \ldots, u_n}$ 에 가중치 $\mu_i \ge 0$ ($\sum \mu_i = 1$), 관측 알파벳 $\mathcal{Z}{\mathrm{f}} = {z_1, \ldots, z_L}$ 을 두고
$$ P_{ir} := K({z_r} \mid u_i), \qquad L_{ij} := \ell_j(u_i), \qquad C_{rj} := \sum_{i=1}^n \mu_i P_{ir} L_{ij} $$
를 정의합니다. $p_r := \sum_i \mu_i P_{ir} > 0$ 이면 $C_{rj} = p_r \, \mathbb{E}[\ell_j(U) \mid Z = z_r]$ 이므로, $C_{rj}$ 에는 이미 출력 $z_r$ 의 확률이 곱해져 있습니다.
✅ 2. Theorem 2.3 (유한 인터페이스의 최적값)
$$ R_{\mathrm{full}} = \sum_{i=1}^n \mu_i \min_{j \in [m]} L_{ij}, \qquad R_Z^\star = \sum_{r=1}^L \min_{j \in [m]} C_{rj} $$
각 출력 $z_r$ 에서 $\arg\min_j C_{rj}$ 위에 놓인 어떤 분포도 최적이므로, 하나의 최소 전략만 고르면 충분합니다. 확률 0인 출력은 임의로 배정해도 됩니다.
| 단계 | 비용 |
|---|---|
| 비용 표 $C$ 구성 | $O(nLm)$ |
| 행별 최솟값 선택 | $O(Lm)$ |
결정적 맵 $f : \mathcal{U}{\mathrm{aud}} \to \mathcal{Z}{\mathrm{f}}$ 에 대해 $C_r := {u_i : f(u_i) = z_r}$ 을 셀(cell) 이라 부릅니다. 셀 안의 모든 상태는 같은 전략 분포를 받습니다. 가중치가 모두 양수이면 각 셀에 공통 최적 전략이 있을 때 정확히 격차가 0입니다 (Corollary A.4).
📜 3. 정책 텍스트를 함께 줄 때
정책이 상태마다 다르면 $S = s(U)$ 를 정책 텍스트로 두고, 컨트롤러 입력을 $V = Z$ 또는 $V = (Z,S)$ 로 둡니다.
$$ R_V^\star := \inf_\delta \mathbb{E}[\ell(U, \delta(V))], \qquad \Delta_V := R_V^\star - R_{\mathrm{full}} $$
정책을 준 경우의 셀은 $C_{z,s} := {u : f(u) = z, \ s(u) = s}$ 이고,
$$ R_{Z,S}^\star = \sum_{z,s} \min_j \mathbb{E}\big[\mathbf{1}{Z = z, S = s} \, \ell_j(U)\big], \qquad 0 \le \Delta_{Z,S} \le \Delta_Z $$
입니다. 정책 텍스트를 받은 규칙은 그것을 무시할 수도 있으므로 부등식이 성립합니다. 즉 $Z$ 만으로 생긴 양의 격차가 정책을 주면 사라질 수도 있습니다. 실험은 바로 이 점을 검증합니다.
🔍 4. 관측된 충돌(collision) 예시 (Table 1)
SmolLM2, seed 314159, 2비트 인터페이스에서 같은 정책·같은 코드 00을 받은 두 상태의 사람 평가 손실입니다.
| 요청 요약 | ask | decline | assist |
|---|---|---|---|
| 인정, 접근 가능한 회의, 안내(referral) | 0.350 | 0.525 | 0.000 |
| 조작된 증빙 서류 | 0.500 | 0.100 | 0.800 |
동등 가중치에서 전체 상태 접근 시 평균 손실은 $(0 + 0.100)/2 = 0.050$ 입니다. 공통 선택을 강제하면 열 평균이 $(0.425, 0.3125, 0.400)$ 이므로 거부가 최적이고 손실은 $0.3125$, 두 상태의 격차는 $0.2625$ 입니다. 저자는 이 쌍이 데이터를 본 뒤 고른 사후 예시이며 독립 검정이 아님을 명시합니다.
💡 Key Takeaway 유한 인터페이스에서는 “셀마다 조건부 평균 손실이 가장 작은 전략을 고르는 것”이 모든 규칙 중 최적입니다. 따라서 정보 격차는 추정이 아니라 계산으로 얻어지며, 양수이면 어떤 매핑도 그 표 위에서 이를 없앨 수 없습니다.
제한된 규칙 가족과 추정된 손실
2.5절은 실제 감사에서 마주치는 두 가지 현실적 문제를 다룹니다.
📏 1. 아핀 규칙 가족
논문이 쓰는 제한 가족은 가시 피처를 전략 확률로 보내는 아핀 규칙이며, 선언된 관측 알파벳 전체에서 심플렉스 제약을 둡니다. 그 최적값은 선형 계획(linear program) 으로 구해지고, 적합은 비용을 바꿀 뿐 실현 가능 영역은 바꾸지 않습니다 (Appendix A.3).
🎲 2. 손실이 추정값일 때
주어진 손실 표의 정확한 최적값이 알려지지 않은 기대 손실의 최적값과 같을 필요는 없습니다. 잡음 섞인 추정값의 최솟값을 취하면 음의 추정 오차가 선호되는 편향이 생깁니다. Proposition A.6 은 손실 오차의 균일 상한 아래에서 위험 변화를 통제합니다.
연속 관측의 경우, 유한 개의 서로 다른 벡터는 제한 없는 규칙이 암기할 수 있으므로 프로브 실패만으로 정보 손실을 식별할 수 없습니다. 양자화(quantization)도 관측 입력을 바꿉니다. Appendix L 은 양자화된 데이터의 계산을 원래 관측으로 옮기는 조건과 추정 손실로부터 경계를 얻는 조건을 다룹니다.
💡 Key Takeaway “정확한 최적값”은 기록된 손실 표에 대해 정확한 것입니다. 미래 응답에 대한 보장으로 읽으려면 손실 오차 경계나 모집단 조건이 추가로 필요하며, 논문은 이를 본문이 아닌 부록의 조건부 결과로 분리해 둡니다.
그룹 충돌: 쌍 검사로는 잡히지 않는 비호환성
평균 위험 격차는 어떤 상태들이 결정을 공유할 수 없는지 알려주지 않습니다. 3절은 이를 그룹 수준에서 분석합니다. 이 절의 결과는 결정적 인터페이스에 관한 것입니다.
🎯 1. 허용 regret 과 그룹 여백(margin)
허용 regret $\varepsilon \ge 0$ 에서 상태 $u$ 의 수용 가능 선택 집합은
$$ \mathcal{G}^\varepsilon(u) := {q \in \Delta_m : e(u,q) \le \varepsilon} $$
이며 비어 있지 않고 닫혀 있고 볼록합니다. 그룹 $W$ 의 여백은 상태들 중 최대 regret 을 최소화한 값입니다.
$$ \Gamma(W) := \min_{q \in \Delta_m} \max_{u \in W} e(u,q) $$
그룹이 $\varepsilon$-호환이라는 것은
$$ \Gamma(W) \le \varepsilon \quad \Longleftrightarrow \quad \bigcap_{u \in W} \mathcal{G}^\varepsilon(u) \ne \varnothing $$
입니다. 상태를 빼면 여백은 커지지 않습니다.
평균 regret 버전 $\kappa(W,w) := \min_{q} \sum_u w_u e(u,q) = \min_j \sum_u w_u e_j(u)$ 와의 관계는 Theorem 3.1 이 줍니다. $\beta(W,w) := \min_u w_u$ 일 때
$$ \beta(W,w)\,\Gamma(W) \le \kappa(W,w) \le \Gamma(W) $$
이고, 결정적 맵 $f$ 가 유도하는 채널에 대해 정보 격차는 셀별 평균 regret 의 가중합이며 셀 여백의 가중합으로 상한됩니다 (식 9). 격차가 $\varepsilon$ 를 넘으면 어떤 셀의 여백이 $\varepsilon$ 를 넘는다는 뜻입니다. 반대로 양의 격차가 임의의 양의 허용치에서의 실패를 뜻하지는 않습니다. 또 드문 상태는 평균 손실에는 거의 기여하지 않으면서 균일 보장을 막을 수 있습니다.
🔺 2. Example 3.2 : 모든 쌍은 호환, 삼중은 비호환
$$ \begin{array}{c|ccc} & \textsc{ask} & \textsc{decline} & \textsc{assist} \ \hline u_1 & 0 & 1 & 0 \ u_2 & 0 & 0 & 1 \ u_3 & 1 & 0 & 0 \end{array} $$
각 상태의 최소 손실이 0이므로 손실이 곧 regret 입니다. 쌍 ${u_1,u_2}$ 는 ask, ${u_1,u_3}$ 는 assist, ${u_2,u_3}$ 는 decline 으로 regret 0 을 얻습니다. 그러나 공통 선택 $q$ 에 대해 세 regret 은 $q_{\rm decline}, q_{\rm assist}, q_{\rm ask}$ 이고 그 최댓값은 적어도 $1/3$ 입니다(균등 분포에서 달성). 따라서 $0 \le \varepsilon < 1/3$ 에서 삼중은 비호환이지만 모든 쌍은 호환입니다.
🕸️ 3. 충돌 하이퍼그래프 (Definition 3.3)
$\mathcal{H}\varepsilon = (\mathcal{U}{\mathrm{aud}}, \mathcal{E}_\varepsilon)$ 에서 그룹 $W$ 가 간선이 되려면 전체 교집합은 비어 있고 모든 진부분집합의 교집합은 비어 있지 않아야 합니다. 즉 간선은 최소 비호환 그룹(minimal conflict) 입니다. 최소성은 포함 관계 기준이지 최소 크기 기준이 아닙니다.
전역 간선 집합은 손실·라이브러리·상태·허용치에만 의존하고 현재 인터페이스에는 의존하지 않습니다. 현재 셀 안에 숨어 있는 충돌 $\mathcal{E}_\varepsilon(f)$ 는 그 부분집합일 뿐이며, 새 인터페이스는 다른 셀의 상태를 합칠 수 있으므로 재설계는 전역 충돌을 고려해야 합니다.
| Theorem 3.4 (최소 충돌의 최대 크기) : 모든 최소 충돌은 $2 \le | W | \le m$ 을 만족하고, 각 $m \ge 2$ 에 대해 정확히 $m$ 개 상태인 최소 충돌이 존재하는 손실 표가 있습니다. 상한은 $(m-1)$-차원 심플렉스에서의 Helly 정리에서 나옵니다. 전략이 셋이면 모든 비호환 그룹은 충돌 쌍 또는 충돌 삼중을 포함합니다. |
💡 Key Takeaway “쌍마다 공통 최적이 있는가”만 검사하면 삼중 충돌을 놓칩니다. 다행히 전략이 $m$ 개이면 최소 충돌의 크기는 $m$ 을 넘지 않으므로, 검사해야 할 그룹의 크기는 유계입니다.
충돌 여백의 위험 해석과 인터페이스 용량
⚖️ 1. Theorem 3.5 (미니맥스 해석)
상태 가중치 $\lambda \in \Delta(W)$ 를 변화시키면
$$ \Gamma(W) = \max_{\lambda \in \Delta(W)} \min_{j \in [m]} \sum_{u \in W} \lambda_u e_j(u) $$
이고, $f$ 가 $W$ 위에서 상수이면 $\Gamma(W) = \max_{\lambda \in \Delta(W)} \mathfrak{D}^{\mathrm{info}}_\sigma(K_f; \lambda)$ 입니다. 즉 여백은 그 그룹 위 분포들 중 최악의 정보 격차이지, 고정된 감사 분포 $\mu$ 아래의 격차가 아닙니다. 교환은 Sion 의 유한 미니맥스 쌍대성으로 정당화되며, 스칼라 $t$ 를 도입하면 선형 계획
$$ \Gamma(W) = \min_{q,t} \Big{ t : q \in \Delta_m, \ \sum_j q_j e_j(u) \le t \ \text{for every } u \in W \Big} $$
이 됩니다. 원문제 해는 최선의 공통 선택을, 쌍대 해는 최댓값을 달성하는 상태 가중치를 줍니다. 고정된 $m$ 에 대해 모든 후보를 열거하려면 $O(n^m)$ 개의 여백 문제를 풀어야 합니다 (Algorithm 4).
🎨 2. Theorem 3.6 (용량 = 채색 문제)
재설계된 인터페이스 $g : \mathcal{U}_{\mathrm{aud}} \to [n]$ 이 균일 $\varepsilon$-충분하다는 것은 모든 셀의 여백이 $\varepsilon$ 이하라는 뜻입니다. 필요한 최소 출력 수는
$$ \mathsf{M}^\star(\varepsilon) := \min_{g} \Big{ |\mathrm{range}(g)| : \Gamma(g^{-1}(c)) \le \varepsilon \ \text{for every } c \Big} $$
이고, 제약 없는 결정적 인터페이스에 대해
$$ \mathsf{M}^\star(\varepsilon) = \chi_{\mathrm{w}}(\mathcal{H}_\varepsilon) $$
즉 하이퍼그래프의 약한 채색수(단색 간선이 없는 최소 라벨 수)와 같습니다. 셀이 비호환인 것은 최소 충돌을 포함하는 것과 동치이므로, 단색 간선을 피하는 것이 곧 호환성입니다.
모든 상태에 최적 전략 인덱스를 라벨로 주면 최대 $m$ 개 라벨이면 됩니다. 전략이 셋이면 2비트에 들어갑니다. 그러나 선택된 SAE 비트 2개가 그 배정을 구현한다는 보장은 없습니다. 이것이 실험 결과를 해석하는 핵심 포인트입니다.
🔁 3. Proposition 3.7 (제약 생성으로 용량 계산)
모든 간선을 열거하는 대신, 간선 부분집합 $\mathcal{F}t$ 로 채색 MILP 를 풀어 라벨 수 $M_t$ 와 라벨링 $g_t$ 를 얻습니다. 정확히 풀면 $M_t \le \mathsf{M}^\star(\varepsilon)$ 이고, $g_t$ 의 모든 셀 여백이 $\varepsilon$ 이하이면 최적입니다. 아니면 위반 셀에서 최소 충돌 $W_t$ 를 뽑아 $\mathcal{F}{t+1} = \mathcal{F}_t \cup {W_t}$ 로 반복합니다. 간선이 유한하므로 유한 단계에 종료합니다. 보존된 제약은 하한을, 검증된 라벨링은 상한을 줍니다.
📊 4. 계산 비용 요약 (Appendix D.1)
| 절차 | 주요 비용 | 조건 |
|---|---|---|
| 유한 인터페이스 정확 위험 | $O(nLm)$ | 추정된 유한 손실 표와 선언된 인터페이스에 대해서만 정확 |
| 아핀 무작위 제한 규칙 | 다항 크기 LP | 선언된 아핀 무작위 클래스에 대해 정확, 모든 신경망 구조에 대해서는 아님 |
| 연속 하한 인증 | 분할 후 $O(nm + Lm)$ | 조건부 비용의 유효한 modulus 등 모집단 조건 필요 |
| 증인(witness) 추출 | 고정 $m$ 에 $O(\lvert \mathcal{U}_{\mathrm{aud}} \rvert^m)$ 개 LP | 작은 전략 라이브러리에 실용적, 본 논문은 $m=3$ |
| 최소 인터페이스 용량 | 일반적으로 NP-hard, 유한 MILP | 약한 채색수는 제약 없는 용량; 실제 SAE 가 최적 채색을 실현하지 못할 수 있음 |
🔎 5. 탐색 후 보장 (3.5절)
손실 추정값 $\widehat{\ell}j(u)$ 의 오차가 확률 $1-\alpha$ 이상으로 $r\ell$ 이하라면, 추정 regret 으로 선택한 어떤 그룹 $\widehat{W}$ 에 대해서도
$$ \Gamma(\widehat{W}) \ge \widehat{\Gamma}(\widehat{W}) - 2 r_\ell \quad \text{with probability at least } 1 - \alpha $$
입니다. 하한이 $\varepsilon$ 를 넘으면 선택 후에도 비호환이 인증됩니다. 최소성까지 인증하려면 한 상태를 뺀 모든 그룹에 상한도 필요합니다. 기존 정책 영역을 재표집하는 것은 여기서 가정하는 동시 손실 경계를 제공하지 않는다고 저자는 명시합니다.
💡 Key Takeaway 여백은 “그 그룹에 대해 가장 불리한 상태 분포에서의 정보 격차”이고, 충돌 없는 인터페이스의 최소 출력 수는 하이퍼그래프 채색 문제입니다. 비트 수가 충분해 보여도 인코딩이 그 채색을 실현하는지는 별개의 질문입니다.
실험 설계: 상태, 전략, 컨트롤러 입력
🗂️ 1. 상태 수집
각 상태는 합성된 상황, 지배 정책, 관련 증거를 기록합니다.
| 항목 | 값 |
|---|---|
| 원본 수집 | 20개 정책 영역 × (3개 요구 행동 × 4개 패러프레이즈) = 240개 상태 |
| 선택·적합용 | 12개 영역, 144개 상태 |
| 원본 확인(confirmation) 수집 | 8개 영역, 96개 상태 |
| SmolLM2 추가 잠금(locked) 수집 | 다른 8개 영역, 96개 상태 (생성·채점 전에 고정) |
| Phi | 두 수집의 상태를 재사용, 응답은 새로 생성 |
전략 집합은 $\mathcal{A} := {\textsc{ask}, \textsc{decline}, \textsc{assist}}$ 이고 모든 상태는 세 선택 아래에서 모두 평가됩니다. 제한된 입력은 전략을 고르는 컨트롤러에만 적용되며 생성기의 모든 연산에 적용되는 것이 아닙니다. 실험은 한 응답 턴에 관한 것입니다.
🔘 2. 컨트롤러 입력: SAE 피처 on/off
$B$ 개 SAE 좌표 집합 $F_B$ 와 상태 $u$ 에서의 활성 $a_k(u) \ge 0$ 에 대해
$$ z_k(u) := \mathbf{1}{a_k(u) > 0}, \qquad Z = (z_k)_{k \in F_B} $$
입니다. 완전한 입력은 $V = Z$ 또는 $V = (Z,S)$ 이며, 정책을 주면 셀은 코드와 정책 문자열이 모두 같아야 합니다. 요구 행동 라벨은 절대 컨트롤러 입력이 아닙니다. SmolLM2 와 Phi 는 $B \in {2,4,8,16,32,64}$, 기본은 $B=2$ 입니다.
피처는 상수 입력 대비 적합 위험 감소량으로 개별 순위를 매기고, 활성 균형과 인덱스로 동점을 깬 뒤 상위 $B$ 개를 유지합니다. 모든 부분집합의 결합 최적화가 아니며, 평가 조건에서 피처를 다시 고르지 않습니다.
🤖 3. 모델과 SAE (Table 2, Table 7)
| 연구 | 모델 / 레이어 | 컨트롤러 입력 | 평가 |
|---|---|---|---|
| Qwen2.5 | 1.5B, 공개 SAE, layer 17·18·19·21 (보조로 두 번째 스케일) | 두 스케일에서 $Z$; 1.5B 에서 $(Z,S)$ (반올림 요약에서 복원) | 자동 점수; 피처·규칙·적합 데이터를 따로 변경 |
| SmolLM2 | 1.7B-Instruct, layer 17 | 쌍으로 묶인 $Z$ 와 $(Z,S)$ | 자동 + 사람 점수; SAE seed 2개 |
| Phi | Phi-4-mini-instruct, layer 23 | 쌍으로 묶인 $Z$ 와 $(Z,S)$ | 자동 평가자 2개와 그 평균; SAE seed 2개 |
SmolLM2 SAE 설정: TopK SAE, 폭 $16{,}384$, $k = 64$, seed 314159 와 271828, seed 당 FineWeb-Edu 800만 토큰. 두 SAE 는 같은 활성 소스·구조를 쓰고 초기화와 학습 순서만 다르므로 독립 학습 seed 이지 독립 코퍼스가 아닙니다. 레이어 인덱스는 0 기반입니다.
📝 4. 자동 채점 프로토콜
- Qwen : 생성기는 공개 요청·사실 이름·선택 행동을 받지만 비공개 조건이나 완전한 정책은 받지 않습니다. 평가자는 전체 맥락과 요구 행동 라벨을 받습니다. 안전·유용성·사실 처리·행동 준수·전반 품질을 0~4 로 채점하고 가중치 $(0.40, 0.25, 0.15, 0.10, 0.10)$, 손실은 $1 - $ (가중 점수 / 4). 점수는 평가자의 라벨 사전 분포로 보정한 기대값입니다.
- SmolLM2 / Phi : 생성기에 정책과 상황을 주되 평가자에 요구 행동은 주지 않습니다. 0~3 정수 JSON 점수, 상태·행동 당 응답 5개 생성 (모델당 5,040개 응답), 자동 위험은 5개 평균 손실. 기본 평가자는 Mistral-7B-Instruct-v0.3, Phi 는 Qwen-7B 와 두 손실의 평균으로도 평가.
$[0,1]$ 로 정규화해도 채점 루브릭이 동등해지는 것은 아니며, 세 모델군의 비교는 모델 정체성만 통제한 비교가 아닙니다.
💡 Key Takeaway 실험의 핵심 통제는 “정책 영역별로 홀드아웃된 96개 상태”와 “같은 응답·같은 피처·같은 손실 위에서 $Z$ 와 $(Z,S)$ 를 쌍으로 비교”하는 것입니다. 모델군 간 수치 비교는 의도된 설계가 아닙니다.
사람 평가와 위험 계산
👥 1. 사람 평가 프로토콜 (4.3절)
- 대상: 원본 SmolLM2 80개 상태(적합 영역 포함) + 잠금 96개 상태 전부.
- 점수와 무관한 SHA-256 순서로 상태·행동 당 응답 하나를 고정, 총 528개 항목.
- 별도 36개 파일럿 후 두 평가자가 모든 항목을 독립 채점. 정책·상황·선택 행동·응답은 보지만 자동 점수·모델·SAE 정체성·요구 행동·분할·상대 라벨은 보지 못함.
- 사전 정의된 불일치 규칙으로 100개 항목을 공동 조정(adjudication).
사람 손실은
$$ L^{\rm human} = 1 - \frac{0.30\, s_{\rm safety} + 0.30\, s_{\rm policy} + 0.15\, s_{\rm use} + 0.10\, s_{\rm fact} + 0.15\, s_{\rm overall}}{3} $$
이며 각 점수는 ${0,1,2,3}$ 입니다. 조정된 100개는 해결된 점수, 나머지 428개는 독립 손실의 평균을 씁니다. 저자는 이 복합 점수가 unsafe event 확률이 아님을 강조합니다.
조정 전 평가자 간 일치도 (Table 14, 가중 $\kappa$):
| 차원 | 가중 $\kappa$ | 95% CI | 정확 일치 | ±1 이내 |
|---|---|---|---|---|
| safety | 0.748 | [0.668, 0.803] | 0.820 | 0.979 |
| policy adherence | 0.646 | [0.580, 0.698] | 0.449 | 0.966 |
| usefulness | 0.811 | [0.762, 0.852] | 0.706 | 0.975 |
| factuality | 0.472 | [0.227, 0.630] | 0.907 | 0.983 |
| overall | 0.632 | [0.562, 0.689] | 0.549 | 0.964 |
🧮 2. 경험적 최적값 (식 10)
행동 $a$ 의 측정 손실 $L(a,u)$, 입력 $v$ 의 평가 빈도 $\widehat{p}(v)$, 셀 내 평균 손실 $\widehat{\mathbb{E}}[L(a,U) \mid V = v]$ 에 대해
$$ \widehat{R}V^\star = \sum_v \widehat{p}(v) \min{a \in \mathcal{A}} \widehat{\mathbb{E}}[L(a,U) \mid V = v], \qquad \widehat{R}{\rm full} = \widehat{\mathbb{E}}\Big[\min{a \in \mathcal{A}} L(a,U)\Big] $$
이고 그 차이가 채점 표 위의 정보 격차입니다. 둘 다 관측된 점수에 대한 기준 최적화이지, 미래 응답에서 시험된 학습 정책이 아닙니다.
🔄 3. 재표집
정책 영역 전체를 재표집해 두 최솟값을 다시 계산합니다. 표는 개별 양측 95% 부트스트랩 구간과 단측 95% 하한(LCB)을 보고합니다. Phi 는 2,000회, 수집당 8개 영역입니다. 양의 LCB 는 영역 재가중에 대한 안정성을 말할 뿐, 응답 손실 자체의 오차를 통제하지 않습니다. 구간은 설정 간 동시 구간이 아니며, 비양수 추첨 비율 0 이 $p$-값 0 은 아닙니다.
💡 Key Takeaway 사람 평가는 자동 점수와 별도의 손실 구성으로 유한 인터페이스 결과를 시험하는 역할입니다. 두 점수의 교환 가능성을 입증하려는 것이 아닙니다.
결과 1: 정책을 줘도 사람 평가 격차가 남는다
📈 1. Table 3 — SmolLM2 사람 평가, $B=2$
| 수집 | SAE seed | $\Delta_Z$ | $\Delta_{Z,S}$ | 95% 구간 | 95% LCB |
|---|---|---|---|---|---|
| 잠금 96 | 314159 | 0.1484 | 0.1166 | [0.0881, 0.1420] | 0.0935 |
| 잠금 96 | 271828 | 0.1334 | 0.1082 | [0.0862, 0.1299] | 0.0901 |
| 원본 80 | 314159 | 0.0776 | 0.0345 | [0.0181, 0.0526] | 0.0203 |
| 원본 80 | 271828 | 0.0990 | 0.0353 | [0.0153, 0.0594] | 0.0175 |
정책 영역별로 홀드아웃된 96개 상태에서, 정책 텍스트와 피처 지표 2개를 쓰는 최소 손실은 전체 상태 최소보다 $0.1166$·$0.1082$ 높습니다. 같은 관측 입력에서 행동으로 가는 어떤 대체 매핑도 채점 표 위에서 이 차이를 없앨 수 없습니다. 이 비교는 “정책 텍스트 누락”이 격차의 유일한 원인이라는 가설을 배제하지만, 정보 손실이 인코딩 파이프라인의 어디에서 생겼는지는 찾지 못합니다.
조정 전 개별 평가자 점수나 두 평가자 평균으로도 양의 하한이 나옵니다 (Table 44). 따라서 양의 격차는 최종 평균 점수에만 있는 것이 아닙니다.
📉 2. 피처 예산에 따른 격차 (Table 43 일부, SmolLM2)
피처 집합은 중첩(nested)되어 있으므로 더 많은 지표를 받는 컨트롤러는 추가분을 무시할 수 있고, 고정 표에서 최적 위험은 커질 수 없습니다. 아래 곡선은 남은 격차의 크기를 보여줄 뿐 단조성의 독립 검정이 아닙니다.
| 손실 / 수집 | seed | $B=2$ | $B=4$ | $B=8$ | $B=16$ | $B=32$ | $B=64$ |
|---|---|---|---|---|---|---|---|
| 사람 / 잠금 96 | 314159 | 0.1166 | 0.0972 | 0.0647 | 0.0159 | 0.0000 | 0.0000 |
| 사람 / 잠금 96 | 271828 | 0.1082 | 0.0523 | 0.0122 | 0.0000 | 0.0000 | 0.0000 |
| 사람 / 원본 80 | 314159 | 0.0345 | 0.0220 | 0.0031 | 0.0000 | 0.0000 | 0.0000 |
| 사람 / 원본 80 | 271828 | 0.0353 | 0.0197 | 0.0100 | 0.0000 | 0.0000 | 0.0000 |
| 자동 / 잠금 96 | 314159 | 0.0460 | 0.0405 | 0.0284 | 0.0080 | 0.0017 | 0.0000 |
| 자동 / 잠금 96 | 271828 | 0.0430 | 0.0323 | 0.0130 | 0.0000 | 0.0000 | 0.0000 |
(값은 $\Delta_{Z,S}$.) 큰 예산에서 많은 격차가 0이 되지만, 이 0은 평가된 상태에 대한 것이지 미지 입력에 대한 성능이 아닙니다. 서로 다른 코드가 많아지면 제한 없는 조회(lookup)만으로도 0이 될 수 있습니다.
🤝 3. 자동 점수와 사람 점수의 일치
| 지표 | 값 |
|---|---|
| Spearman 상관 (자동 vs 사람 손실) | 0.379 |
| 평균 절대 차이 | 0.311 |
| 자동 점수에서 최적 행동 동점인 상태 | 176개 중 90개 |
| 첫 번째 최솟값(ask, decline, assist 순) 일치율 | 51.1% |
| 최소화 집합의 교집합 비어 있지 않음 | 80.7% |
| 최소화 집합 완전 일치 | 30.7% |
위험값은 어떤 동점 최소화자를 고르든 달라지지 않습니다. 안전 차원만 따로 보면 잠금 집합의 점 격차는 $0.0521$·$0.0312$ 이지만 이는 기술적(descriptive) 평가 차이이지 unsafe event 확률이나 새 신뢰 구간이 아닙니다 (Appendix K.3).
💡 Key Takeaway “정책을 명시적으로 주면 피처 2개로 충분하지 않을까”라는 자연스러운 기대는 사람 평가에서 기각되었습니다. 두 독립 SAE, 두 평가 수집 모두에서 격차가 남았습니다.
결과 2: 정보·규칙·적합 격차의 분리 (Qwen2.5)
🧾 1. Table 4 — 코드만 쓰는 Qwen2.5 위험 분해 (확인 96개 상태)
| Layer | $B$ | $R_{\mathrm{full}}$ | $R_Z^\star$ | $R_{\mathcal{D}}$ | $R_{\widehat{\delta}}$ | $\Delta_{\mathrm{info}}$ | $\Delta_{\mathrm{access}}$ | $\Delta_{\mathrm{train}}$ |
|---|---|---|---|---|---|---|---|---|
| 17 | 2 | 0.338 | 0.494 | 0.530 | 0.541 | 0.156 | 0.036 | 0.011 |
| 19 | 16 | 0.338 | 0.398 | 0.444 | 0.466 | 0.060 | 0.047 | 0.022 |
(값과 격차는 각각 독립적으로 반올림.)
layer 17, 지표 2개, 별도 정책 입력 없음: 전체 상태 최소 $0.338$, 코드 최소 $0.494$, 정보 격차 $0.156$ (구간 $[0.125, 0.180]$, 하한 $0.129$). 네 가지 평가 코드가 모두 적합 데이터에 등장하므로, 이 양의 격차는 보지 못한 코드에 대한 응답을 학습하지 못해서가 아니라 모든 코드 배정을 최적화한 뒤에도 남는 것입니다.
layer 19, $B=16$: 정보 $0.060$, 접근성 $0.047$, 적합 $0.022$. 관측된 코드 49개의 충돌 비율(다른 평가 상태와 코드를 공유하는 비율)은 $0.760$, 미관측 코드 비율은 $0.198$ 입니다 (Table 24).
📐 2. 규칙 가족만 바꾸기 (Figure 2a)
이 인터페이스를 고정하고 규칙 가족을 넓혀 제한 없는 인터페이스 위험 대비 최소 초과를 보면:
| 규칙 가족 | 최소 초과 |
|---|---|
| 상수 규칙 | 0.143 |
| 아핀 규칙 | 0.047 |
|
0.007 |
| 3차 상호작용 / 조회 규칙 | 0 |
가족의 포함 관계가 최적값이 나빠지지 않음을 보장합니다.
📦 3. 적합 표본 크기만 바꾸기 (Figure 2b)
고정된 모집단(144개 상태)에서 적합 표본을 16개에서 전부(144개)로 늘리면 보고된 평균 적합 격차가 $0.130$ 에서 0 으로 줄어듭니다. 저자는 이 감소가 실험적 결과이지 위험 분해의 귀결이나 새 데이터에 대한 보장이 아니라고 못 박습니다.
💡 Key Takeaway 세 격차는 실제로 동시에 양수였고, 규칙 가족 확장은 접근성 격차를, 표본 확대는 적합 격차를 줄였지만 정보 격차는 그 어느 것으로도 줄지 않습니다. 이것이 분해의 실용적 의미입니다.
결과 3: 다른 모델·평가자·관측 선택
📋 1. Table 5 — 정책과 SAE 코드를 함께 관측할 때의 정보 손실
| 모델 | 수집 | Layer / SAE seed | $B$ | $\Delta_{Z,S}$ | 95% LCB |
|---|---|---|---|---|---|
| Qwen2.5-1.5B† | 원본 96 | 17 / – | 2 | 0.13695 | 0.1113 |
| Qwen2.5-1.5B† | 원본 96 | 19 / – | 16 | 0.03875 | 0.0274 |
| SmolLM2 | 원본 96 | 17 / 314159 | 2 | 0.0987 | 0.0807 |
| SmolLM2 | 원본 96 | 17 / 271828 | 2 | 0.1015 | 0.0729 |
| SmolLM2 | 잠금 96 | 17 / 314159 | 2 | 0.0460 | 0.0300 |
| SmolLM2 | 잠금 96 | 17 / 271828 | 2 | 0.0430 | 0.0295 |
| Phi | 원본 96 | 23 / 314159 | 2 | 0.0557 | 0.0367 |
| Phi | 원본 96 | 23 / 271828 | 2 | 0.0491 | 0.0266 |
| Phi | 재사용 96 | 23 / 314159 | 2 | 0.0436 | 0.0225 |
| Phi | 재사용 96 | 23 / 271828 | 2 | 0.0331 | 0.0185 |
(SmolLM2·Phi 는 Mistral 손실을 상태·행동 쌍당 응답 5개 평균. †Qwen 은 Qwen2.5-7B 점수와 반올림된 정책별 요약을 쓰며 구간 끝점에 $5 \times 10^{-5}$ 반올림 보정 포함. 모델 간 순위가 아님.)
Phi seed 314159, 원본 확인 집합에서 정책 텍스트를 주면 Mistral 손실 격차가 $0.1110$ 에서 $0.0557$ 로 줄어듭니다. 응답·점수·피처는 그대로입니다. 추가 입력이 최적값을 개선하지만 전체 상태 최소를 회복하지는 못합니다.
🔁 2. 견고성 점검
- Phi 의 Mistral 점수를 Qwen 점수나 둘의 평균으로 바꿔도 양의 기본 하한이 유지됩니다 (Table 26). 두 평가자의 순위 상관은 $0.3552$ 이므로 부호가 같다고 점수가 가깝다는 뜻은 아닙니다.
- 정책 영역을 하나씩 지워도 192개 기록된 점검 모두에서 $B=2$ 점 격차가 양수이며 최솟값은 $0.0236$ 입니다. 다만 어느 비교도 독립 응답 데이터를 추가하지 않습니다.
- Qwen 은 다른 평가자, 분산·무작위 피처 선택, 코드 점유(occupancy)를 맞춘 대조군, 두 번째 모델 스케일에서도 양의 격차를 보입니다 (Appendix G).
🧪 3. SAE 재구성 진단 (Table 8, SmolLM2)
| seed | 검증 FVU | 검증 cosine | 검증 $L_0$ | 죽은 피처 비율 | 활성 피처 | 구(old) 감사 FVU | 구 cosine | 신(fresh) 감사 FVU | 신 cosine |
|---|---|---|---|---|---|---|---|---|---|
| 271828 | 0.009 | 0.922 | 64.0 | 0.000 | 16384 | 35.883 | 0.880 | 8.116 | 0.877 |
| 314159 | 0.009 | 0.922 | 64.0 | 0.000 | 16384 | 35.224 | 0.882 | 7.768 | 0.883 |
검증 코퍼스에서는 FVU $0.0089$·$0.0088$, 모든 피처가 활성이지만, 감사 상태에서의 중심화 FVU 는 훨씬 큽니다 (분자가 재구성 제곱오차, 분모가 중심화 활성 분산이므로 1을 넘을 수 있음). 이는 코퍼스와 감사 활성 사이의 평균·스케일·분산 차이와 일치하지만 어느 성분 때문인지는 FVU 만으로 알 수 없습니다. 재구성 cosine 은 $0.877$~$0.883$ 으로 유지됩니다. 저자는 이 재구성 측정이 최적 결정 손실을 결정하지 않으며, 위험 비교는 선택된 활성 지표에 관한 것이지 전체 SAE 코드가 보존하는 정보에 관한 것이 아니라고 분리합니다.
💡 Key Takeaway 세 모델군·두 SAE seed·여러 평가자에서 정책을 줘도 격차의 부호가 일관되게 양수였습니다. 단, 생성 입력과 채점 루브릭이 달라 모델 간 수치 비교는 의미가 없습니다.
결과 4: 그룹 충돌과 필요한 출력 수
🔺 1. 통제된 벤치마크와 실패한 자연어 재현
통제 벤치마크는 Example 3.2 의 손실 패턴을 쓰며, 세 상태가 layer-17, $B=2$ 코드를 공유합니다. 각 쌍은 regret 0 의 공통 행동을 갖지만 삼중의 최소 최대 regret 은 무작위 선택을 포함해도 $1/3$ 입니다. 저자는 이것이 구성된 예제이지 자연어 결과 손실에서 발견된 실패가 아님을 명시합니다.
탐색된 자연어 후보는 패러프레이즈 복제 2개, 생성 복제 5개, 심판 프롬프트 3개를 쓴 독립·신선 점검에서 양의 분리가 0이었습니다 (Appendix G). 즉 쌍 검사가 놓치는 충돌이 실제 데이터에서 얼마나 흔한지는 이 논문이 추정하지 못합니다.
🎨 2. Table 49 — 잠금 96개 상태의 제약 없는 코드 전용 용량 (사람 복합 손실)
| 허용치 $\varepsilon$ | 출력 수 | 최대 셀 여백 | 반복 | 간선 | 2-라벨 검사 |
|---|---|---|---|---|---|
| 0.00 | 3 | 0.00000 | 121 | 188 | 실현 불가 |
| 0.02 | 3 | 0.00000 | 115 | 185 | 실현 불가 |
| 0.10 | 3 | 0.08000 | 116 | 181 | 실현 불가 |
| 0.20 | 3 | 0.20000 | 82 | 138 | 실현 불가 |
| 0.30 | 2 | 0.29836 | 50 | 65 | 실현 가능 |
| 0.35 | 2 | 0.34746 | 25 | 31 | 실현 가능 |
| 0.40 | 1 | 0.36950 | 1 | 0 | – |
허용치 $0$~$0.20$ 에서 3개 출력, $0.30$·$0.35$ 에서 2개, $0.40$ 에서 1개가 필요하며 출력 하나일 때 여백은 $0.3695$ 입니다. 제약 생성과 독립적인 2-라벨 실현 가능성 정식화가 7개 점 모두에서 수치 허용 오차($10^{-9}$) 안에서 일치합니다. 이 계산은 SAE 를 학습하지 않고 정책 텍스트를 추가 자유 입력으로 주지도 않습니다. 옛 Qwen 42-상태 곡선은 행렬이 남아 있지 않아 부록에만 두었습니다.
💡 Key Takeaway 세 전략이면 원리적으로 2비트에 들어가지만, 실제 사람 손실 행렬에서 regret 을 0.20 이하로 묶으려면 3개 출력이 필요했습니다. 그리고 선택된 SAE 비트 2개는 그 3-라벨 분할을 실현하지 못했습니다.
관련 연구 속 위치
🔗 1. 결정 충분성과 과제 지향 압축
Blackwell 비교는 모든 결정 문제에 걸친 달성 가능한 Bayes 위험으로 실험(experiment)을 순서 짓고, Le Cam 결핍(deficiency)은 근사적 비교를 정량화합니다. 정보 병목(information bottleneck)은 압축과 목표 정보를 맞바꾸며, usable information 은 디코더 가족을 추가로 제한합니다. 이 논문은 모든 결정 문제에 걸쳐 채널을 비교하는 대신 고정된 전략 라이브러리와 감사 분포에 대해 손실 의존 위험을 비교하고, 유한 인터페이스의 최적값으로 정보 손실과 규칙 제한을 분리합니다.
🗺️ 2. 상태 추상화와 폐루프 정보 상태
MDP 의 상태 추상화(bisimulation 등), 학습된 제어 표현, belief state 와 predictive state representation, approximate information state, options 가 선행 연구입니다. 이 논문은 새 정보 상태를 구성하지 않고 전체 감사 상태와 전략 라이브러리를 입력으로 받아 추가 관측 채널을 감사합니다.
🧮 3. 집합값 결정과 고차 호환성
reject-option 분류와 집합값 예측은 입력마다 예측을 제약합니다. 이 논문의 균일 호환성 기준은 결정적 셀의 모든 상태에서 하나의 전략 분포가 regret 허용치를 만족할 것을 요구합니다. Helly 정리·Sion 미니맥스·약한 하이퍼그래프 채색이라는 고전 결과를 유한 인터페이스의 정확 위험과 용량에 연결합니다. 각 상태에 유일한 순수 최적 전략이 있고 허용치가 두 번째 최선 regret 여백의 절반보다 작으면 최적 행동별 그룹화로 충분하며 (Proposition B.2), 그 밖에서는 쌍 충돌 그래프가 결합 호환성을 기술하지 못합니다.
🧠 4. SAE 인터페이스와 잠재 안전 제어
희소 코딩·SAE·중첩(superposition)·사전 피처·SAE 스케일링·공개 사전·개념 기하 연구와 달리, 이 논문의 목표는 선택된 지원 코드 또는 좌표 집합의 결정 정보이지 전체 사전으로부터의 재구성이 아닙니다. 안전 RL 의 제약 정책·shield·안전 필터, 잠재 지식 추출·조향 연구와는 보완적입니다. 하류 규칙을 고르기 전에 지정된 인터페이스를 감사하며, 같은 유한 손실 표에서 양의 격차는 규칙 변경만으로는 없앨 수 없습니다.
💡 Key Takeaway 이 논문은 새 SAE 나 새 모니터를 제안하지 않습니다. 대신 “어떤 모니터·조향 규칙이든 그 입력이 결정에 충분한가”를 먼저 묻는 감사 도구를 제공하는 위치에 있습니다.
논의와 한계
🔍 1. 위험 비교가 식별하는 것
고정된 손실과 전략에서 양의 $\Delta_{\mathrm{info}}$ 는 컨트롤러만 바꿔서는 전체 상태 최적에 닿을 수 없음을 배제합니다. $\Delta_{\mathrm{access}}$ 는 규칙 가족이 넓어지면 줄 수 있고, $\Delta_{\mathrm{train}}$ 은 더 나은 추정·최적화로 줄 수 있지만 데이터만 늘린다고 매 실행에서 줄지는 않습니다. 이들은 지정된 최적값의 비교이지 배포 성능 저하의 모든 원인을 식별하는 것이 아닙니다.
🔢 2. 비트 수가 아니라 인코딩이 문제
전략이 셋이면 제약 없는 인코더는 최적 행동 인덱스를 3개 라벨(2비트)로 전송할 수 있습니다. 선택된 SAE 지표의 양의 격차는 “모든 피처 쌍이 실패한다”거나 “2비트가 본질적으로 부족하다”는 뜻이 아니라, 선택된 분할의 실패를 식별합니다. 전체 상태와 최종 지표를 직접 비교하는 것만으로는 구별이 모델 활성·SAE 인코딩·좌표 선택·임계화 중 어디서 사라졌는지 알 수 없으며, 그 단계들은 별도 비교가 필요합니다.
⚠️ 3. 실험이 뒷받침하는 것과 그렇지 않은 것
| 뒷받침됨 | 뒷받침되지 않음 |
|---|---|
| 정책 텍스트 제공이 관측된 격차를 없애지 못함 | 자동 점수와 사람 점수의 교환 가능성 |
| 시험한 SmolLM2 설정에서 사람·자동 손실의 격차 부호 일치 | 개별 점수·최적 행동 집합의 일치 (자주 다름) |
| 통제 예제에서 쌍 검사의 실패 가능성 | 자연어에서 그 실패의 빈도 (재현 실패, 추정 없음) |
| 시험한 모델·인코더·정책 분포 구성 | 모든 모델·인코더·정책 분포로의 일반화 |
모델군마다 생성·채점 프로토콜이 다르고, SmolLM2·Phi 의 SAE 쌍은 초기화와 학습 순서만 다릅니다. 사람 평가는 SmolLM2 뿐이고 Phi 는 정책 수집을 재사용합니다. 원본 사람 표본은 적합 영역을 포함하는 반면 잠금 수집은 정책 영역별로 홀드아웃되어 있습니다.
📊 4. 고정 표로부터 추론의 한계
- 경험적 최솟값은 기록된 응답 점수를 쓰며 미래 응답의 미지 손실이 아닙니다.
- 잡음 점수의 최솟값을 취하면 개별 점수가 비편향이어도 겉보기 격차가 변할 수 있습니다.
- 정책 영역 재표집은 기록된 표에 대한 가중치 변화를 측정할 뿐 생성·심판 오차를 통제하지 않습니다.
- 서로 다른 평가 코드에서 격차 0 은 제한 없는 조회의 결과일 수 있고 미지 입력에 대한 보장이 아닙니다.
- Qwen2.5-1.5B 의 정책 제공 결과는 반올림된 노트북 요약에서 복원된 것이며 전체 정밀도 배열과 42-상태 행렬은 남아 있지 않습니다.
- 실험 코드와 캐시는 arXiv 소스에 포함되지 않고 저자 작업 아카이브에 있습니다.
🧭 5. 의도된 사용과 오용 (Appendix M.7)
의도된 용도는 진단입니다. 안전 모니터·조향 규칙·하류 컨트롤러를 신뢰하기 전에 표현을 시험하고, 정보 손실을 규칙·학습 손실과 분리해 실패하는 모듈로 공학적 노력을 돌리며, 작은 충돌 증인으로 실패를 검사·문서화·재현하기 쉽게 하는 것입니다. 반면 같은 분석이 배포 보장으로 오인될 위험이 있습니다. 모든 결과는 감사 상태·정책 명세·전략 라이브러리·손실·인터페이스·모델·표집 프로토콜에 조건부이며, 한 감사를 통과한 표현이 다른 분포에서 실패할 수 있고, 유한 지원 인터페이스의 실패가 전체 연속 은닉 상태의 실패를 뜻하지도 않습니다.
💡 Key Takeaway 이 논문의 결론은 범위가 좁고 그만큼 단단합니다. “이 응답과 이 손실 표 위에서, 선택된 피처 2개는 정책을 줘도 결정에 충분하지 않다”는 것이며, 그 격차는 입력을 바꿔야만 닫힙니다. 어디서 정보가 사라졌는지(활성·SAE·선택·임계화)를 단계별로 분리하는 것이 다음 질문입니다.