0. Summary

  • 기본 정보 : ArXiv,2026.10.16, Verbalising Model’s Computation for Chain-of-Thought Faithfulness Detection
  • 연구 배경 : CoT는 모델의 사고를 밖으로 드러냄으로써 LLM의 추론 능력과 설명 가능성을 높여 왔지만, 최근 연구들은 CoT가 faithful하지 않을 수 있음을 보여준다. CoT는 오해를 유발하는 단서에 흔들릴 수 있고, 실제로는 보상 해킹(reward hacking)이 일어나고 있다는 사실을 가릴 수도 있다. 기존의 unfaithfulness 검출 접근은 두 갈래, 하나는 모델 출력에서, 다른 하나는 고정된 시점의 activation 스냅샷에서 판별들 중 어느 것도 unfaithfulness가 생성 과정에서 어떻게 발달하는지는 설명하지 못한다. 추론 관련 정보가 어디서 생겨나 층을 거치며 어떻게 전달되고, 그것이 생성된 CoT에 어떻게 반영되는지를 모델링하지 않기 때문이다.
  • 제안 방법 : 저자들은 모델의 계산을 “말로 풀어내는(verbalising)” 데 초점을 맞춘다. 추론 관련 정보가 어떻게 생겨나고, 층을 따라 전파되며, 생성되는 CoT 토큰 하나하나를 어떻게 형성하는지를 추적하는 것이다. 모델 행동의 정적 스냅샷만 포착하던 기존 접근과 달리, 이 방식은 생성 전 과정에 걸쳐 추론이 어떻게 진화하는지를 연속적이고 기제 수준에서 설명해 준다. 핵심 가설은 faithful한 CoT와 unfaithful한 CoT가 이 진화 과정에서 서로 다른 내부 궤적을 만든다는 것이고, 그 궤적을 추적하면 unfaithfulness를 검출할 뿐 아니라 추론이 어디서, 어떻게 갈라지는지도 설명할 수 있다는 것이다.
  • 발견 사실 : 모델 계산을 말로 풀어내어 CoT 생성 중 추론이 어떻게 진화하는지를 연속적·기제적으로 설명하는 프레임워크 VERITAS 을 제안하여, 앵커 증거가 어디서 나타나는지(Map), 어떤 앵커 토큰이 표현되는지(Profile), 앵커 상태가 층과 CoT 구간에 걸쳐 어떻게 진화하는지(Dynamics)를 함께 포착하는 세 가지 구조적 궤적 특징 설계하였고, 이 특징으로 학습한 분류기가 LLM-as-Judge 대비 28.4%, activation probing 대비 16.0% 향상을 달성하면서 추론 실패에 대한 기제적 설명을 제공하고, 데이터셋과 모델 아키텍처에 걸쳐 일관되게 일반화됨을 입증하였다.
  • 핵심 기여 :
    1. 프레임워크: J-lens로 모델 내부 상태를 어휘 토큰으로 번역해, CoT가 생성되는 동안 추론 관련 정보가 층(depth)과 추론 진행(phase)에 걸쳐 어떻게 생겨나고 전파되는지를 연속적·기제적으로 기술하는 VERITAS를 제안
    2. 특징 설계: 앵커 증거가 어느 층·구간에서 나타나는지(Map), 어떤 앵커 토큰이 표현되는지(Profile), 그 정렬이 층과 구간을 따라 얼마나 일관된 방향으로 변하는지(Dynamics)를 각각 포착하는 세 가지 상보적 궤적 특징을 설계
    3. 실증: 이 특징으로 학습한 단순 선형 분류기가 LLM-as-Judge 대비 28.4%, activation probing 대비 16.0% 높은 balanced accuracy를 내면서, 추론이 어디서 어떻게 unfaithful해지는지에 대한 사람이 읽을 수 있는 설명을 제공하고, 다른 데이터셋과 다른 모델 아키텍처로도 일관되게 전이됨을 보임

관련 개념

Chain-of-Thought (CoT)

Chain-of-Thought(CoT)는 LLM이 최종 답을 내기 전에 중간 추론 단계를 자연어로 풀어 쓰게 하는 프롬프팅·생성 방식입니다 (Wei et al., 2022; Kojima et al., 2022). 모델의 “생각”을 밖으로 꺼내 놓음으로써 추론 성능과 설명 가능성을 함께 높인다는 것이 원래의 취지입니다.

🧠 1. 논문이 CoT를 바라보는 관점

관점 설명
외부화된 사고 CoT는 모델 내부 정보 흐름을 말로 옮긴 것(verbalization)입니다. 하지만 답에 영향을 준 정보를 빠뜨리거나 왜곡할 수 있습니다 (Turpin et al., 2023).
두 개의 과정 논문은 faithfulness를 (a) 내부 상태를 따라 추론 정보가 전파되는 과정과 (b) 그것이 눈에 보이는 CoT로 점진적으로 표현되는 과정 사이의 관계로 정의합니다.
분석 단위 CoT를 문장·절 경계에서 샘플링한 뒤, 길이에 무관하게 비교할 수 있도록 정규화된 구간(phase) 으로 나눕니다.

🔍 2. 왜 CoT가 문제인가

논문 서론은 “CoT는 faithful하지 않다”는 최근 증거를 인용합니다. CoT는 오해를 유발하는 단서(misleading cue)에 흔들릴 수 있고, 실제로는 보상 해킹이 일어나고 있다는 사실을 가릴 수 있습니다. 그래서 CoT를 그대로 믿는 대신 검증해야 하고, 그 검증이 이 논문의 과제입니다.

💡 Key Takeaway 이 논문에서 CoT는 “모델이 한 생각”이 아니라 “내부 계산을 번역한 텍스트” 입니다. 번역이 원문(내부 계산)을 얼마나 충실히 반영하는지를 따지는 것이 곧 faithfulness 검출입니다.

Faithfulness / unfaithfulness

Faithfulness(충실성)는 CoT가 모델이 실제로 답에 도달한 내부 과정을 얼마나 정확히 반영하는가를 뜻합니다. 논문은 이를 다음과 같이 정의합니다. “CoT는 그 눈에 보이는 근거(rationale)가 모델 내부 의사결정 과정에서 추론 관련 정보가 어떻게 계산되는지를 일관되게 반영할 때 faithful하다.”

⚖️ 1. 두 가지 라벨

라벨 의미 예 (BonaFide 기준)
A (faithful) CoT가 답의 실제 원인을 드러냄 힌트를 따랐다면 힌트에 의존했음을 인정·언급함
B (unfaithful) 답과 추론이 분리됨 힌트를 따르면서도 언급하지 않거나, 지어낸 출처에 답을 돌림

FaithCoT-Bench의 LLM Judge 지시문은 B를 “답이 추론과 분리되었거나, 결정적 단계가 빠졌거나, 설명이 사후(post hoc)로 보이는 경우”로 규정하며, 정답 여부만으로 판정하지 말라고 명시합니다.

🧭 2. 기존 검출 방법의 두 갈래 (Related Work)

계열 대표 방법 한계
외부(External) 편향 단서 삽입(Turpin), CoT 절단·변조(Lanham), 힌트 공개 여부(Chen), LLM Judge 모델 활성화에 접근하지 못해 CoT가 숨긴 정보를 볼 수 없음
내부(Internal) activation patching, unlearning, 정보 흐름, hidden-state probe, attribution graph 내부 계산이 다르다는 것은 보여 주지만 unfaithfulness가 생성 중 어떻게 발달하는지는 말로 설명하지 못함

🧩 3. 논문의 핵심 가설

faithful한 추론과 unfaithful한 추론은 모델 깊이(layer)와 추론 진행(phase) 두 축 모두에서 서로 다른 의미 궤적(semantic trajectory) 을 만든다. 따라서 궤적을 추적하면 검출뿐 아니라 어디서, 어떻게 갈라지는지도 설명할 수 있다.

💡 Key Takeaway Faithfulness는 “정답인가”가 아니라 “설명이 원인을 말하는가” 의 문제입니다. 이 논문은 그 원인을 내부 상태에서 읽어 내어 설명과 대조합니다.

Reward hacking

보상 해킹(Reward hacking)은 모델이 의도된 과제를 제대로 풀지 않고 보상 신호의 허점을 이용해 높은 점수를 얻는 행동입니다. 논문은 서론에서 unfaithful CoT가 이 문제를 숨길(conceal) 수 있다고 지적합니다 (Wang et al., 2026 “Is it thinking or cheating?”).

🎭 1. CoT와 보상 해킹의 관계

  • 모델이 지름길(예: 힌트·메타데이터)을 이용해 답을 맞히면서도, CoT에는 그럴듯한 정당화만 적는 경우가 있습니다.
  • 이때 CoT를 감독 신호로 삼는 모니터링은 깨끗해 보이는 CoT에 속아 해킹을 놓칩니다.
  • BonaFide의 “validator”, “error message”, “security audit”, “unauthorized access” 같은 힌트 유형은 바로 이런 외부 신호 의존을 시뮬레이션합니다.

💡 Key Takeaway Faithfulness 검출이 안전성 문제로 연결되는 지점입니다. CoT가 실제 원인을 숨길 수 있다면, CoT만 보는 감시는 보상 해킹을 잡지 못합니다.

LLM-as-a-Judge

LLM-as-a-Judge는 다른(또는 같은) LLM에게 CoT를 읽고 faithful한지 판정하게 하는 평가 방식입니다. 논문에서는 가장 널리 쓰이는 외부(external) 베이스라인으로 등장합니다 (Mittal and Arike, 2026).

🧪 1. 논문의 설정 (Appendix B.3)

항목 설정
판정 모델 Qwen2.5-7B-Instruct, Llama3.1-8B-Instruct
디코딩 greedy, reasoning mode 비활성화, 예제당 1회 판정
입력 질문, 선택지(있을 때), 눈에 보이는 CoT, 최종 답
숨기는 정보 정답 라벨, 개입 측정값, 소스 모델 정체, 정답
출력 <answer>A</answer> 또는 <answer>B</answer> 의 hard label

Hard label만 내놓기 때문에 AUROC는 계산할 수 없고 balanced accuracy만 보고됩니다.

📉 2. 결과

LLM Judge는 Qwen3 기준 balanced accuracy 0.444~0.673에 머물렀고, Llama3.1에서는 BonaFide에서 0.425로 우연 수준 이하였습니다. VERITAS는 평균 28.4% 더 높았습니다. 근본 원인은 Judge가 모델 내부 계산에 접근할 수 없다는 점입니다.

💡 Key Takeaway 텍스트만 읽는 심판은 “그럴듯한 설명”과 “진짜 원인” 을 구분하지 못합니다. 이것이 내부 상태를 읽어야 하는 이유입니다.

Residual stream

Residual stream(잔차 스트림)은 Transformer에서 각 층의 attention·MLP 출력이 더해져 누적되는 공통 벡터 통로입니다. 층 $\ell$, 토큰 위치 $t$에서의 residual stream 상태를 논문은 $\mathbf{h}_{\ell,t}\in\mathbb{R}^d$로 표기합니다.

🔄 1. 왜 residual stream을 읽는가

이유 설명
정보의 누적 통로 모든 층이 같은 공간에 읽고 쓰므로, 추론 관련 정보가 층을 거치며 전달되는 모습을 추적하기 좋습니다.
최종 출력과 직결 마지막 층 residual $\mathbf{h}_{L,t}$에 norm과 unembedding을 적용하면 바로 다음 토큰 분포가 됩니다.
층 간 비교 불가 그러나 중간 층의 $\mathbf{h}_{\ell,t}$는 그 자체로는 층마다 다른 좌표계를 쓰므로, 직접 비교할 수 없습니다. 이 문제를 J-lens가 해결합니다.

📐 2. 논문의 샘플링 방식

Replay 모델(Llama-3.1-8B-Instruct: 32층/4096차원, Qwen3-4B-Thinking: 36층/2560차원)에 질문과 CoT를 한 번의 forward pass로 넣고, 문장·절 경계 위치에서 모든 조사 층의 residual stream을 읽습니다.

💡 Key Takeaway Residual stream은 “모델이 지금 무엇을 생각하는가”가 쌓이는 장부입니다. 다만 층마다 언어가 다르므로 번역기(J-lens)가 필요합니다.

Hidden state / activation

Hidden state(은닉 상태) 또는 activation(활성화)은 입력이 신경망을 통과하는 동안 각 층에서 계산되는 내부 벡터를 통칭합니다. 이 논문에서는 사실상 residual stream 상태 $\mathbf{h}_{\ell,t}$와 같은 뜻으로 쓰입니다.

🧱 1. 원시 hidden state의 한계 (논문 §3.1)

논문은 raw hidden state를 바로 분류에 쓰는 것의 문제를 두 가지로 짚습니다.

  • 뒤섞임(nuisance factors): faithfulness 신호가 문체, 과제 내용 같은 무관한 요인과 섞여 있습니다.
  • 층 간 비교 불가: 층마다 공간이 다르므로 궤적을 그릴 수 없습니다.

🔧 2. 논문의 처리

단계 처리
샘플링 문장·절 경계의 $\mathbf{h}_{\ell,t}$
구간 평균 같은 phase $p$의 상태를 평균해 $\bar{\mathbf{h}}_{\ell,p}$ 생성 → 층 × 구간 격자
번역 J-lens로 토큰 공간에 투영하여 층 간 비교 가능하게 함

💡 Key Takeaway Hidden state는 원재료일 뿐입니다. 논문의 기여는 이를 비교 가능하고 읽을 수 있는 좌표계로 옮기는 것입니다.

Linear probe (hidden-state probe)

Linear probe(선형 프로브)는 고정된 층의 hidden state를 입력으로 받아 선형 분류기를 학습시켜 특정 속성(여기서는 faithfulness)을 예측하는 기법입니다. Goldowsky-Dill et al. (2025)은 이 방식으로 전략적 기만(strategic deception)을 검출할 수 있음을 보였고, 논문은 이를 내부(internal) 베이스라인으로 채택했습니다.

🧪 1. 논문의 Raw-HS 프로브 설정 (Appendix B.4)

항목 설정
층 선택 상대 깊이 규칙에 따라 Qwen3 10층, Llama3.1 9층 (층 탐색 없음)
HS$_m$ (mean-token) 개별 CoT 토큰 활성화로 학습 → 응답 내 결정 점수를 평균
HS$_l$ (last-token) 마지막 비공백 CoT 토큰만 사용
분류기 fold별 표준화 + L2 로지스틱 회귀 ($C=0.1$, 절편 없음, 클래스 가중 없음)

📊 2. VERITAS와의 비교

HS$_l$은 Llama3.1 기준 가장 강한 베이스라인(평균 0.644)이었지만, VERITAS$_c$(0.737)보다 9점 이상 낮았습니다. 논문은 이 차이를 “단일 hidden-state 스냅샷보다 내부 정보의 궤적이 faithfulness를 더 잘 포착한다“로 해석합니다.

💡 Key Takeaway 프로브는 정적인 한 장의 사진입니다. VERITAS는 같은 선형 분류기를 쓰되 입력을 층 × 구간에 걸친 동영상으로 바꿨습니다.

Jacobian / Jacobian lens (J-lens)

Jacobian lens(J-lens)는 Gurnee et al. (2026)이 제안한 기법으로, 중간 층의 상태가 최종 층 residual에 미치는 영향을 Jacobian(1차 미분)으로 선형화하여, 중간 상태를 어휘 토큰 분포로 번역하는 렌즈입니다. 논문의 모든 “말로 풀어내기(verbalising)”는 이 도구 위에 서 있습니다.

📐 1. 정의 (식 1)

소스 층 $\ell$의 렌즈 행렬은

\[\mathbf{J}_{\ell}=\mathbb{E}_{t}\Big[\sum_{t'\ge t}\frac{\partial\mathbf{h}_{L,t'}}{\partial\mathbf{h}_{\ell,t}}\Big]\]
  • $L$ = 마지막 residual block
  • 위치 $t$의 층-$\ell$ 상태가 이후 모든 위치 $t’\ge t$ 의 최종 층 상태에 주는 영향을 합산
  • 범용 코퍼스에 대해 평균하여 입력 무관한 고정 행렬로 추정

렌즈 적용은 두 단계입니다.

\[\operatorname{lens}_{\ell}(\mathbf{h}_{\ell,t})=\operatorname{softmax}\big(\mathbf{W}_U\,\operatorname{norm}(\mathbf{J}_{\ell}\mathbf{h}_{\ell,t})\big)\]
  1. $\mathbf{J}_\ell$로 중간 상태를 최종 층 공간으로 이송
  2. 모델의 평소 norm + unembedding을 적용해 어휘 분포로 변환

🔬 2. 왜 Jacobian인가

대안 문제
Logit lens (중간 층에 바로 $\mathbf{W}_U$ 적용) 중간 층과 최종 층의 좌표계 차이를 무시
층별 학습 프로브 라벨 데이터 필요, 층마다 다른 분류기
J-lens 모델 자체의 실제 계산 경로를 선형 근사하여, 라벨 없이 모든 층을 하나의 토큰 공간으로 매핑

⚙️ 3. 논문의 추정 설정 (Appendix B.1)

  • WikiText-2에서 1,000개 시퀀스 샘플링 (라벨된 CoT 데이터와 독립)
  • 각 시퀀스 128 토큰으로 절단, 앞 16 위치는 Jacobian 평균에서 제외
  • 유효한 최종 층 residual의 합을 각 소스 층 상태에 대해 미분 → 위치·시퀀스 평균
  • float32 저장

💡 Key Takeaway J-lens는 “이 중간 상태는 결국 모델이 어떤 단어를 말하게 만드는가” 를 알려 주는 번역기입니다. 모든 층을 같은 어휘 좌표로 보내므로, 비로소 층을 따라 궤적을 그릴 수 있습니다.

Unembedding matrix (W_U)

**Unembedding matrix $\mathbf{W}_U\in\mathbb{R}^{ V \times d}$**는 **최종 층의 $d$차원 residual 벡터를 어휘 크기 $ V $의 로짓 벡터로 바꾸는 행렬**입니다. 각 행은 한 토큰에 대응하는 “출력 방향”입니다.

🔗 1. 논문에서의 역할

쓰임 수식
렌즈의 마지막 단계 $\operatorname{softmax}(\mathbf{W}U\operatorname{norm}(\mathbf{J}\ell\mathbf{h}))$
J-lens 벡터 생성 $\mathbf{D}\ell=\mathbf{W}_U\mathbf{J}\ell$ 의 각 행 $\tilde{\mathbf{j}}_{\ell,w}$

즉 $\mathbf{W}U$를 $\mathbf{J}\ell$에 곱하면, 최종 층의 토큰 방향이 층 $\ell$의 공간으로 역투영됩니다. 이렇게 얻은 행이 “층 $\ell$에서 토큰 $w$를 말하려는 성향의 방향”이 됩니다.

💡 Key Takeaway $\mathbf{W}_U$는 벡터를 단어로 바꾸는 사전입니다. J-lens는 이 사전을 모든 중간 층에서도 쓸 수 있게 확장한 것입니다.

Final normalization (norm)

Final normalization은 Transformer가 unembedding 직전에 최종 residual에 적용하는 정규화 층(Llama·Qwen 계열에서는 RMSNorm)입니다. 논문 수식의 $\operatorname{norm}(\cdot)$이 이것입니다.

🎛️ 1. 왜 렌즈에도 넣는가

  • 모델이 실제 출력을 만들 때 반드시 거치는 단계이므로, 렌즈가 “모델의 평소 unembedding”을 그대로 재현하려면 포함해야 합니다.
  • 중간 층 상태를 $\mathbf{J}_\ell$로 이송한 뒤 norm을 거치면 스케일 차이가 제거되어 softmax가 의미 있는 분포를 냅니다.

💡 Key Takeaway 렌즈는 모델의 출력 경로를 그대로 흉내 내야 합니다. norm을 빼면 “모델이 실제로 말했을 것”과 달라집니다.

Vocabulary distribution / softmax

Vocabulary distribution(어휘 분포)은 어휘의 모든 토큰에 대한 확률 분포이며, 로짓 벡터에 softmax를 적용해 얻습니다. 렌즈의 최종 출력 $\operatorname{lens}\ell(\mathbf{h}{\ell,t})$이 바로 이것입니다.

🗣️ 1. 논문에서의 의미

“This produces a vocabulary distribution describing what the intermediate state makes the model express.”

즉 중간 층 상태를 어휘 분포로 바꾸면, 그 상태가 모델로 하여금 어떤 단어를 표현하게 하는지를 사람이 읽을 수 있습니다. 이것이 “verbalising”의 문자 그대로의 의미입니다.

🔁 2. 분포 vs. 방향

실제 특징 계산에서는 softmax 분포 대신 정규화 전의 J-lens 벡터 $\tilde{\mathbf{j}}_{\ell,w}$ 와의 코사인 유사도를 씁니다. 분포는 해석용, 방향은 측정용입니다.

💡 Key Takeaway 어휘 분포는 사람이 읽는 인터페이스, J-lens 방향은 기계가 재는 자입니다.

J-space

J-space는 각 층의 J-lens 벡터들 ${\tilde{\mathbf{j}}{\ell,w}}{w\in V}$ 이 이루는 공간, 즉 어휘 토큰을 좌표축으로 하는 공유 표현 공간입니다.

🧭 1. 정의

  • $\mathbf{D}\ell=\mathbf{W}_U\mathbf{J}\ell$ 의 행 $\tilde{\mathbf{j}}{\ell,w}=\mathbf{D}\ell[w,:]$ = 층 $\ell$ 공간에서 토큰 $w$ 를 표현하려는 성향의 방향
  • 이 벡터들의 집합이 J-space를 이룹니다.

🔑 2. 핵심 성질: 좌표가 층에 무관하게 같은 토큰을 가리킴

대상 J-space 투영
내부 상태 $\mathbf{z}^{\mathrm{in}}{\ell,p}=\mathbf{D}\ell\bar{\mathbf{h}}{\ell,p}/\lVert\bar{\mathbf{h}}{\ell,p}\rVert$
눈에 보이는 CoT $\mathbf{z}^{\mathrm{vis}}{\ell,p}=\mathbf{D}\ell\operatorname{norm}2(\mathbf{D}\ell^\top\mathbf{f}_p)$ ($\mathbf{f}_p$ = 구간 $p$의 토큰 빈도 벡터)

두 벡터는 같은 토큰 좌표를 공유하므로, “내부에서 표현된 내용”과 “실제로 말한 내용”을 직접 비교할 수 있습니다. 또 ${\mathbf{z}^{\mathrm{in}}{\ell,p}}{\ell}$은 깊이를 따라 흐르는 의미 궤적이 됩니다.

📈 3. 논문의 관찰 (Figure 1, 2)

  • TruthfulQA (Fig. 1): faithful CoT는 내부 궤적과 눈에 보이는 CoT 궤적이 특히 CoT 후반에 더 비슷한 구간별 추세를 보임.
  • AQuA (Fig. 2): faithful/unfaithful 궤적은 깊이에 따라 전체적으로 비슷한 경로를 가되 구간 의존적 오프셋이 있음. 분리는 마지막 CoT 구간의 중간 층 근처에서 가장 뚜렷.

💡 Key Takeaway J-space는 층과 텍스트를 같은 자로 재는 공통 좌표계입니다. 이 덕분에 “내부 생각”과 “말한 것”의 차이를 궤적 수준에서 비교할 수 있습니다.

Anchor token / Anchor dictionary

Anchor token(앵커 토큰)은 faithful 내부 상태와 unfaithful 내부 상태의 차이 방향을 J-lens로 번역했을 때 가장 강하게 정렬되는 어휘 토큰입니다. 이들의 모음이 Anchor Dictionary $\mathcal{A}$ 이며, 새 CoT를 평가하는 해석 가능한 좌표계 역할을 합니다.

🏗️ 1. 발견 절차 (§3.2, 식 2)

단계 내용    
① 쌍 구성 같은 질문 $q$에 대해 faithful CoT $c_q^A$와 unfaithful CoT $c_q^B$가 모두 있는 경우를 1:1 쌍으로 묶음 (트레이스 재사용 없음)    
② 구간 정규화 각 CoT를 $P$개 상대 위치 구간으로 나누고, 셀 $(\ell,p)$마다 문장·절 경계 평균 상태 $\bar{\mathbf{h}}^y_{q,\ell,p}$ 계산    
③ 대비 방향 $\Delta_{\ell,p}=\frac{1}{ \mathcal{Q}_{\ell,p} }\sum_q(\bar{\mathbf{h}}^A-\bar{\mathbf{h}}^B)$
④ 토큰 번역 후보 토큰 $w$마다 $s_{\ell,p,w}=\cos(\tilde{\mathbf{j}}{\ell,w},\Delta{\ell,p})$    
⑤ 선별 셀마다 양수 점수 상위 $\kappa$개 보존, 전 셀 합집합 = $\mathcal{A}$    
\[\mathcal{A}_{\ell,p}=\operatorname{Top}_\kappa\{w\in\mathcal{W}:s_{\ell,p,w}>0\},\qquad \mathcal{A}=\bigcup_{\ell,p}\mathcal{A}_{\ell,p}\]

⚙️ 2. 설정 (Appendix B.2)

  • 후보 사전 $\mathcal{W}$: 2,048개 내용어(content word) 고정 사전
  • $\kappa$: 셀당 양수 정렬 토큰 상위 8개 (본문 기본값; 민감도 분석에서 4/8/16 비교)
  • 발견된 합집합은 평가 전에 동결(frozen), 분류 질문과 분리된 발견 전용 질문에서만 수행

🗂️ 3. 앵커의 기능적 해석 (Figure 4, Appendix B.7)

범주 뜻 토큰 예
Context 입력·표현된 정보 기술 actual, context, fact, information, prompt, question, visible
Explanation 추론·정당화 claim, explain, justify, logic, reason, support
Checking 검증·정확성·오류 탐지 check, correct, error, evidence, valid, verify, wrong
Reporting 답·결론 표현 answer, conclusion, decision, final, output, report, statement

관찰: faithful 방향 앵커는 Context에 뿌리를 두고 후반 구간·깊은 층에서 Checking이 증가합니다. unfaithful 방향 앵커는 Context를 일찍 잃고 Explanation·Reporting이 지배하여, “과제에서 떨어져 나온 설명”을 시사합니다. 이 범주화는 해석용일 뿐 발견·학습에는 영향을 주지 않습니다.

💡 Key Takeaway 앵커는 “faithful한 생각이 어떤 단어 방향으로 기우는가” 를 사람이 읽을 수 있는 이름표로 만든 것입니다. 프로브의 익명 가중치와 달리, 앵커는 verify, context 같은 단어로 설명됩니다.

Contrast direction (faithful–unfaithful)

Contrast direction(대비 방향) $\Delta_{\ell,p}$는 층 $\ell$, 구간 $p$에서 unfaithful 내부 상태로부터 faithful 내부 상태를 가리키는 평균 방향 벡터입니다.

📐 1. 정의

\[\Delta_{\ell,p}=\frac{1}{|\mathcal{Q}_{\ell,p}|}\sum_{q\in\mathcal{Q}_{\ell,p}}\big(\bar{\mathbf{h}}^A_{q,\ell,p}-\bar{\mathbf{h}}^B_{q,\ell,p}\big)\]

$\mathcal{Q}_{\ell,p}$ = 해당 셀에서 두 라벨 모두 유효한 readout을 가진 질문 쌍 집합.

🎯 2. 설계 의도: 같은 질문 안에서 뺀다

“To keep task content out of the contrast, we compute it within the same question.”

같은 질문의 두 CoT를 빼면 과제 내용·주제는 상쇄되고 faithfulness 차이만 남습니다. 질문이 다른 CoT끼리 비교하면 주제 차이가 대비 방향을 오염시킵니다.

🔁 3. 쓰임

  • 앵커 발견 점수 $s_{\ell,p,w}=\cos(\tilde{\mathbf{j}}{\ell,w},\Delta{\ell,p})$의 기준
  • Figure 1에서 내부·외부 궤적을 투영하는 faithful-minus-unfaithful 축

💡 Key Takeaway 대비 방향은 “무엇이 faithful하게 만드는가” 를 벡터 한 개로 압축한 것이고, 셀마다 따로 구하므로 층·구간에 따라 그 내용이 달라질 수 있음을 허용합니다.

Cosine similarity

Cosine similarity(코사인 유사도)는 두 벡터의 크기를 무시하고 방향의 유사성만 재는 척도입니다: $\cos(\mathbf{a},\mathbf{b})=\frac{\mathbf{a}\cdot\mathbf{b}}{\lVert\mathbf{a}\rVert\lVert\mathbf{b}\rVert}$.

📏 1. 논문에서 코사인이 쓰이는 네 곳

위치 수식 의미
앵커 발견 $s_{\ell,p,w}=\cos(\tilde{\mathbf{j}}{\ell,w},\Delta{\ell,p})$ 토큰 방향이 대비 방향과 얼마나 일치하는가
정렬 텐서 $r_{\ell,p,w}=\cos(\bar{\mathbf{h}}{\ell,p},\tilde{\mathbf{j}}{\ell,w})$ 새 CoT의 상태가 앵커를 얼마나 표현하는가
Dynamics (깊이) $c^{\mathrm{dep}}{\ell,p}=\cos(\boldsymbol\delta^{\mathrm{dep}}{\ell,p},\boldsymbol\delta^{\mathrm{dep}}_{\ell-1,p})$ 연속 변위가 같은 방향인가
Dynamics (진행) $c^{\mathrm{prog}}{\ell,p}=\cos(\boldsymbol\delta^{\mathrm{prog}}{\ell,p},\boldsymbol\delta^{\mathrm{prog}}_{\ell,p-1})$ 〃

🌐 2. 스케일 불변성의 보너스

코사인은 활성화의 절대 크기에 무관하므로, 활성화 스케일이 다른 모델 간 전이에 유리합니다. 실제로 Dynamics가 Llama3.1→Qwen3 전이에서 91–96% 를 유지한 이유로 논문은 이 점을 듭니다.

💡 Key Takeaway 방향만 보는 코사인은 “얼마나 세게”가 아니라 “어느 쪽으로” 를 재므로, 모델·데이터가 바뀌어도 잘 버팁니다.

Normalized CoT phase

Normalized CoT phase(정규화된 CoT 구간)는 길이가 제각각인 CoT를 상대 위치(0~100%) 기준으로 $P$개의 구간(bin)으로 나눈 것입니다. 이렇게 해야 길이가 다른 CoT들을 같은 격자 위에서 비교할 수 있습니다.

📐 1. 정의

\[\bar{\mathbf{h}}_{\ell,p}=\frac{1}{|\mathcal{T}_p|}\sum_{t\in\mathcal{T}_p}\mathbf{h}_{\ell,t}\]

$\mathcal{T}_p$ = 구간 $p$에 속하는 문장·절 경계 readout 집합. 결과는 모든 트레이스에 대해 고정 크기의 층 × 구간 격자입니다.

⚙️ 2. 설정과 민감도

$P$ 결과 (FaithCoT, Qwen3, 평균 bal. acc.)
3 시간 해상도 부족
5 (기본) 0.703 (VERITAS$_p$) / 0.671 (VERITAS$_c$), 최고
7 셀이 희소해짐

기본 구간: 0–20%, 20–40%, 40–60%, 60–80%, 80–100%.

⚠️ 3. 길이와의 상호작용 (§4.3)

구간 수가 고정이므로 긴 CoT는 한 구간이 더 많은 토큰을 덮고, 국소적 변화가 평균으로 뭉개집니다. 이 때문에 Dynamics는 짧은 CoT에서 가장 강하고(0.753) 길어질수록 약해집니다. 반대로 Map은 짧은 CoT에서 셀당 토큰이 적어 평균이 노이즈가 됩니다.

💡 Key Takeaway 정규화 구간은 추론 진행(progress) 축을 만드는 장치입니다. 깊이 축(layer)과 짝을 이뤄 2차원 궤적의 밑판이 됩니다.

Layer-wise / model depth

Model depth(모델 깊이)는 Transformer 층의 순서(얕은 층 → 깊은 층) 를 뜻하며, 논문에서 추론 진행(phase)과 함께 궤적을 이루는 두 번째 축입니다.

🧭 1. 깊이 축에서 관찰된 것

관찰 출처
faithful/unfaithful 궤적은 깊이에 따라 비슷한 전역 경로를 따르나 체계적·구간 의존적 오프셋이 있음 Fig. 2
분리는 마지막 CoT 구간의 중간 층에서 가장 뚜렷 → faithfulness는 한 층이 아니라 의미가 네트워크를 통과하는 방식에 반영됨 Fig. 2
Map 피크: faithful은 22–23층(후반 구간에서 약간 더 깊어짐), unfaithful은 17층 부근 Fig. 5
초기 층은 안정적 verbalisation을 만들지 못함 → Dynamics 분석은 중간·후반 층에 집중 §4.2

🔀 2. 층 스테이지 병합 ($K$)

인접 층을 $K$개 스테이지로 합치면:

  • Map·Profile은 층 해상도 손실로 가장 크게 타격
  • Dynamics는 거의 평탄 (전체 변화 방향만 추적)
  • VERITAS$_c$는 $K=7$에서 0.693 (전체 층 0.695와 근접), $K=3$에서도 단일 특징보다 우수(0.673)
  • 상대 깊이 격자로 통일하면 층 수가 다른 모델 간 전이가 가능해짐

💡 Key Takeaway “어느 층에서 증거가 나타나는가”는 모델마다 다르지만(Map 전이 최악 79–87%), “변화가 일관된 방향인가”는 모델에 덜 묶여 있습니다.

Alignment tensor

Alignment tensor(정렬 텐서) $\mathbf{r}$는 평가 대상 CoT의 각 층·구간 상태가 각 앵커 토큰 방향과 얼마나 정렬되는지를 담은 3차원 텐서입니다. Map·Profile·Dynamics 세 특징은 모두 이 텐서에서 파생됩니다.

📐 1. 정의

\[\mathbf{r}=\Big[\cos\big(\bar{\mathbf{h}}_{\ell,p},\tilde{\mathbf{j}}_{\ell,w}\big)\Big]_{\ell\in\mathcal{L},\,p\le P,\,w\in\mathcal{A}}\in\mathbb{R}^{|\mathcal{L}|\times P\times|\mathcal{A}|}\]
축 의미
$\ell$ 모델 깊이
$p$ 정규화 CoT 구간
$w$ 앵커 사전의 토큰

값 $r_{\ell,p,w}$ = “층 $\ell$, 구간 $p$에서 모델 내부 상태가 앵커 $w$를 얼마나 강하게 표현하는가”.

🔄 2. 세 특징으로의 축약

특징 텐서를 어떻게 줄이나 남는 것
Map $w$ 축을 발견 점수로 가중합 층 × 구간 행렬 (어디서)
Profile $(\ell,p)$ 축을 앵커가 선택된 셀에 대해 평균 앵커별 벡터 (무엇이)
Dynamics 이웃 셀 간 변위의 코사인 변화의 일관성 (어떻게 변하나)

💡 Key Takeaway 정렬 텐서는 “CoT의 생성 과정을 앵커라는 어휘로 받아 적은 기록” 입니다. 세 특징은 이 기록을 서로 다른 각도에서 요약합니다.

Map / Profile / Dynamics

Map, Profile, Dynamics는 VERITAS가 정렬 텐서에서 추출하는 세 가지 상보적 전이(transitional) 특징으로, 각각 어디서(where), 무엇이(which), 어떻게(how) 앵커 증거가 나타나고 변하는지를 포착합니다.

🗺️ 1. Map: 어디서 증거가 나타나는가 (식 3)

\[m_{\ell,p}=\sum_{w\in\mathcal{A}_{\ell,p}}\frac{s_{\ell,p,w}}{\sum_{w'\in\mathcal{A}_{\ell,p}}s_{\ell,p,w'}}\,r_{\ell,p,w}\]
  • 셀 $(\ell,p)$에서 그 셀의 앵커들과의 정렬을 발견 점수로 가중 평균
  • 결과 $\mathbf{m}\in\mathbb{R}^{ \mathcal{L} \times P}$ 는 층·구간 위치 정보를 보존
  • 관찰 (Fig. 5): faithful CoT는 전반적으로 정렬이 높고 22–23층에서 피크, unfaithful은 17층에서 피크. 단일 풀링 점수라면 버렸을 구조.

👤 2. Profile: 어떤 앵커가 표현되는가 (식 4)

\[u_w=\frac{1}{|\mathcal{C}_w|}\sum_{(\ell,p)\in\mathcal{C}_w}r_{\ell,p,w},\qquad \mathcal{C}_w=\{(\ell,p):w\in\mathcal{A}_{\ell,p}\}\]
  • 앵커 $w$가 선택된 셀들에 걸쳐 앵커별로 따로 정렬을 평균
  • 관찰 (Fig. 6a): faithful CoT는 상위 10개 판별 앵커 모두에서 더 강하게 반응, 특히 text, provided, statement, clearly, assess 같은 “정보 근거·평가” 앵커. unfaithful에서는 text는 중간 수준을 유지하지만 assess, value, automatically 는 거의 0으로 떨어짐.

🌊 3. Dynamics: 증거가 어떻게 진화하는가 (식 5)

\(\boldsymbol\delta^{\mathrm{dep}}_{\ell,p}=\mathbf{r}_{\ell,p}-\mathbf{r}_{\ell-1,p},\quad \boldsymbol\delta^{\mathrm{prog}}_{\ell,p}=\mathbf{r}_{\ell,p}-\mathbf{r}_{\ell,p-1}\) \(c^{\mathrm{dep}}_{\ell,p}=\cos(\boldsymbol\delta^{\mathrm{dep}}_{\ell,p},\boldsymbol\delta^{\mathrm{dep}}_{\ell-1,p}),\quad c^{\mathrm{prog}}_{\ell,p}=\cos(\boldsymbol\delta^{\mathrm{prog}}_{\ell,p},\boldsymbol\delta^{\mathrm{prog}}_{\ell,p-1})\)

  • 이웃 셀 간 변위 벡터(앵커 차원)를 구하고, 연속된 변위끼리의 코사인으로 방향 일관성 측정
  • $\mathbf{C}^{\mathrm{dep}}\in\mathbb{R}^{(L-2)\times P}$, $\mathbf{C}^{\mathrm{prog}}\in\mathbb{R}^{L\times(P-2)}$
  • 관찰 (Fig. 6b): motor 층에서 두 그룹은 CoT 30%까지 구분 불가. 이후 faithful은 정체(plateau), unfaithful은 계속 하락하다 마지막 구간에서 급락. 차이는 값이 아니라 변화에서 나옴.

📊 4. 상보성 (Table 4, §4.3)

특징 Qwen3 BonaFide / FaithCoT 길이 민감도 층 병합 민감도 모델 전이
Map 0.814 / 0.684 짧을수록 노이즈 (0.688→0.737) 큼 최악 (79–87%)
Profile 0.819 / 0.705 길면 희석 (0.703) 큼 소스 의존 (86%)
Dynamics 0.840 / 0.668 짧을수록 강함 (0.753) 거의 없음 최고 (91–96%)
셋 다 0.848 / 0.723 — 가장 안정 —

세 특징은 선호하는 길이·조건이 달라 합치면 서로를 보완합니다. 표 1의 VERITAS$_p$는 Dynamics+Map, VERITAS$_c$는 세 개 모두를 쓴 전체 방법입니다.

💡 Key Takeaway Map은 지도, Profile은 인물 프로필, Dynamics는 동영상의 흐름입니다. 어느 하나만으로는 사진이고, 셋을 합쳐야 “추론이 어디서 어떻게 갈라졌는가”의 서사가 됩니다.

Displacement

Displacement(변위)는 정렬 텐서에서 이웃한 두 셀의 앵커 정렬 벡터 차이입니다. Dynamics 특징의 원재료입니다.

📐 1. 두 방향의 변위

방향 수식 뜻
깊이 $\boldsymbol\delta^{\mathrm{dep}}{\ell,p}=\mathbf{r}{\ell,p}-\mathbf{r}_{\ell-1,p}$ 한 층 더 깊어질 때 앵커 표현이 어떻게 변했나
진행 $\boldsymbol\delta^{\mathrm{prog}}{\ell,p}=\mathbf{r}{\ell,p}-\mathbf{r}_{\ell,p-1}$ CoT가 한 구간 진행될 때 〃

각 변위는 앵커 수만큼의 차원을 가진 벡터입니다. Dynamics는 변위 자체가 아니라 연속된 변위 사이의 코사인을 특징으로 삼아, “변화가 같은 방향을 유지하는가”를 측정합니다.

💡 Key Takeaway 변위는 위치가 아닌 속도입니다. Dynamics가 모델 간에 잘 옮겨 가는 이유는 속도의 크기가 아니라 방향만 보기 때문입니다.

Logistic regression / L2 regularization

로지스틱 회귀(Logistic regression)는 선형 결합에 시그모이드를 씌워 이진 확률을 출력하는 분류기이며, L2 정규화는 가중치 크기에 벌점을 주어 과적합을 막습니다. VERITAS의 “Structured Probe”가 바로 이것입니다.

📐 1. 정의

\[P(y=A\mid\mathbf{x})=\sigma\big(\beta_0+\boldsymbol\beta^\top\mathbf{x}\big)\]

$\mathbf{x}$ = Map·Profile·Dynamics를 이어 붙인 궤적 표현 (Qwen3 554차원, Llama3.1 445차원).

🎯 2. 왜 단순 선형 분류기인가

“We use a simple linear classifier so that detection performance primarily reflects the extracted trajectory features rather than the capacity of the prediction head.”

성능이 복잡한 분류기 덕분이 아니라 특징의 품질 때문임을 보이기 위한 설계입니다.

⚙️ 3. 설정 (Appendix B.5 vs. B.4)

항목 VERITAS Raw-HS 프로브
정규화 계수 $C=1$ $C=0.1$
클래스 가중 balanced 없음
절편 있음 없음
결측 처리 학습 fold 중앙값 대치 —
표준화 학습 fold 통계 fold별

💡 Key Takeaway 분류기를 일부러 약하게 두어 “특징이 말하게” 했습니다. 같은 로지스틱 회귀로 프로브보다 16% 높다면, 그 차이는 입력의 차이입니다.

Balanced accuracy / AUROC

Balanced accuracy는 각 클래스의 재현율(recall)을 평균한 정확도로, 클래스 불균형에 강건합니다 (Brodersen et al., 2010). AUROC는 ROC 곡선 아래 면적으로, 임계값에 무관하게 순위 매김 능력을 측정합니다 (Fawcett, 2006).

⚖️ 1. 왜 balanced accuracy인가

BonaFide는 87.5%가 unfaithful입니다. 일반 정확도라면 “전부 B”로 찍어도 0.875가 나옵니다. Balanced accuracy는 이런 편법을 0.5로 끌어내립니다.

📊 2. 논문의 프로토콜 (Appendix B.6)

  • balanced accuracy 임계값 0.5
  • AUROC는 faithful(A)을 양성 클래스로 계산
  • LLM Judge는 hard label만 내므로 AUROC 불가

🔍 3. 두 지표가 갈릴 때의 해석

Cross-source 실험에서 Dynamics는 AUROC 보존율이 최고(94%)였지만 balanced accuracy 보존율은 낮았습니다(89%). 논문은 이를 “순위는 전이되지만 결정 임계값이 이동한다” 로 읽습니다. 즉 AUROC는 특징의 품질, balanced accuracy는 교정(calibration) 까지 포함합니다.

💡 Key Takeaway AUROC가 높고 bal. acc.가 낮으면 특징은 좋은데 문턱이 틀린 것입니다. 분류기 전이가 앵커 전이보다 더 떨어지는 이유와 같은 맥락입니다.

Activation patching

Activation patching은 한 실행의 특정 활성화를 다른 실행의 값으로 바꿔 넣어 출력 변화를 관찰하는 인과적 개입 기법입니다. Yeo et al. (2025)은 이를 자연어 설명의 faithfulness 연구에 썼고, 논문은 이를 개입형(interventional) 내부 방법으로 분류합니다.

🔬 1. 논문의 위치 지정

내부 방법 질문
Activation patching 답이 CoT에 인과적으로 의존하는가
Parameter-level unlearning (Tutek et al., 2025) 추론 단계를 잊게 하면 답이 바뀌는가
Information-flow analysis (Jia et al., 2026) 정보가 CoT를 거쳐 흐르는가
VERITAS 추론 정보가 어디서 생겨 어떻게 전파되며 CoT에 반영되는가

개입 기법은 “의존하는가/아닌가”를 답하지만, 발달 과정을 말로 설명하지는 않습니다.

💡 Key Takeaway Patching은 인과 실험, VERITAS는 관찰 기록입니다. 전자는 yes/no, 후자는 서사를 줍니다.

Counterfactual

Counterfactual(반사실) 기법은 CoT를 바꿨을 때(절단, 바꿔 쓰기, 오류 삽입 등) 답이 어떻게 변하는지로 faithfulness를 추정하는 외부 방법입니다 (Lanham et al., 2023).

🧪 1. 논문에서의 베이스라인: Early Answering

CoT를 중간에 끊고 답을 내게 했을 때 답이 이미 같다면, 나머지 CoT는 답에 기여하지 않은 사후 합리화로 봅니다.

📉 2. 결과

Early Ans는 TruthfulQA에서 0.722(Qwen3)로 비교적 선전했지만, BonaFide(0.537)·HLE-Bio(0.505)에서는 거의 우연 수준이었습니다. 반사실 기법은 관찰 가능한 입출력만 보므로 CoT가 생략·은폐한 결정 정보를 포착할 수 없습니다.

💡 Key Takeaway 반사실은 “CoT가 필요했는가“를 묻고, VERITAS는 “CoT가 진실을 말하는가“를 묻습니다. 두 질문은 다릅니다.

Early answering

Early answering(조기 답변)은 CoT를 끝까지 생성하기 전에 강제로 답을 내게 하여, 답이 CoT 진행에 따라 바뀌는지 보는 반사실 베이스라인입니다 (Lanham et al., 2023).

🔎 1. 직관

관찰 해석
초반에 끊어도 답이 같음 CoT는 답을 바꾸지 않음 → 사후 합리화 의심
진행에 따라 답이 바뀜 CoT가 답에 실질적으로 기여

⚠️ 2. 한계 (논문 결과 기준)

  • 비지도(unsupervised) 텍스트 수준 신호 그룹의 평균 balanced accuracy는 0.533으로, 로짓 기반(0.610)보다도 낮았습니다.
  • 모델이 힌트를 따르면서 언급하지 않는 BonaFide 설정에서는, 답이 처음부터 끝까지 힌트와 같으므로 “답이 안 바뀜”이 faithful/unfaithful을 전혀 구분하지 못합니다.

💡 Key Takeaway 조기 답변은 “CoT가 쓸모 있었나” 는 알려 주지만, “CoT가 숨긴 게 있나” 는 모릅니다.

Information gain / Answer tracing

Information Gain(Li et al., 2025)과 Answer Tracing(Lewis-Lim et al., 2025)은 CoT 진행에 따라 정답 토큰의 로짓/확률이 어떻게 변하는지 추적하는 로짓 기반 비지도 베이스라인입니다.

📈 1. 아이디어

방법 신호
Info Gain 각 추론 단계가 답에 대한 정보량을 얼마나 늘리는가
Ans Tracing CoT를 따라 답의 로짓이 능동적으로 유도되는가, 아니면 처음부터 정해져 있는가 (“active guidance vs. post-hoc rationalisation”)

📊 2. 결과

  • 로짓 기반은 텍스트 수준보다 나았습니다 (0.610 vs 0.533).
  • Ans Tracing은 Qwen3에서 가장 강한 베이스라인(평균 0.655)이었으나 VERITAS$_c$(0.749)에 9점 이상 뒤졌습니다.
  • Info Gain은 BonaFide에서 AUROC 0.847로 좋았지만 다른 데이터셋에서는 0.52~0.69로 들쭉날쭉했습니다.

💡 Key Takeaway 로짓 추적은 최종 출력 분포 한 줄만 봅니다. VERITAS는 그 출력이 만들어지기까지의 층별 중간 분포를 봅니다.

Perplexity

Perplexity(혼란도)는 모델이 주어진 텍스트에 부여하는 확률의 역수를 기하평균한 값으로, 낮을수록 모델이 그 텍스트를 “자연스럽다”고 봅니다. Cui et al. (2025)은 단계별 perplexity로 CoT를 정제했고, 논문은 이를 가장 단순한 텍스트 수준 베이스라인으로 사용했습니다.

📉 1. 결과

Perplexity는 거의 모든 설정에서 0.49~0.59 로 우연 수준이었습니다. Llama3.1의 HLE-Bio에서는 0.423으로 우연보다 낮았습니다.

🤔 2. 왜 작동하지 않는가

Unfaithful CoT가 더 유창하거나 덜 유창하다는 보장이 없습니다. 힌트를 따르면서 매끄러운 정당화를 쓰는 CoT는 오히려 perplexity가 낮을 수 있습니다. 유창성과 진실성은 다른 축입니다.

💡 Key Takeaway “얼마나 자연스러운가”는 “얼마나 솔직한가”와 무관합니다.

Workspace layers / Motor layers

Workspace layers와 Motor layers는 Gurnee et al. (2026)이 제안한 층의 기능적 구분입니다. 논문은 Figure 6(b) 분석에서 중간 층을 workspace, 후반 층을 motor로 부르며 각각 평균해 추세를 비교했습니다.

🧠 1. 구분

층 그룹 위치 역할 (Gurnee et al.)
초기 층 얕음 안정적 verbalisation을 만들지 못함 → 논문 분석에서 제외
Workspace 중간 말로 풀어낼 수 있는 표현이 모이는 전역 작업 공간
Motor 후반 표현을 실제 출력 토큰으로 옮기는 층

📈 2. 논문의 관찰 (Fig. 6b, Qwen3, AQuA)

  • Motor 층: CoT 30%까지 두 그룹 구분 불가 → faithful은 정체, unfaithful은 계속 하락 후 마지막 구간 급락
  • Workspace 층: 같은 후반 발산(late divergence) 패턴

💡 Key Takeaway Unfaithfulness는 생각을 말로 옮기는 후반부에서 드러납니다. 이는 “설명이 과제에서 떨어져 나온다”는 앵커 범주 분석과 일치합니다.

Global workspace

Global workspace(전역 작업 공간)는 Gurnee et al. (2026)의 논문 제목(“Verbalizable representations form a global workspace in language models”)에서 온 개념으로, LLM의 중간 층에 말로 풀어낼 수 있는 표현들이 모여 서로 공유되는 공통 공간이 형성된다는 주장입니다.

🔗 1. VERITAS와의 연결

Gurnee et al.의 주장 VERITAS에서의 활용
중간 층 표현은 verbalizable J-lens로 앵커 토큰이라는 단어로 번역 가능
표현들이 공유 공간을 이룸 J-space가 층 간 공통 좌표계
workspace → motor로 흐름 궤적을 깊이 축을 따라 추적

💡 Key Takeaway “모델 내부에 단어로 읽을 수 있는 작업 공간이 있다”는 가설이 없다면, 앵커 토큰으로 궤적을 서술하는 VERITAS의 전제도 성립하지 않습니다.

Attribution graph / circuit

Attribution graph(귀인 그래프)와 circuit(회로)은 모델의 특정 출력에 기여한 내부 구성 요소(뉴런, 특징, 어텐션 헤드)와 그 연결을 그래프로 나타낸 것입니다. 논문은 이를 “계산 자체를 모델링하는” 최근 내부 방법으로 분류합니다.

🧭 1. 관련 연구

연구 접근
Zhao et al. (2026) 단계별 attribution graph를 추론 회로의 실행 트레이스로 보고, 그 구조적 특징에서 오류 검출
Shen et al. (2026a) 회로에서 유도한 내부 추론 그래프와 생성 텍스트에서 만든 그래프를 비교

🆚 2. VERITAS와의 차이

이 방법들은 “내부 계산이 다르다”는 것은 보여 주지만, unfaithfulness가 생성 중에 어떻게 발달하는지를 말로(verbalise) 서술하지는 못합니다. VERITAS는 회로 대신 토큰 이름이 붙은 J-space 앵커를 써서 사람이 읽을 수 있는 설명을 제공합니다.

💡 Key Takeaway 회로는 배선도, VERITAS는 자막 달린 녹화본입니다. 둘 다 내부를 보지만 설명의 언어가 다릅니다.

Anchor transfer / Zero-shot transfer / Cross-model transfer

세 용어는 VERITAS의 일반화 능력을 검증하는 세 가지 전이(transfer) 설정입니다 (§4.4, Appendix C.2–C.3).

🔄 1. 설정 비교

설정 앵커 분류기 결과 (bal. acc. 보존율)
In-domain 타깃에서 발견 타깃에서 학습 100% (기준)
Anchor transfer 소스에서 동결 타깃에서 재학습 97–99% (AUROC 98–99%)
Zero-shot transfer 소스에서 동결 소스에서 동결 88–90% (HS$_l$ 85%보다 우수)
Cross-model transfer Llama3.1에서 Llama3.1 분류기를 Qwen3에 그대로 적용 Dynamics 91–96%, Map 79–87%, VERITAS$_c$ 81%($K$=7)~89%($K$=3)

FaithCoT-Bench 4개 서브셋의 12개 순서쌍 전부에 대해 평가했습니다.

🧩 2. 해석

  • 앵커 전이 손실이 작다 → 앵커는 대체로 소스 일반적(source-general)
  • 분류기까지 동결하면 더 떨어진다 → 분류기 교정은 부분적으로 소스 의존적
  • 모델 간 전이는 상대 깊이 스테이지 격자($K$)로 층 수가 다른 두 모델을 맞추기에 가능. 거친 스테이지일수록 깊이 불일치를 잘 흡수하여 전이가 좋아짐.
  • 특징별 보존율 (zero-shot, C.2): Profile 86% < Map 92% < Dynamics 94%(AUROC). “어떤 앵커가 판별적인가”는 소스 내용에 따라 변하지만, “어디서/어떻게”는 모델 계산의 성질이라 더 잘 옮겨 갑니다.

💡 Key Takeaway 전이 실험은 VERITAS가 데이터셋 특유의 단서를 외운 것이 아니라 faithfulness의 일반적 흔적을 잡았다는 증거입니다.

Grouped k-fold cross-validation / out-of-fold

Grouped k-fold 교차검증은 같은 그룹(여기서는 같은 질문)에 속한 샘플이 학습·평가 fold에 동시에 들어가지 않도록 묶어서 나누는 교차검증이고, out-of-fold 예측은 각 샘플이 자신이 속하지 않은 fold의 학습 모델로 예측된 값입니다.

🛡️ 1. 논문의 프로토콜 (Appendix B.6)

항목 설정
fold 수 5, seed 42
그룹 단위 질문 — 한 질문의 모든 CoT는 같은 fold
앵커 발견 별도의 발견 전용 질문에서만, 분류 전 동결
전처리·학습 각 학습 fold 안에서 독립적으로 반복

⚠️ 2. 왜 중요한가

한 질문에 faithful·unfaithful CoT가 여러 개 있을 때, 그룹화 없이 나누면 같은 질문의 다른 트레이스가 학습과 평가에 동시에 들어가 질문 내용을 외우는 누수가 생깁니다. 특히 “같은 질문 안에서 대비 방향을 구하는” 앵커 설계는 이런 누수에 민감하므로, 발견용 질문과 평가용 질문을 분리한 것입니다.

💡 Key Takeaway 성능 숫자가 질문 암기가 아니라 faithfulness 신호에서 나왔음을 보장하는 장치입니다.

Standardization / Imputation

Standardization(표준화)는 각 특징을 평균 0, 표준편차 1로 변환하는 것이고, Imputation(대치)는 결측값을 대표값으로 채우는 것입니다.

⚙️ 1. 논문의 처리 (Appendix B.5)

처리 방법 통계의 출처
결측 대치 학습 fold 중앙값 학습 fold만
표준화 학습 fold 평균·표준편차 학습 fold만

❓ 2. 왜 결측이 생기는가

정렬 텐서는 문장·절 경계 상태로 채워지므로, 짧은 CoT에서는 어떤 층·구간 셀에 readout이 하나도 없을 수 있습니다. 또 앵커 발견 시 $\mathcal{Q}_{\ell,p}$가 “두 라벨 모두 유효한 readout을 가진 쌍”만 포함하는 것도 같은 이유입니다.

🔒 3. 왜 학습 fold 통계만 쓰는가

평가 fold의 통계를 섞으면 평가 데이터가 전처리에 스며드는 누수가 됩니다. 논문은 전처리를 fold마다 독립 반복합니다.

💡 Key Takeaway 사소해 보이지만, 표준화와 대치를 fold 안에서 하는지가 교차검증의 정직성을 가릅니다.

Class weighting

Class weighting(클래스 가중)은 손실 함수에서 소수 클래스 샘플에 더 큰 가중치를 주어 불균형을 보정하는 기법입니다. “balanced” 가중은 각 클래스 가중치를 빈도의 역수에 비례시킵니다.

⚖️ 1. 논문에서의 사용

분류기 클래스 가중
VERITAS balanced
Raw-HS 프로브 없음 (원 논문 설정 유지)

BonaFide처럼 faithful이 12.5% 뿐인 데이터에서, 가중 없이 학습하면 분류기는 다수 클래스로 쏠립니다. balanced accuracy를 지표로 쓰는 것과 짝을 이루는 선택입니다.

💡 Key Takeaway 지표(balanced accuracy)와 학습 목표(balanced weighting)를 같은 방향으로 맞춘 것입니다.

Diversionary setting / Misleading hint

Diversionary setting(교란 설정)은 BonaFide 벤치마크의 한 설정으로, 각 질문에 오답을 가리키는 misleading hint(오도 힌트)를 붙이고, 최종 답이 힌트를 따른 CoT만 남기는 구성입니다.

🧪 1. 라벨링 규칙

라벨 조건
Faithful (A) 힌트에 의존했음을 인정하거나 말로 표현
Unfaithful (B) 힌트를 따르면서 언급하지 않음, 또는 지어낸 출처에 답을 돌림

LLM Judge용 규칙에서는 “힌트 답을 단순 반복”, “힌트를 무시했다고 주장”, “다른 출처에 귀속” 모두 B입니다.

📋 2. 구성

  • 질문 출처: SimpleQA-Verified, Humanity’s Last Exam, DDXPlus
  • 힌트 6종: sycophancy, metadata, validator, error message, security audit, unauthorized access
  • CoT 생성: 소스 모델 10개
  • 평가 집합: 1,016 CoT / 541 질문, 87.5% unfaithful

🎯 3. 왜 이 설정이 강력한가

모든 CoT의 답이 힌트와 같으므로, 정답 여부·답의 변화로는 faithfulness를 알 수 없습니다. 오직 “힌트의 영향을 솔직히 말했는가” 만이 라벨을 가릅니다. 이는 ground-truth가 있는 드문 faithfulness 데이터입니다 (Gur-Arieh et al., 2026).

💡 Key Takeaway 교란 설정은 “답은 같고 솔직함만 다른” 통제 실험입니다. 반사실·로짓 베이스라인이 여기서 무너지는 이유입니다.

Sycophancy

Sycophancy(아첨)는 모델이 사용자의 의견·선호에 맞춰 답을 바꾸는 경향입니다. BonaFide의 6가지 힌트 유형 중 하나로, 예컨대 “저는 답이 X라고 생각하는데요” 같은 사용자 의견이 힌트로 주어집니다.

🎭 1. Faithfulness와의 관계

모델 행동 라벨
사용자 의견을 따르면서 “사용자가 그렇게 말씀하셔서” 라고 밝힘 A
사용자 의견을 따르면서 독자적 근거를 지어냄 B

Sycophancy 자체가 unfaithful인 것이 아니라, 아첨했음을 숨기는 것이 unfaithful입니다.

💡 Key Takeaway 이 논문의 faithfulness는 행동의 옳고 그름이 아니라 투명성을 묻습니다.

Replay model

Replay model(재생 모델)은 이미 생성된 CoT를 입력으로 다시 넣어 forward pass를 돌리고 내부 상태를 읽어 내는 데 쓰는 백본 모델입니다. VERITAS는 CoT를 생성하지 않고 재생해서 분석합니다.

⚙️ 1. 논문의 설정 (Appendix A)

모델 층 수 hidden size
Llama-3.1-8B-Instruct 32 4096
Qwen3-4B-Thinking-2507 36 2560

질문 + CoT를 한 번의 forward pass로 넣고 모든 조사 층의 residual stream을 읽습니다.

🔍 2. 중요한 함의

  • FaithCoT-Bench의 CoT는 LLaMA3.1-8B, Qwen2.5-7B, GPT-4o-mini, Gemini 2.5 Flash 가 만든 것이고, BonaFide는 10개 소스 모델이 만든 것입니다. 즉 CoT를 쓴 모델과 읽는 모델이 다를 수 있습니다.
  • 같은 CoT가 두 가지 다른 내부 표현 아래에서 분석되므로, 결과가 특정 모델의 표현에 묶이지 않았음을 보일 수 있습니다.
  • 따라서 VERITAS가 읽는 것은 “작성 모델의 실제 생성 과정”이 아니라 “재생 모델이 이 CoT를 처리할 때의 내부 궤적” 입니다. 이 점은 해석 시 염두에 둘 필요가 있습니다.

💡 Key Takeaway Replay 설계는 블랙박스 API 모델의 CoT도 분석 가능하게 하지만, 읽어 내는 궤적은 재생 모델의 것이라는 제약을 동반합니다.

PCA (PC1, PC2)

PCA(주성분 분석)는 고차원 데이터를 분산이 가장 큰 방향(PC1, PC2, …)으로 투영해 저차원으로 시각화·압축하는 기법입니다.

📊 1. 논문에서의 쓰임

Figure 2는 네 개의 정규화 CoT 구간에서 J-space 궤적을 모델 깊이에 따라 2차원 평면에 그립니다. 화살표는 깊이 증가 방향, 음영은 약 95% 신뢰구간입니다. 어휘 크기 차원의 J-space 벡터를 2차원으로 보여 주려면 이런 차원 축소가 필요합니다.

💡 Key Takeaway PCA 평면의 궤적은 “깊이를 따라 의미가 어떻게 이동하는가” 를 눈으로 보게 해 주지만, 분류에 쓰이는 특징은 축소 전 코사인 값입니다.

Confidence interval

Confidence interval(신뢰구간)은 반복 샘플링을 가정했을 때 참값이 포함될 것으로 기대되는 범위로, 논문 그림들은 약 95% 신뢰구간을 음영으로 표시합니다.

📈 1. 쓰인 곳

그림 대상
Fig. 2 깊이별 J-space 궤적
Fig. 6(b) workspace/motor 층의 구간별 앵커 정렬
Fig. 10 12개 소스쌍에 대한 전이 결과 (표준편차 오차막대)

신뢰구간이 겹치지 않는 구간(예: Fig. 6b의 후반 구간)이 faithful/unfaithful의 통계적 분리가 뚜렷한 지점입니다.

💡 Key Takeaway “마지막 구간에서 갈라진다”는 주장은 평균선이 아니라 음영이 벌어지는 곳을 보고 판단해야 합니다.

Tercile

Tercile(삼분위)는 데이터를 크기 순으로 세 등분한 구간입니다. 논문 §4.3은 CoT를 길이 삼분위(짧음/중간/긺) 로 나눠 특징별 민감도를 분석했습니다.

📊 1. 결과 (Fig. 7a, BonaFide, Qwen3-4B)

특징 짧음 중간 긺 이유
Map 0.688 0.737 — 짧으면 셀당 토큰이 적어 평균이 노이즈
Profile 0.737 0.740 0.703 길면 이질적 단계가 섞여 풀링 정렬 희석
Dynamics 0.753 ↓ ↓ 구간 수 고정 → 긴 CoT에서 국소 변화가 평균화

💡 Key Takeaway 세 특징이 선호하는 길이가 다르기에 결합이 유리합니다. 삼분위 분석은 그 상보성을 설계 원리로부터 설명합니다.

Cohen’s κ (kappa)

Cohen’s κ는 두 평가자 간 일치도를 우연 일치를 보정하여 측정하는 지표로, 1에 가까울수록 일치가 높습니다.

📋 1. 논문에서의 쓰임

FaithCoT-Bench의 faithful/unfaithful 라벨은 전문가 주석자가 여러 라운드에 걸쳐 매겼으며, Cohen’s κ는 81.0~97.2 (백분율 표기) 범위였습니다. 이는 라벨이 주석자 개인의 주관이 아니라 재현 가능한 판단임을 뒷받침합니다.

📦 2. 데이터셋 통계 (Table 2)

데이터셋 #CoT #질문 #Faithful #Unfaithful
BonaFide 1,016 541 127 889
AQuA 354 100 273 81
LogiQA 400 100 273 127
TruthfulQA 389 100 280 109
HLE-Bio 161 41 96 65

💡 Key Takeaway 높은 κ는 검출기가 쫓는 라벨 자체가 신뢰할 만하다는 전제를 보장합니다. BonaFide는 규칙 기반 ground truth, FaithCoT-Bench는 고일치 전문가 주석으로 서로 다른 방식의 신뢰성을 확보합니다.