0. Summary

  • 기본 정보 : ArXiv,2026.11.13, Can Mechanistic Interpretability Help Explain LLM Agent Failures? A Case Study on Web Element Hallucination
  • 연구 배경 : 기계론적 해석가능성(Mechanistic Interpretability, MI)은 회로(circuit)와 특징(feature)을 통해 LLM의 내부 계산을 설명하는 데 성과를 냈지만, 그 성공은 대부분 고정 입력의 좁은 과제(사실 회상, 주어-동사 일치, IOI 등)에서 나왔다. LLM 에이전트는 환경을 관찰하고 행동하며 여러 타임스텝에 걸쳐 맥락이 누적되므로, 실패가 긴 궤적과 여러 구성요소에 걸쳐 나타난다. 저자들은 “현재의 MI 도구가 현실적인 에이전트 실패를 얼마나 설명할 수 있는가”를 묻고, 웹 에이전트가 페이지에 존재하지 않는 요소를 겨냥한 행동을 생성하는 웹 요소 환각(web element hallucination) 을 사례로 삼는다.
  • 제안 방법 : Qwen2.5-7B-Instruct를 Online-Mind2Web의 실제 웹사이트에서 구동해 300 에피소드·2,071 행동(32.6%가 환각)을 모으고, 회로 발견 계열(단일 구성요소 증폭·잡음 주입, FFN·어텐션 헤드 공동 개입, 활성 패칭, 반사실 궤적 구성)과 특징 식별 계열(세 위치·28층 선형 프로브, 프로브 가중치 기반 표현 조향, 사전학습 SAE)을 차례로 적용한다. 각 분석을 MI 방법이 암묵적으로 가정하는 국소성(localizability)·정상성(stationarity)·시간적 국소성(temporal locality)·분포 일치 가 에이전트 환경에서 성립하는지 검증하는 틀로 해석한다.
  • 발견 사실 : 생성 시작 전 마지막 프롬프트 토큰의 선형 프로브가 환각을 AUC 0.80(L18)으로 예측하고, selector_start L17 프로브 방향으로 조향하면 환각의 85.4%가 고쳐지며 유효 행동의 7.0%만 깨진다. 그러나 구성요소 수준 개입은 최선의 조합(L22 전체 헤드 ×3, L22–24 FFN ×0.5)도 8.9% 수정·2.4% 파괴에 그치고, 활성 패칭은 행동 목록이 인과적 기여자(L27 잔차 복원 시 0.36 확률 회복)임을 보이지만 어떤 속성이 결정을 좌우하는지는 드러내지 못한다. 선택된 행동을 목록에서 제거하는 반사실은 38%에서만 환각을 만들고 한 스텝 만에 궤적이 갈라진다(step 1 selector 일치 28.1%, DOM Jaccard 0.521). 행동 목록을 JSON에서 번호 목록으로 바꾸면 같은 조향 벡터의 수정률이 85.4%에서 58.1%로 떨어지고, 사전학습 SAE의 상위 특징은 환각과 무관한 토큰을 촉진한다.
  • 핵심 기여 :
    1. 에이전트 환경이 MI 가정을 깨뜨리는 방식의 정식화 : 회로 발견의 국소성·정상성 가정과 특징 식별의 분포 일치·시간적 국소성 가정을 명시하고, 각각이 에이전트 설정에서 어떻게 위반되는지를 논증했다.
    2. 실제 웹사이트 위 사례 연구 : 7B 모델의 웹 요소 환각에 대해 프로브·조향·단일/공동 개입·활성 패칭·반사실·SAE를 모두 적용해, “탐지와 조향은 되지만 어떻게 결정되는지는 설명되지 않는다”는 결과를 수치로 보였다.
    3. 에이전트 MI 로드맵 : 에이전트용 MI 벤치마크, 단일 위치/구성요소 귀인 너머의 방법, 상태 있는 환경의 반사실 구성, 에이전트 분포용 특징 발견, 타임스텝 간 믿음 추적, 에이전트 유형 간 보편성이라는 여섯 방향을 제시했다.

Abstract 쉬운 설명(Gemini)

관련 개념

LLM 에이전트의 구성요소와 MI의 세 가지 개념

이 논문은 두 분야의 용어를 먼저 정리합니다. 에이전트 쪽에서는 결정이 여러 타임스텝에 걸쳐 어떤 구성요소를 거쳐 만들어지는지, MI 쪽에서는 무엇을 “설명”으로 간주하는지를 명시해야 이후의 가정 위반 논의가 성립하기 때문입니다.


🧩 1. 에이전트의 다섯 구성요소

논문은 Mo et al. (2024)을 따라 LLM 에이전트를 타임스텝 $t$ 위에서 상호작용하는 다섯 구성요소로 봅니다.

구성요소 정식화 설명
지각(Perception) $x_{t}=enc(o_{t})$ 원시 관측 $o_{t}$ 를 토큰 표현으로 변환
기억(Memory) $h_{t}=u(h_{t-1},x_{t})$ 작업 기억(현재 컨텍스트 창)과 장기 기억(파라미터 지식, 외부 검색)
추론(Reasoning) $a_{t}=\pi(h_{t},x_{t})$ 명시적 추론 사슬 또는 암묵적 정책으로 결정을 생성
행동(Action) $\mathcal{E}{t+1}=f{\mathrm{env} }(\mathcal{E}{t},a{t})$ 외부 환경이 행동 $a_{t}\in\mathcal{A}$ 를 실행해 새 관측 $o_{t+1}$ 을 만듦
평가·감시 – 실제 결과와 예측 결과를 비교하고 필요하면 재계획

핵심은 기억 상태 $h_{t}$ 가 매 스텝 갱신된다는 점입니다. 분석 대상인 내부 표현이 고정 입력 위의 함수가 아니라 환경과의 상호작용 이력의 함수가 됩니다.


🔬 2. MI의 세 가지 개념

개념 정의 대표 연구
회로(Circuit) 복사·귀납 같은 알아볼 수 있는 알고리즘을 구현하는 모델의 부분 그래프 Ameisen et al. 2025, Meng et al. 2022
특징(Feature) 해석 가능한 개념을 부호화하는 활성 공간의 방향 Huben et al. 2024, Bricken et al. 2023
보편성(Universality) 같은 특징과 회로가 아키텍처를 가로질러 재등장한다는 가설 Chughtai et al. 2023

저자들은 “설명(explain)”이라는 말을 내부 이해뿐 아니라 실용성(actionability), 즉 통찰이 성능 개선으로 이어지는가까지 포함하는 뜻으로 씁니다(Orgad et al. 2026). Sharkey et al. (2025)의 열린 문제 목록과 Orgad et al.의 “실용성 기준 부재” 지적이 이 논문의 출발점이며, 기존 에이전트 MI 연구는 장난감 환경의 순차 결정이나 정적 설정에 머물러 있다고 정리합니다.

💡 Key Takeaway 논문의 질문은 “에이전트 내부에 회로가 있는가”가 아니라 “회로·특징을 찾는 기존 방법의 전제가 에이전트 환경에서 성립하는가”입니다. 그래서 결과는 새 회로의 발견이 아니라 가정 위반의 목록으로 정리됩니다.

에이전트 설정이 MI에 부과하는 네 가지 가정 위반

3절은 회로 발견과 특징 식별 각각에 대해 두 개씩, 모두 네 개의 암묵적 가정을 꺼내 보입니다. 4절의 실험은 이 가정들이 하나씩 깨지는 장면을 보여주는 구조입니다.


🧭 1. 회로 발견의 가정

가정 내용 에이전트에서 깨지는 이유
국소성(Localizability) 단일 타임스텝 안의 소수 위치·구성요소가 행동의 메커니즘을 설명하며, 이것이 표본 간에 일관됨 결정이 많은 입력 위치의 상호작용에서 나오고, 어떤 위치·구성요소가 결과를 좌우하는지 가설을 세울 근거가 없음. 한 구성요소가 불균형한 몫을 지지 않고 여러 구성요소가 집합적으로 기여
정상성(Stationarity) 활성 패칭 등 반사실 방법은 고정된 clean 기준선을 요구 매 스텝 컨텍스트 $h_{t}$ 가 커지고 환경 상태가 바뀌어 두 스텝이 비교 가능한 기준선을 공유하지 않음

주어-동사 일치 과제에서는 The keys to the cabinet are 와 The key to the cabinet is 처럼 최소 쌍(minimal pair)을 손으로 만들 수 있고, 주어 토큰이 어디인지 분명하므로 귀인 방법이 바로 적용됩니다. 에이전트에서는 “행동 목록이 환각에 영향을 준다”는 것까지 알아내도 서로 다른 행동 목록이 어떻게 다른 결정으로 이어지는지는 열린 질문으로 남습니다.


🔍 2. 특징 식별의 가정

가정 대상 방법 에이전트에서 깨지는 이유
데이터 분포 일치 SAE, 프로브, 조향 벡터 SAE는 학습 말뭉치에 흔한 특징만 복원하므로 목표 추적·도구 선택·다단계 계획 같은 상호작용 개념을 놓칠 수 있음. 프로브의 선형 구조는 다중 턴 대화에서 크게 변하고 분포 이동에 취약. 조향 벡터는 표현이 설계된 부분공간 밖으로 이동하면 무력
시간적 국소성(Temporal locality) 모든 특징 방법 계획·전략에 대한 헌신(commitment)이 여러 특징에 분산되고 궤적에 걸쳐 점진적으로 형성되어, 결정이 깔끔하게 표현되는 단일 타임스텝이 없음

Kantamneni et al. (2025)과 Pacela et al. (2026)이 보고한 공변량 이동 하 SAE 성능 저하, Lampinen et al. (2026)의 다중 턴 선형 구조 변화, Lubana et al. (2026)의 “표준 SAE는 텍스트에서도 시간적 특징을 잘 부호화하지 못한다”는 결과가 근거로 인용됩니다.

💡 Key Takeaway 네 가정 중 어느 것도 에이전트에 고유한 새 가정이 아닙니다. 고정 입력 과제에서는 설계상 자동으로 만족되던 전제가, 상태 있는 환경에서는 별도로 확보해야 하는 조건으로 바뀐다는 것이 논문의 진단입니다.

사례 연구 설정: 웹 요소 환각

4절은 환각 중에서도 웹 에이전트가 제공된 행동 목록에 없는 행동을 생성하는 현상을 다룹니다. 설정 자체는 단순하지만 데이터가 실제 웹사이트에서 온다는 점이 이후 모든 분석의 난이도를 결정합니다.


🗃️ 1. 데이터와 모델

항목 값
모델 Qwen2.5-7B-Instruct (28층)
벤치마크 Online-Mind2Web (Xue et al. 2025), 실제 웹사이트 상호작용 에피소드
행동 공간 CLICK, SCROLL, TYPE, HOVER (원 Mind2Web 최소 행동 공간)
스텝 상한 과제당 최대 10회 페이지 상호작용
프롬프트 과제·DOM 요약·JSON 행동 목록을 주고, [THOUGHT]와 [ACTION] 두 줄만 출력하도록 지시 (Appendix B). $t>0$ 에서는 최근 3스텝의 THOUGHT/ACTION/Verdict 이력을 포함
환각 정의 생성된 행동이 제공된 목록에 없는 경우
최종 데이터 300 에피소드, 2,071 행동, 환각 32.6%
하드웨어 NVIDIA A100 80GB 1장 (Appendix L)

Figure 1의 예시는 “CarMax에서 2022 Tesla Model 3 찾기” 과제에서 모델이 검색 입력창을 겨냥한 TYPE 행동을 내놓지만, 해당 selector 값이 페이지의 어떤 유효 행동과도 대응하지 않는 경우입니다. 유효한 행동은 헤더의 “Shop” 링크를 CLICK하는 것이었습니다.


🔭 2. 로짓 렌즈가 보여주는 환각의 성격 (Appendix C)

selector 값 위치에서 중간 층 표현을 어휘로 투영하면, 환각 사례는 L21–27에서 Search, Enter, Find, Explore 같은 의미적으로 일관된 UI 레이블로 수렴합니다. 그럴듯한 웹 요소이지만 현재 페이지에는 없는 것들입니다. L24에서는 영어 “Search”로 수렴하기 전에 중국어 “搜索”가 먼저 나타나는데, 저자들은 이를 모델이 특정 웹사이트에 근거하지 않은 전략 수준의 개념에 헌신하고 있다는 신호로 읽습니다. 유효 사례는 같은 후기 층에서 페이지에 맞는 토큰으로 수렴합니다.


📍 3. 분석 위치

이후 분석은 세 토큰 위치를 기준으로 합니다.

위치 의미
prompt_end 프롬프트의 마지막 토큰. 생성 시작 전
selector_start 생성된 행동 중 selector 필드가 시작되는 토큰
selector_value_start selector 값(요소를 특정하는 문자열)이 시작되는 토큰

💡 Key Takeaway 환각은 무작위 오류가 아니라 “검색창이 있을 것”이라는 의도 기반 전략에 대한 헌신으로 나타납니다. 이 성격 때문에, 뒤에서 보듯 단일 구성요소를 건드려 만든 인공 환각(문법적으로 깨진 문자열)과는 질적으로 다릅니다.

회로 발견 1: 단일 구성요소 귀인과 공동 개입

첫 번째 실험은 Sun et al. (2025)이 LLM 환각에 대해 보고한 “FFN 기여가 어텐션 출력을 압도하며, 특정 FFN을 억제하고 어텐션 헤드를 증폭하면 환각이 준다”는 결과가 웹 에이전트에서도 성립하는지 묻습니다.


🧪 1. 단일 구성요소 개입 (Figure 2, Appendix D)

유효 사례의 selector_value_start 위치에서 두 종류의 개입을 구성요소 하나씩 가합니다.

  • FFN 증폭 : 각 층의 FFN 출력을 잔차 스트림에 더하기 전에 $10\times$ 로 키우고, $\Delta P(\text{valid})=P(\text{valid}\mid\text{clean})-P(\text{valid}\mid\text{FFN}_{l}\text{ amplified})$ 를 유효 사례 평균으로 잽니다.
  • 어텐션 헤드 잡음 : 각 헤드의 출력 투영에 독립 가우시안 잡음을 주입하고 같은 양을 잽니다.
  • 상관 신호 : 헤드별로 임의 토큰에 둔 최대 어텐션 가중치를 유효/환각 클래스별로 평균해 차이를 봅니다(Figure 2c).

결과는 세 가지입니다. 대부분의 FFN은 효과가 작거나 오히려 근거화(grounding)에 음의 기여를 하며, 예외적으로 L20 FFN이 근거화에 양의 기여를 합니다. 대부분의 헤드는 유효 토큰 확률에 미미하게만 기여합니다. 상관 히트맵에서는 L22 어텐션 헤드들이 두 클래스 간에 가장 차등적으로 활성화됩니다.

단일 구성요소 개입이 환각을 만들기는 하지만, 그 환각은 자연 환각과 질적으로 다릅니다. Appendix E의 예를 보면 L15 FFN 증폭은 유효한 selector 값 interface jsx-326752785 wiki-section bold underlined 를 VAR-1000000000... 같은 문법적으로 무효한 시퀀스로 바꿉니다. 반면 자연 환각인 Search make, model, or keyword 는 문법적으로 온전하되 존재하지 않는 요소를 가리킵니다.


🔗 2. 공동 개입 (Table 1)

Sun et al.과 같은 방식으로 FFN 집합에 계수 $\beta$, 어텐션 헤드 집합에 계수 $\alpha$ 를 곱합니다. 지표는 Fix(환각이 유효로 바뀐 비율)와 Break(유효가 환각으로 바뀐 비율)입니다. Table 1은 $\alpha=3$, $\beta=0.5$ 기준입니다.

어텐션 헤드 FFN 층 Fix (↑) Break (↓)
L22 (전체 헤드) 22, 23, 24 8.9% 2.4%
L22, L27 (전체 헤드) 22, 23, 24 5.9% 27.6%
인과 귀인 상위 10개 (Figure 2b) 13, 15, 24 4.4% 3.5%
인과 귀인 상위 10개 (Figure 2b) 22, 23, 24 4.5% 4.6%
상관 차이 상위 10개 (Figure 2c) 22, 23, 24 6.3% 2.5%

인과 귀인으로 고른 상위 10개 헤드와 일관되게 환각을 유발한 3개 FFN을 겨냥한 개입은 4.4% 수정·3.5% 파괴에 그칩니다. 광범위한 탐색(Appendix F) 중 최선은 L22 전체 헤드 증폭 + L22–24 FFN 절반으로 8.9% 수정·2.4% 파괴인데, 이 구성요소들은 (L24를 제외하면) 개별 개입에서는 환각에 유의하게 기여하지 않았던 것들입니다.

논문은 Table 1의 두 번째 행(L22, L27 전체 헤드)의 FFN 열을 22, 23, 24로 적지만, 같은 구성으로 보이는 Appendix F Table 3의 행(5.87 / 27.58)은 FFN 개입이 “—”(없음)으로 표기되어 있습니다. 어느 쪽이 맞는지 본문은 설명하지 않습니다.


🧮 3. 해석

계산이 이 구성요소들에 국소화되어 있다면 겨냥 개입은 일관된 개선을 내야 합니다(Sun et al. 2025; Meng et al. 2022; Wang et al. 2023). 그렇지 않고 여러 구성에서 높은 수정률과 높은 파괴율이 동시에 나타난다는 사실은, 환각이 단일 구성요소 귀인으로는 설명되지 않는 방식으로 분산·결합되어 있음을 시사합니다.

💡 Key Takeaway L22 헤드가 근거화에 역할이 있다는 것은 인과·상관 양쪽에서 확인됩니다. 그러나 “역할이 있다”와 “거기서 결정된다”는 다릅니다. 최선의 조합도 환각의 9%만 고친다는 수치가 그 간극의 크기입니다.

회로 발견 2: 개입 구성 탐색의 전체 결과 (Appendix F, Table 3)

Table 3은 수정률에서 파괴율을 뺀 순효과(Net %) 순으로 정렬된 전체 탐색 결과입니다. 헤드 집합·FFN 집합·$\alpha$ 를 바꿔 가며 selector_value_start 에서 개입합니다. 아래는 표 전체를 옮긴 것입니다.


📊 1. 순효과가 양인 구성

어텐션 헤드 FFN $\alpha$ Fix% Brk% Net%
L22 (all) L22–L24 ×0.5 3 8.90 2.37 6.53
L22 (all) L22–L23 ×0.5 3 7.95 2.03 5.92
L22 (all) L0, L5, L22–L24 ×0.5 3 8.33 2.54 5.80
L22 (all) L22–L23 ×0.5, L20 ×1.5 3 7.01 1.52 5.48
L22 (all) L22 ×0.5, L20 ×1.5 3 5.87 1.02 4.86
L22 (all) L22 ×0.5 3 6.25 2.37 3.88
L22 (all) L22 ×0.8 3 5.49 1.69 3.80
L22 (all) — 3 5.11 1.35 3.76
L21H5, L22H1,3,4,6,7,23,24,27, L26H14 L22–L24 ×0.5 3 6.25 2.54 3.71
L20H21, L21H5, L22H4,6,7,23,24,27, L26H14 L13, L15, L24 ×0.5 3 4.73 1.86 2.87
L22 (all) L22–L24, L27 ×0.5 3 7.77 5.75 2.01
L25H23 L23–L24 ×0.5 2 2.08 0.17 1.91
L22 (all) L22–L27 ×0.5 3 8.33 7.11 1.23
L14H3,6,12, L15H1, L17H1, L19H16,19,26, L25H23, L26H27 L13, L15, L24 ×0.5 3 4.36 3.55 0.80
L22H0,1,3,4,24,27 — 5 5.30 4.57 0.73
L22H4, L25H23 — 3 1.70 1.02 0.69
L25H23 L10–L19, L23–L24 ×0.8 3 1.89 1.35 0.54

📉 2. 순효과가 음인 구성

어텐션 헤드 FFN $\alpha$ Fix% Brk% Net%
L14H3,6,12, L15H1, L17H1, L19H16,19,26, L25H23, L26H27 L22–L24 ×0.5 3 4.55 4.57 −0.02
L22 (all) L22 ×0.8 5 7.58 7.61 −0.04
L22 (all) — 5 7.39 7.45 −0.06
L14H3,6,12, L15H1, L17H1, L19H16,19,26, L25H23, L26H27 L13, L15, L24 ×0.5, L20 ×1.5 3 3.98 4.57 −0.59
L14H3,6,12, L15H1, L17H1, L19H16,19,26, L25H23, L26H27 — 3 3.60 4.23 −0.63
L22H0,4,24,27, L25H23 — 5 3.60 4.23 −0.63
L22H4, L25H23 L10, L15, L24 ×0.8, L20 ×1.2 5 2.46 3.21 −0.75
L14H3,6,12, L15H1, L17H1, L19H16,19,26, L25H23, L26H27 L23–L25 ×0.5, L20 ×1.5 3 4.17 5.08 −0.91
L22H0,4,24,27, L25H23 L15 ×0.8 5 3.03 4.40 −1.37
L22H0,1,3,4,24,27 — 5 5.30 6.77 −1.47
L25H23 L20 ×2 4 1.33 3.21 −1.89
L22H0,1,3,4,24,27, L25H23 L20 ×2 5 5.11 7.45 −2.33
L22H1,4,22,24,27, L25H23 L15 ×0.8 5 4.92 7.61 −2.69
L25H23 L10–L19, L23–L24 ×0.5 1.5 2.65 6.60 −3.95
L25H23, L26H26 L20 ×3 3 2.84 9.31 −6.47
L25H23 L20 ×3 3 2.65 9.64 −6.99
L22H0,1,3,4,24,27, L25H23 L20 ×3 3 3.60 11.51 −7.91
L25H23 L20 ×3 10 2.84 22.67 −19.83
L22H1,3,4,24,27 L5 ×0.5 15 7.33 27.75 −20.42
L22 (all), L27 (all) — 3 5.87 27.58 −21.71
L22H0,1,3,4,24,27, L25H23 L20 ×3 10 5.49 38.58 −33.09
L22H0,1,3,4,24,27, L25H23 — 15 4.55 62.61 −58.06
L22H0,1,3,4,24,27, L25H23 L20 ×3 15 5.30 69.04 −63.73
L25H23 L20 ×5 5 1.14 73.60 −72.47
L25H23 L20 ×10 10 0.19 100.00 −99.81
— L15 ×10 1 0.00 100.00 −100.00
— L10–L19, L23–L24 ×10 1 0.00 100.00 −100.00

🔎 3. 표에서 읽히는 것

  • 양의 순효과는 거의 전부 L22 전체 헤드 + $\alpha=3$ 조합에 집중됩니다. 같은 헤드 집합에서 $\alpha$ 를 5로 올리면 수정률은 소폭 오르지만 파괴율이 그만큼 올라 순효과가 0 근처로 떨어집니다.
  • 근거화에 양의 기여를 하던 L20 FFN을 증폭(×2, ×3, ×5, ×10)하는 것은 일관되게 파괴율만 키웁니다. 개별 분석에서 “좋은” 구성요소를 키우는 것이 전체 행동을 개선하지 않습니다.
  • 어떤 구성도 수정률이 9%를 넘지 못합니다. 탐색 범위를 넓혀도 상한이 움직이지 않는다는 점이 “분산된 계산”이라는 주장의 실질적 근거입니다.
  • Appendix E는 Configuration A(L25H23 ×4, L20 ×2)의 파괴율을 3.6%, B(×5, ×5)를 74.9%, C(×10, ×10)를 99.9%로 적는데, Table 3의 대응 행은 각각 3.21%, 73.60%, 100.00%입니다. 작은 차이이지만 본문은 이를 설명하지 않습니다.

💡 Key Takeaway 탐색 표는 “더 열심히 찾으면 회로가 나온다”는 기대에 대한 반례 역할을 합니다. 40여 개 구성 중 최선이 순효과 6.5%이고, 그 바로 아래 구성들도 같은 L22 헤드 집합의 변형일 뿐입니다.

회로 발견 3: 활성 패칭과 입력 위치의 국소성 (Appendix G, Table 2)

구성요소가 아니라 입력의 어느 부분이 환각 헌신을 부호화하는지를 보기 위해, 저자들은 모델이 selector 값 시작에서 “Search”를 생성한 사례에 한정해 활성 패칭(Meng et al. 2022)을 적용합니다.


📐 1. 절차

후보 입력 구간(selector 시작, 과제 설명, 행동 목록)을 가우시안 잡음으로 손상시킨 뒤, 각 (층, 토큰 오프셋) 쌍에서 clean 은닉 상태를 복원하고 selector 값 위치의 $P(\texttt{Search})$ 회복량을 잽니다. 잔차·어텐션·FFN 복원을 각각 따로 봅니다(Figure 9–11의 전체 히트맵).


📊 2. 결과 (Table 2)

“Corrupted $P$”는 복원 전 평균 $P(\texttt{Search})$ 이고, 아래 행은 구성요소별 최대 인과 회복량 $\Delta P(\texttt{Search})$ 와 그 층·오프셋입니다.

  selector 시작 과제 설명 행동 목록
Corrupted $P$ 0.682 0.672 0.325
잔차(Residual) 0.013 (L6, −4) 0.012 (L27, 0) 0.360 (L27, 0)
어텐션 0.009 (L27, 0) 0.011 (L23, 0) 0.075 (L22, 0)
FFN 0.008 (L18, 0) 0.009 (L18, 0) 0.067 (L21, 0)

행동 목록을 손상시키면 $P(\texttt{Search})$ 가 가장 크게 떨어지고(0.325), L27 잔차를 복원하면 최대 0.36의 확률 질량이 돌아옵니다. selector 시작과 과제 설명은 복원 효과가 0.02 미만입니다. 그러나 어텐션(0.075)과 FFN(0.067) 개별 복원은 잔차 복원에 크게 못 미칩니다. 정보가 두 메커니즘 중 하나에 있는 것이 아니라 양쪽에 분산되어 있다는 뜻입니다.


🧩 3. 왜 이것이 “부분적” 결과인가

사실 회상에서는 주어 토큰이 인과적이라는 것을 알면 Eiffel Tower 를 Colosseum 으로 바꿔 Paris 를 Rome 으로 옮기는 개입이 바로 따라옵니다. 여기서는 행동 목록이 중요하다는 것을 알아도 목록의 어떤 속성이 헌신을 만드는지 드러나지 않아 개입의 손잡이가 없습니다.

더 근본적으로, 손상시켜야 할 입력 구간 자체가 표본마다 다릅니다. Figure 3은 유효 스텝의 행동 목록을 손상시킨 효과를, 에이전트가 고른 selector 값이 프롬프트의 다른 곳에도 나타나는지에 따라 나누어 보여줍니다. 행동 목록이 유일한 출처일 때만 결정이 바뀌고, 유효 스텝의 절반에서는 에이전트가 같은 값을 이전 스텝에서 이미 썼기 때문에 행동 이력에서 그 값을 복구합니다. 활성 패칭이나 EAP-IG(Hanna et al. 2024) 같은 손상 기반 방법이 가정하는 “손상 구간 = 정보 출처”가 성립하지 않습니다.

💡 Key Takeaway 활성 패칭은 “행동 목록이 중요하다”까지는 답하지만 “어떻게”에는 답하지 못합니다. 게다가 정보 출처가 표본에 따라 목록과 이력 사이를 오가므로, 단일 구간 손상으로 정의되는 인과 추적은 표본의 절반에서 애초에 적용되지 않습니다.

회로 발견 4: 상태 있는 환경에서 반사실 만들기 (Appendix H, Table 4)

유효 시행과 환각 시행을 짝지어 직접 패칭하려면 한 차원만 통제된 구조적으로 일치하는 프롬프트 쌍이 필요합니다. 서로 다른 페이지·과제·URL·행동 이력에서 온 행동들은 그런 쌍이 될 수 없으므로, 저자들은 가장 자연스러운 대안을 시험합니다. step 0에서 모델이 고른 유효 행동을 목록에서 제거하고 다시 실행하는 것입니다.


📊 1. 궤적 발산

Step Selector 일치 (%) DOM Jaccard $\Delta$ 환각률 (%)
0 – 1.000 +38.0
1 28.1 0.521 −8.5
2 22.2 0.634 −6.7
3 27.3 0.672 +12.1

Selector 일치는 원 궤적과 반사실 궤적이 같은 행동을 고른 쌍의 비율, DOM Jaccard는 두 궤적이 도달한 페이지의 단어 수준 Jaccard 유사도, $\Delta$ 는 반사실 환각률에서 원 환각률을 뺀 값입니다.


⚠️ 2. 두 가지 문제

첫째, 선택된 행동을 제거해도 step 0에서 38%만 환각으로 이어집니다. 환각은 “선택된 행동이 없어서” 생기는 것으로 고립되지 않으며, 활성 패칭에 필요한 대조 행동을 안정적으로 만들지 못합니다.

둘째, step 1에서 selector 일치가 약 25%(표상 28.1%)로 떨어지고 DOM Jaccard가 0.52가 됩니다. 두 실행은 한 스텝 만에 웹사이트의 전혀 다른 부분을 돌아다니고 있습니다. step 2 이후의 상태에서 만든 표현은 의미 있게 교환될 수 없고, 활성 패칭이 요구하는 짝지은 시행 가정이 무너집니다. 이것이 3절에서 말한 정상성 위반의 구체적 모습입니다.

💡 Key Takeaway 정적 과제의 반사실은 “하나만 바꾼 입력”이지만, 에이전트의 반사실은 “하나만 바꾼 입력에서 출발한 다른 궤적”입니다. 하나의 통제된 차이가 한 스텝 뒤에 연쇄 발산(cascading divergence)으로 바뀝니다.

특징 식별 1: 선형 프로브와 시간적 국소성 (Figure 4)

회로 발견이 막힌 뒤, 저자들은 환각과 유효 행동의 구분이 안정된 내부 표현에 대응하는지를 프로브로 확인합니다.


🧪 1. 설정

  • 위치: prompt_end, selector_start, selector_value_start 세 곳의 잔차 스트림.
  • 층: 28개 층 각각에 독립 프로브.
  • 분할: 300 에피소드를 에피소드 단위로 70/15/15 분할. 학습 1,433 행동, 개발 282, 테스트 356.

📈 2. 결과

세 위치 모두에서 프로브가 테스트 집합에서 잘 작동합니다. 주목할 것은 prompt_end 입니다. 생성 전 활성으로 학습한 프로브가 L18에서 테스트 AUC 0.80 에 도달합니다. 모델이 출력 토큰을 하나도 내놓기 전입니다. selector_start 에서는 L0에서도 신호가 훨씬 강해지고, selector_value_start 에서는 첫 층부터 강한 신호가 층을 따라 완만하게만 개선됩니다.


🧭 3. 해석: 시간적 국소성 위반

환각 행동에 대한 헌신은 생성이 시작되기 전에 이미 잔차 스트림의 선형 분리 가능한 방향으로 부호화되어 있고, 이전 타임스텝에서 누적된 맥락과 환각이 드러나기 여러 토큰 전의 정보에 영향을 받을 수 있습니다. 환각이 나타나는 시점에 결정이 부호화되는 것이 아니라, 그 전부터 존재하고 위치를 따라 점진적으로 강해집니다. 이것이 시간적 국소성 가정의 위반입니다.

💡 Key Takeaway 프로브 결과는 긍정적 결과이면서 동시에 경고입니다. 탐지는 생성 전에 가능하지만, “어느 토큰에서 결정됐는가”라는 질문에는 “그 전에”라는 답밖에 돌아오지 않습니다.

특징 식별 2: 프로브 기반 표현 조향과 형식 의존성 (Appendix I, Table 5–6)

프로브가 찾은 방향이 출력의 인과적 상류인지 확인하기 위해 저자들은 프로브 가중치로 조향 벡터를 만듭니다.


📐 1. 조향 벡터

$$ \hat{\mathbf{v} } = -\frac{\mathbf{w}/\boldsymbol{\sigma} }{|\mathbf{w}/\boldsymbol{\sigma}|} $$

$\mathbf{w}$ 는 학습된 선형 프로브 가중치, $\boldsymbol{\sigma}$ 는 학습 분할의 특징별 표준편차입니다. 정규화된 프로브 공간의 가중치를 비정규화 활성 공간으로 되돌린 뒤 단위 벡터로 만들고, 부호는 프로브 결정 경계의 유효 쪽을 가리키도록 고릅니다. 강도 $\alpha\in{10,20,40,60,80}$ 를 훑으며 수정률(확인된 환각 사례 중 유효로 바뀐 비율)과 파괴율(확인된 유효 사례 중 환각으로 바뀐 비율)을 잽니다.


📊 2. 여섯 (위치, 층) 구성의 결과 (Table 5, 수정 / 파괴 %)

위치 층 $\alpha=10$ $\alpha=20$ $\alpha=40$ $\alpha=60$ $\alpha=80$
prompt_end 18 14.6 / 0.8 36.6 / 1.5 41.5 / 10.8 29.3 / 29.5 0.0 / 100.0
prompt_end 26 0.0 / 0.0 2.4 / 2.3 4.9 / 3.1 4.9 / 3.1 12.2 / 2.3
selector_start 17 43.9 / 0.0 75.6 / 3.1 85.4 / 7.0 48.8 / 30.2 0.0 / 96.9
selector_start 18 34.2 / 3.1 56.1 / 2.3 82.9 / 7.0 85.4 / 14.0 2.4 / 91.5
selector_value_start 18 14.6 / 4.6 46.3 / 10.1 46.3 / 19.4 12.2 / 57.4 0.0 / 100.0
selector_value_start 21 9.8 / 3.9 14.6 / 7.0 17.1 / 29.5 29.3 / 33.3 14.6 / 40.3

selector_start 의 L17·L18이 가장 효과적이어서 $\alpha=40$ 에서 각각 85.4%·82.9% 수정에 파괴 7.0% 입니다. prompt_end 와 selector_value_start 는 뚜렷이 약합니다. 어느 구성이든 $\alpha$ 를 지나치게 키우면 파괴율이 급등해 $\alpha=80$ 에서는 거의 모든 유효 행동이 깨집니다.

이 결과는 selector_start 위치에서 방향의 인과적 역할을 확인해 주지만, 저자들은 각주에서 이것이 국소성 가정을 만족시키지는 않는다고 덧붙입니다. 어떤 구성요소나 입력 속성이 그 효과를 만드는지는 여전히 불명확하기 때문입니다.


🔀 3. 형식을 바꾸면 (Table 6)

같은 300 과제·같은 selector를 유지한 채 행동 목록을 JSON 배열에서 번호 매긴 마크다운 목록으로 바꾸고 출력도 같은 목록 형식으로 지시합니다(Appendix J). 원 JSON 형식에서 학습한 selector_start L17 벡터를 그대로 적용합니다.

  $\alpha=10$ $\alpha=20$ $\alpha=40$
원 형식 43.9 / 0.0 75.6 / 3.1 85.4 / 7.0
OOD 형식 19.4 / 0.0 41.9 / 2.3 58.1 / 7.0
$\Delta$ 수정 −24.5 −33.7 −27.3

$\alpha=40$ 에서 수정률이 약 27 포인트 떨어지고 파괴율은 거의 같습니다. 모든 $\alpha$ 에서 간극이 일관되다는 것은 조향 효과가 환각 방향 자체가 아니라 프롬프트 형식과 얽혀 있다는 뜻입니다. 프로브 일반화 결과(Figure 6)도 같은 방향입니다. 형식을 바꾸면 프로브의 층별 ROC-AUC가 크게 떨어지는데, 이는 프로브가 그 데이터를 다른 형식으로는 이미 본 상태에서 나온 결과입니다.

💡 Key Takeaway 85%는 이 논문에서 가장 큰 수치이지만 가장 조건부인 수치이기도 합니다. 행동 목록의 표기법 하나를 바꾸면 27 포인트가 사라집니다. 프로브가 배운 것은 “환각”이라기보다 “이 형식에서의 환각”입니다.

특징 식별 3: 사전학습 SAE의 분포 불일치 (Appendix K, Figure 7)

마지막으로 저자들은 환각과 관련된 해석 가능한 특징을 추출할 수 있는지 사전학습 SAE로 확인합니다.


🧪 1. 설정

항목 값
SAE Qwen2.5-7B-Instruct용 공개 체크포인트, BatchTopK 아키텍처
사전 크기 131,072 특징
희소성 토큰당 $k=64$ 활성 특징
분석 층 L27 (Table 2에서 인과 회복이 가장 큰 층)
위치 selector_value_start, 행동 목록 구간

각 인스턴스의 잔차 표현을 SAE에 통과시켜 특징별로 모든 토큰에 걸친 최대 활성을 취하고(해당 위치에서 적어도 한 번 활성화되었는지의 스칼라), 클래스(환각/유효)별로 평균한 뒤, 언임베딩 행렬과의 내적으로 각 특징이 가장 촉진하는 토큰을 찾습니다.


📉 2. 결과

클래스 간 절대 차이 상위 10개 특징은 대부분 관찰된 환각 행동과 무관한 토큰을 촉진하며 해석 가능한 설명을 내놓지 못합니다. 텍스트로 사전학습된 SAE가 에이전트 상호작용에서만 나타나는 특징을 부호화하기 어렵다는 3절의 주장이 그대로 확인됩니다.

💡 Key Takeaway 프로브는 분포에 과적합되고, SAE는 분포에 미치지 못합니다. 둘 다 “어떤 데이터로 특징을 정의했는가”의 문제이며, 에이전트 궤적으로 학습한 특징 사전이 없다는 공백을 가리킵니다.

에이전트 MI를 위한 로드맵 (Section 5)

5절은 사례 연구의 각 막힘을 하나의 연구 방향으로 바꿉니다.


🗺️ 1. 여섯 방향

방향 문제 요구 사항
에이전트용 MI 벤치마크 기존 MI 벤치마크(Wang et al. 2023; Mueller et al. 2025; Karvonen et al. 2025; Gao et al. 2025)는 에이전트 응용이 없음 과제·모델뿐 아니라 환경, 궤적 분포, 궤적 수준 실패와 그 유발 요인의 정답, “올바른 기계론적 설명”의 정의와 충실성·완전성·실용성 평가 방법
단일 위치/구성요소 귀인 너머 최선의 공동 개입이 8.9%만 수정(Table 1), 어떤 단일 구성요소도 환각 패턴을 재현 못 함(Figure 2) 다중 토큰 응답 귀인(Pan et al. 2026)과 분산 행동의 개입 지점 식별(Sankaranarayanan et al. 2026)을 넘어, 여러 타임스텝·환경 상태에 분산된 실패를 귀인하는 방법
상태 있는 환경의 반사실 행동 제거는 38%에서만 환각을 만들고 한 스텝 내 발산(Appendix H), 목록 손상은 이력에 같은 값이 있으면 무효(Figure 3) Tsirtsis et al. 2021, Triantafyllou et al. 2025는 알려진 상태 공간과 비교 가능한 궤적을 가정. 무한 행동 공간과 가변 관측의 개방형 환경에 맞는 반사실 구성·근사 방법
에이전트 분포용 특징 발견 SAE 상위 특징이 무관한 토큰 촉진(Figure 7), 프로브 방향이 형식 변경에 비전이(Figure 6) 에이전트 궤적으로 학습한 SAE, 더 풍부한 기하 구조를 잡는 방법, 에이전트용 특징 온톨로지(목표 추적·다단계 전략 헌신·환경 모델링은 현 온톨로지(Lin 2023)에 대응물이 없고 선형 방향으로 잘 잡히지 않을 수 있음(Bhalla et al. 2026))
타임스텝 간 믿음 추적 출력에서 실패가 보여도 모델이 언제 잘못된 전략에 헌신했는지, 환경 이해가 어떻게 변했는지 알 수 없음 층과 타임스텝 양쪽에 걸쳐 계획의 출현을 추적하고, 개방 탐색에서 고정 계획으로 전환하는 시점과 후보 선택 휴리스틱을 식별. 믿음 진화 연구(Yalon et al. 2026; Lubana et al. 2026; Lepori et al. 2025; Lampinen et al. 2026)를 장기 의존·도구 상호작용·행동-관측 루프로 확장
에이전트 유형 간 보편성 특징·회로의 재등장 가설(Wang et al. 2025; Chughtai et al. 2023)이 에이전트 유형 간에도 성립하는지 미지 웹 에이전트의 계획 회로가 체화 에이전트나 코드 생성 에이전트에도 나타나는지 확인. 성립하면 설정 간 지식 축적이 가능

🌐 2. 웹 에이전트 너머 (Appendix A)

저자들은 같은 난점이 다른 에이전트에도 있다고 주장합니다. 체화 에이전트는 단순 환경에서도 경로·동작 계획에 실패하고, 환경에 근거하지 않은 그럴듯한 추론 사슬이 전제 조건을 위반하는 행동 시퀀스에 헌신하게 해 이후 믿음 상태를 오염시킵니다. 도구 호출 에이전트의 환각은 생성 오류가 아니라 이후 스텝이 복구할 수 없는 잘못된 도구 선택 전략에서 나옵니다(Peng et al. 2026). 코드 생성 에이전트의 실패는 개별 생성 오류가 아니라 수리 전략으로 전파되는 초기 진단 실수로 구분됩니다. 세 설정 모두에서 실패의 인과적 기원이 궤적에 분산되고, 환경 상태가 매 스텝 변하며, 실패가 모델 계산과 외부 동역학에 의해 공동 결정됩니다.

💡 Key Takeaway 로드맵의 공통 분모는 “타임스텝”입니다. 벤치마크의 정답, 귀인의 단위, 반사실의 정의, 특징의 학습 분포, 믿음의 추적 모두가 단일 전방 패스가 아니라 궤적을 기본 단위로 다시 정의되어야 한다는 것이 논문의 결론입니다.

한계와 열린 방향

논문은 결론에서 “MI 도구는 에이전트의 결정을 행동 전에 탐지하고 실패에서 벗어나게 조향할 수 있지만, 그 결정이 어떻게 내려지는지는 설명하지 못한다”고 요약합니다. 이 결론의 범위를 제한하는 조건들을 정리합니다.


⚠️ 1. 설계상의 범위

  • 단일 모델·단일 실패 유형 : 모든 분석은 Qwen2.5-7B-Instruct 하나와 웹 요소 환각 하나에 대한 것입니다. Appendix A의 일반화 주장은 문헌 인용에 기반한 논증이지 실험이 아닙니다.
  • 단일 분할·단일 시드 : 프로브와 조향은 300 에피소드의 한 번의 70/15/15 분할로 보고되며, 분산은 제시되지 않습니다.
  • 행동 공간 제약 : CLICK/SCROLL/TYPE/HOVER의 최소 행동 공간은 원 Mind2Web을 따른 것으로, 더 풍부한 행동 공간에서 환각의 성격이 같은지는 다루지 않습니다.
  • SAE 분석의 범위 : L27·selector_value_start 한 지점에서 공개 BatchTopK SAE 하나만 썼습니다. 다른 층·다른 SAE·에이전트 데이터로 학습한 SAE는 시험되지 않았으므로, “사전학습 SAE가 실패한다”는 결론은 이 구성에 한정됩니다.

🔒 2. 결과 해석의 주의점

  • 조향의 85.4%/7.0%는 $\alpha=40$ 하나의 값이며, $\alpha=60$ 에서는 같은 벡터가 48.8%/30.2%로 급변합니다. 강도 선택이 테스트 결과를 보고 이루어졌는지 개발 집합에서 이루어졌는지는 명시되지 않았습니다.
  • Table 1과 Table 3 사이의 FFN 열 불일치(L22, L27 전체 헤드 행), Appendix E와 Table 3 사이의 파괴율 차이(3.6 vs 3.21, 74.9 vs 73.60, 99.9 vs 100.00)는 본문에서 설명되지 않습니다.
  • “분산된 계산”이라는 결론은 시험한 개입 방법의 실패에서 추론된 것입니다. 저자들도 로드맵에서 인정하듯, 다중 토큰·다중 타임스텝 귀인 방법이 같은 데이터에서 국소화된 설명을 찾을 가능성은 배제되지 않았습니다.

❓ 3. 열린 질문

  • prompt_end 프로브가 L18에서 AUC 0.80이라는 것은 생성 전 탐지기로 쓸 수 있다는 뜻이지만, 형식을 바꾸면 얼마나 떨어지는지(Figure 6은 세 위치를 보고하지만 수치는 본문에 없음)가 실용성을 결정합니다.
  • Figure 3에서 “이력에 같은 값이 있는 유효 스텝”이 절반이라면, 환각 스텝에서도 이력이 출처인 경우가 있는지, 즉 이전 스텝의 환각이 다음 스텝에 복제되는지는 흥미로운 후속 질문입니다.
  • 로짓 렌즈에서 L24의 중국어 “搜索”가 영어 “Search”보다 먼저 나타나는 현상은 다국어 모델의 개념 표현 연구와 연결될 수 있지만, 논문은 관찰에 그칩니다.