You know maize mean?
Can LLMs Faithfully Solve Ontology Engineering Tasks? A Mechanistic Interpretability Study
0. Summary
- 기본 정보 : ArXiv,2026.10.28, Can LLMs Faithfully Solve Ontology Engineering Tasks? A Mechanistic Interpretability Study
- 연구 배경 : 형식 온톨로지(formal ontology)는 클래스·관계·제약·계층을 정의해 지식 표현과 추론을 떠받치는 스키마 수준 지식이다. LLM이 온톨로지 구축·완성·정렬·평가의 보조자로 쓰이기 시작했지만, 기존 평가는 모델이 올바른 라벨이나 공리(axiom)를 출력하는지만 보는 행동 수준(behavioral) 평가에 머물러 있어, 정답이 실제로 온톨로지 관계를 추적하는 내부 계산에서 나온 것인지(faithfulness)는 알 수 없었다. 기계론적 해석가능성 연구도 대부분 인스턴스 수준의 사실 지식(factual knowledge)에 집중했고, 주체의 유형·분류학적 위치·적용 가능한 제약을 결정하는 온톨로지 수준 지식은 거의 다루지 않았다.
- 제안 방법 : 온톨로지 공학(ontology engineering)의 두 기본 과제인 개체 유형 분류(entity typing,
instance of)와 포섭 예측(subsumption prediction,subclass of)을 인과 추상화(causal abstraction) 문제로 정식화한 벤치마크 MIOE(Mechanistic Interpretability for Ontology Engineering)를 제안한다. 각 주체(subject)에 대상 온톨로지 변수(유형 또는 상위 클래스)와 클래스별 보조 속성(auxiliary attribute)을 짝지어, 학습된 내부 개입 대상에 교환 개입(interchange intervention)을 가했을 때 대상 답은 소스 주체의 값으로 바뀌면서(Cause) 보조 속성 답은 베이스 주체의 값으로 유지되는지(Iso)를 잰다. Wikidata·WordNet·schema.org에서 54개 클래스·1,099개 개체(instance of)와 39개 클래스·1,113개 개념(subclass of)을 추출하고, 과제 템플릿과 Wikipedia 문맥 프롬프트를 함께 제공한다. Qwen3-4B·Qwen3-8B에서 SAE, DBM, DAS와 다중 과제 변형 MDBM·MDAS를 36개 층 전부에서 평가하고, DAS·MDAS를 연속 2·4층 윈도우로 확장한 다층(multi-layer) 변형을 추가한다. - 발견 사실 : (1) 분산 부분공간 방법(DAS·MDAS)이 가장 강하며, Qwen3-8B 단층 MDAS의 Disentangle은 instance of에서 Entity/Context 0.592/0.587, subclass of에서 0.513/0.542로 held-out 프롬프트에서도 유지된다. Qwen3-4B에서도 MDAS > DAS > MDBM > DBM > SAE 순서가 그대로 재현된다. (2) 다중 과제 목적함수는 Iso를 평균 0.081 올리고 Cause를 평균 0.052 낮춰 Disentangle을 개선한다. (3) 연속 층 윈도우 개입이 같은 총 차원의 단층 개입보다 낫다. instance of에서 DAS $512\times 4$ 는 0.667, MDAS $256\times 4$ 는 0.666으로 단층 대비 최대 +0.102이며, 총 차원 1024가 같아도 $256\times 4$ 가 $512\times 2$ 를 앞서 차원 수만으로는 설명되지 않는다. (4) 클래스별 편차가 크다. airport·country·currency·university처럼 속성 프로파일이 규칙적인 클래스는 높고, body of water·food·material처럼 넓고 이질적인 클래스는 낮다. 클래스 순위는 모델 크기 간 Spearman $\rho$ 0.67–0.83으로 안정적이지만 베이스/소스 역할 간 상관은 −0.08–0.27에 그쳐 역할 비대칭이 뚜렷하다.
- 핵심 기여 :
- 온톨로지 공학의 인과 추상화 정식화 : 온톨로지 지식 평가를 행동적 정확도에서 검증 가능한 내부 개입으로 옮겨, 대상 공리 변수의 교체와 보조 변수의 불변성을 동시에 요구하는 충실성 검사를 정의했다.
- MIOE 벤치마크 : entity typing과 subsumption prediction을 덮는 대상 질의·클래스별 보조 속성·프롬프트 변형(과제 템플릿 + Wikipedia 문맥)을 제공하고, Entity(held-out 주체)와 Context(held-out 템플릿) 두 평가 설정을 정의했다.
- 체계적 실증 분석 : Qwen3 두 모델에서 SAE·DBM/MDBM·DAS/MDAS를 비교해 온톨로지 예측이 인과적으로 접근 가능하지만 부분적으로만 분리됨을 보였고, 다중 과제 목적과 연속 다층 윈도우가 보존과 전체 개입 품질을 함께 높인다는 점, 그리고 클래스·역할·쌍 수준에서 난이도가 체계적으로 갈린다는 점을 밝혔다.
Abstract 쉬운 설명(Gemini)
관련 개념
온톨로지 지식과 충실성(faithfulness) 문제
형식 온톨로지는 클래스, 관계, 제약, 계층을 정의하는 스키마 수준 지식입니다. 지식 그래프의 구조화된 표현, 의미 추론, 데이터 통합이 모두 이 위에서 동작합니다. 최근 LLM은 온톨로지 학습(LLMs4OL), 포섭 추론, 온톨로지 정렬(BERTMap), 요구사항 도출, 온톨로지 평가 등 전통적으로 온톨로지 엔지니어와 도메인 전문가가 맡던 과제의 보조자로 탐색되고 있습니다.
🧩 1. 행동 평가의 한계
기존 연구는 LLM이 기초적인 온톨로지 과제는 잘 하지만, 온톨로지 평가 같은 고급 과제에서는 성능이 낮고 예측하기 어렵다고 보고합니다. 어떤 과제는 잘 하고 어떤 과제는 실패한다는 사실은 온톨로지 지식이 불완전하고 고르지 않게 접근 가능하다는 뜻입니다. 그런데 기존 평가는 대부분 “주어진 프롬프트에서 올바른 라벨·공리·판단을 출력하는가”라는 행동 수준 질문에 머물러 있습니다. 이런 평가는 필요하지만, 답이 어떤 메커니즘으로 만들어지는지는 알려주지 않습니다.
🎯 2. 충실성의 정의
논문은 충실성(faithfulness)을 “모델의 출력이 그것을 만들어낸 내부 과정을 얼마나 반영하는가”로 정의합니다(Wiegreffe & Pinter 2019; Jacovi & Goldberg 2020). 온톨로지 맥락에서는 “정답 출력이 실제로 관련 온톨로지 관계를 추적하는 내부 계산에 의해 뒷받침되는가, 그리고 그 계산이 더 넓은 주체 정보와 어떻게 상호작용하는가”가 질문이 됩니다.
🔎 3. 사실 지식과 온톨로지 지식의 차이
기존 기계론적 해석가능성 연구는 사실 연관(factual association)의 위치 추적·편집·인과 역할·피처 분리에 집중했습니다(Geva et al. 2022; Dai et al. 2022; Meng et al. 2022; RAVEL). 그러나 사실 속성은 주체의 국소적 성질(예: 도시의 인구)을 담는 반면, 온톨로지 관계는 주체의 유형, 분류학적 위치, 적용 가능한 제약과 속성을 결정합니다. 예를 들어 어떤 개체가 city인지 country인지가 정해져야 “수도가 무엇인가”라는 속성이 의미를 갖습니다. 이 때문에 온톨로지 지식은 해석가능성 연구의 독립적인 대상이 됩니다.
❓ 4. 세 가지 연구 질문
- 학습된 내부 개입 대상이 entity typing과 subsumption prediction에서 온톨로지 수준 변수가 규정하는 반사실적(counterfactual) 행동을 재현할 수 있는가?
- 학습된 내부 개입이 온톨로지 대상 변수를 바꾸면서 클래스별 보조 변수는 불변으로 둘 수 있는가?
- 개입 방법, 표현 위치(층), 프롬프트 유형, 온톨로지 클래스가 대상 관계 개입 효과와 보조 정보 보존에 어떤 영향을 주는가?
💡 Key Takeaway 온톨로지 과제에서 정답을 맞힌다는 것과 온톨로지 관계를 추적하는 내부 메커니즘이 있다는 것은 다른 문제입니다. 논문은 행동 정확도 대신 내부 개입으로 검증 가능한 충실성을 묻습니다.
인과 추상화와 교환 개입
🧠 1. 기계론적 해석가능성의 두 흐름
기계론적 해석가능성은 블랙박스 모델의 내부 계산을 투명하고 사람이 읽을 수 있는 알고리즘으로 역공학하는 것을 목표로 합니다. 핵심 난관은 다의성(polysemanticity)으로, 하나의 구성요소나 방향이 여러 피처를 인코딩하는 현상입니다. 이는 중첩(superposition), 즉 모델이 가용 차원보다 많은 피처를 표현하는 현상과 연결됩니다. 희소 오토인코더(SAE)는 활성 벡터를 단의적(monosemantic) 해석에 유리한 희소 잠재 피처로 분해하는 대표적 접근이며, 이후 Gated SAE·BatchTopK·Group-SAE 등 구조와 학습 전략 양면에서 개선이 이어졌습니다.
보완적인 흐름은 인과 추상화(causal abstraction) 입니다. 고수준 인과 모델이 신경망의 저수준 계산에 의해 충실히 구현되는지를 묻는 틀로(Geiger et al. 2021, 2025), 교환 개입이 그 운영적 검사를 제공합니다. 이 계열의 방법으로는 축 정렬(axis-aligned) 인과 피처 마스크를 찾는 DBM(Differential Binary Masking, De Cao et al. 2020)과 해석 가능한 인과 변수에 정렬된 분산 부분공간을 학습하는 DAS(Distributed Alignment Search, Geiger et al. 2024)가 있습니다.
🔁 2. 교환 개입의 정의
모델 $\mathcal{M}$ , 저수준 개입 대상 $F$ , 베이스 입력 $x_{\mathrm{base} }$ , 소스 입력 $x_{\mathrm{source} }$ 에 대해 교환 개입은 다음과 같이 정의됩니다(Eq. 1).
$$ \mathrm{II}(\mathcal{M}, F, x_{\mathrm{base} }, x_{\mathrm{source} }) := \mathcal{M}{F \leftarrow \mathrm{GetFeature}(\mathcal{M}(x{\mathrm{source} }), F)}(x_{\mathrm{base} }) $$
즉 $x_{\mathrm{base} }$ 를 처리하는 계산에서 $F$ 의 값을 $x_{\mathrm{source} }$ 가 유도한 값으로 바꿔치기한 뒤 출력을 봅니다. 고수준 변수를 바꿨을 때 예상되는 행동 변화가 실제로 나타나면, $F$ 가 그 변수를 구현한다는 증거가 됩니다.
📚 3. 기존 벤치마크와의 관계
해석가능성은 여러 요구조건을 가져 단일 지표로 정의하기 어렵기 때문에(MIB, Mueller et al. 2025) 평가 벤치마크가 중요해졌습니다. RAVEL은 개체 속성의 피처 분리, InterpBench는 알려진 회로 복원, SAEBench는 SAE 고유 성능을 평가합니다. 피처 흡수(feature absorption, Chanin et al. 2025) 같은 실패 양상도 보고되었습니다. 그러나 이들은 개체 속성·사실 회상·합성 회로에 집중하고, 고수준 온톨로지 지식은 다루지 않았습니다. MIOE는 RAVEL의 Cause/Iso 틀을 온톨로지 관계에 맞게 적응시킨 것입니다.
💡 Key Takeaway 교환 개입은 “이 내부 표현을 바꾸면 출력이 고수준 변수의 예측대로 바뀌는가”를 묻는 인과 검사입니다. MIOE는 이 검사를 사실 속성이 아니라 온톨로지 변수에 적용합니다.
MIOE 과제 정식화: 대상 변수와 보조 변수
📐 1. 기호 정의
$\tau$ 를 대상 공리 유형이라 하면, entity typing은 $\tau = \texttt{instance of}$ , subsumption prediction은 $\tau = \texttt{subclass of}$ 입니다. $\mathcal{S}\tau$ 는 공리 유형 $\tau$ 의 주체 집합이고, $c\tau(s) \subset \mathcal{C}_\tau$ 는 주체 $s$ 의 정답 온톨로지 클래스 집합입니다.
| 공리 유형 | 주체 $s$ | 모델 예측 $y_\tau(s)$ |
|---|---|---|
instance of |
개체(entity) | 클래스 라벨 |
subclass of |
클래스 또는 개념 | 상위 클래스 |
각 주체에는 클래스별 보조 속성 집합 $\mathcal{A}(s)$ 가 딸려 있습니다. 속성 $A \in \mathcal{A}(s)$ 에 대해 모델은 속성값 $y_A(s)$ 를 예측하고, 정답은 $v_A(s)$ 입니다. 프롬프트 템플릿 $p$ 를 주체에 적용한 입력을 $x = p(s)$ 로 쓰며, $p \in {p_\tau, p_A, p_w}$ 는 각각 대상 관계 프롬프트, 보조 속성 프롬프트, Wikipedia 유래 문맥 프롬프트입니다.
🎯 2. 고수준 인과 모델
고수준 그림은 간단합니다. 주체 하나가 대상 분류학적 변수(유형 또는 상위 클래스)를 유도하고, 동시에 클래스별 보조 속성으로 드러나는 비대상 배경 정보를 가집니다. 벤치마크는 “베이스 주체의 대상 분류 값을 소스 주체의 값으로 바꾸되 베이스 주체의 보조 값은 보존한다”는 고수준 반사실에 대응하는 저수준 개입 대상 $F_\tau$ 를 해석가능성 방법이 찾아낼 수 있는지 묻습니다.
✅ 3. 성공적인 개입 대상의 두 요건
$c_\tau(s_{\mathrm{base} })$ 와 $c_\tau(s_{\mathrm{source} })$ 가 다른 베이스·소스 쌍에 대해, $F_\tau$ 는 다음 두 가지를 만족해야 합니다.
- 대상 답 교체(target-answer replacement) : 베이스 입력이 대상 관계를 질의할 때, 소스로 개입하면 예측이 베이스 주체의 대상 라벨에서 소스 주체의 대상 라벨로 바뀌어야 합니다.
- 보조 불변성(auxiliary invariance) : 베이스 입력이 보조 속성을 질의할 때, 같은 개입이 베이스 주체의 속성값을 보존해야 합니다.
논문의 예시는 다음과 같습니다. 베이스 클래스 단언이 $\mathrm{city}(\text{Amsterdam})$ , 소스 클래스 단언이 $\mathrm{country}(\text{Australia})$ 일 때, 개입 후 “Amsterdam is an instance of”는 country를 출력해야 하고, 보조 프롬프트 “‘Amsterdam’ belongs to the country of”는 여전히 베이스 보조값 Netherlands를 출력해야 합니다.
💡 Key Takeaway 개입 대상은 “유형만 바꾸고 나머지는 건드리지 않는” 외과적 수술이 가능해야 합니다. Amsterdam을 country로 만들면서도 Amsterdam이 네덜란드에 속한다는 사실은 남아 있어야 합니다.
MIOE 데이터셋 구성
📊 1. 통계
| 공리 유형 | 클래스 수 | 주체 수 | 속성 수 (클래스당 평균) | 속성값 평균 (주체당 / 속성당) | 프롬프트 템플릿 (클래스당 평균) |
|---|---|---|---|---|---|
instance of |
54 | 1,099 | 376 (7.0) | 12.0 / 2.0 | 4,288 (79.4) |
subclass of |
39 | 1,113 | 160 (4.1) | 51.8 / 17.1 | 2,095 (53.7) |
데이터는 Wikidata, WordNet, schema.org에서 표본 추출·정제했습니다. 교차 클래스 개입을 지원하기 위해 주체 집합은 다양한 고수준 클래스를 중심으로 조직됩니다.
🏗️ 2. 구성 원칙 (Appendix A)
두 가지 설계 목표가 있습니다. 첫째, 선택된 주체가 넓은 온톨로지 도메인과 인기도(popularity) 범위를 덮어야 합니다(Head-to-Tail 연구의 동기). 둘째, 주체가 너무 희귀해서 LLM이 대상 관계·보조 속성 질의 대부분에 실패하면 안 됩니다. 최종 벤치마크는 개입 없는 모델이 정답을 내는 주체–템플릿 쌍만 남기기 때문입니다.
-
instance of: 선택된 클래스마다 인기도와 Wikidata 구조화 정보량(연결된 Wikidata statement 수를 대리 지표로 사용)을 고려해 개체를 표본 추출합니다. -
subclass of: 하위 클래스 수를 대리 지표로 삼아, 하위 클래스가 여러 인기도 수준에 걸치는 상위 클래스를 선택합니다. - 필터링 전 각 클래스당 최소 10개의 후보 개체/하위 클래스를 유지합니다.
- 값이 자주 바뀌는 시간 민감 주체·속성은 피합니다.
- 정답 속성값은 Wikidata Query Service의 SPARQL로 질의하고, Wikipedia 인포박스 값과 교차 검증합니다. 충돌·누락·인포박스 근거 없음인 경우는 신뢰할 만한 웹 참조로 수작업 확인합니다.
보조 속성은 두 수준에서 정의됩니다. instance of는 인스턴스 수준(각 개체마다 속성값 지정)이고, subclass of는 클래스 수준(예: 학문 분야의 일반 연구 대상)으로 더 추상적입니다.
🗂️ 3. 클래스와 속성 예시 (Table 12·13)
| 공리 유형 | 클래스 | 주체 수 | 속성 예시 |
|---|---|---|---|
instance of |
airport | 15 | country, located in the administrative territorial entity, date of official opening, elevation above sea level, IATA airport code, ICAO airport code, airline hub |
instance of |
city | 59 | country, located in or next to body of water, population, official language, head of government, continent |
instance of |
currency | 14 | country, central bank/issuer, start time, unit symbol, applies to jurisdiction, ISO 4217 code |
instance of |
large language model | 20 | inception, publication date, operator, developer, copyright license, context window |
instance of |
protein | 20 | physically interacts with, active ingredient in, molecular function |
subclass of |
creative work | 80 | creator role, form of creative work, has subclasses |
subclass of |
flower | 14 | blooming season, flower color, is pollinated by |
subclass of |
measuring instrument | 13 | has use, measurement unit, measures |
subclass of |
food | 79 | has subclasses, physical state, vegetable or not |
subclass of |
material | 41 | has part(s), has subclasses, has use |
instance of 클래스는 academic conference, album, algorithm, animal, chemical element, company, country, disease, film, island, lake, museum, national park, painting, political party, programming language, river, software, stadium, stock exchange, television series, university, video game 등 54개이고, subclass of 클래스는 academic discipline, activity, algorithm, animal organ, astronomical object, biological process, body of water, color, disease, emotion, facility, fish, geographical feature, machine, mammal, music, organization, protein, science, sport, theory, tool, tree, vehicle 등 39개입니다.
📝 4. 프롬프트 템플릿과 두 평가 설정
프롬프트 집합은 RAVEL식 표본 추출 전략을 따라 두 부분으로 구성됩니다.
| 프롬프트 계열 | 내용 | 역할 |
|---|---|---|
| 과제별 템플릿 | entity typing, subsumption prediction, 속성 기반 질의 템플릿 | 대상 공리와 보조 속성에 대한 통제된 질의 |
| Wikipedia 기반 프롬프트 | 해당 주체를 포함하는 Wikipedia 코퍼스 문장 | 같은 주체를 자연스러운 문맥에 배치 |
두 계열로부터 두 가지 평가 설정을 정의합니다.
- Entity 설정 : 학습에 쓴 프롬프트 템플릿을 재사용하면서 held-out 주체를 평가합니다.
- Context 설정 : 학습에 쓴 주체를 재사용하면서 held-out 프롬프트 템플릿을 평가합니다.
두 설정 모두에서 소스 입력은 소스 주체로 인스턴스화되며, 온톨로지 템플릿 프롬프트나 Wikipedia 문맥 프롬프트 중 어느 것이든 쓸 수 있습니다. 이렇게 하면 찾아낸 개입 대상이 프롬프트 형식을 넘어, 문맥화된 표면 실현 아래에서도 유효한지 확인할 수 있습니다.
💡 Key Takeaway MIOE는 두 공리 유형에 대해 각각 수십 개 클래스·천여 개 주체를 제공하고, 보조 속성과 두 종류 프롬프트를 함께 묶어 “주체 일반화”(Entity)와 “프롬프트 일반화”(Context)를 분리해 평가합니다.
평가 지표: Cause, Iso, Disentangle
🧮 1. 정답 판정과 필터링
대상 클래스 라벨과 보조 속성값은 여러 표면형을 가질 수 있으므로, 예측은 허용 정답 집합과 비교합니다. 대상 관계 예측은 $y_\tau(s) \in c_\tau(s)$ 일 때, 보조 예측은 $y_A(s) \in v_A(s)$ 일 때 정답입니다. 개입 평가는 개입 없는 모델이 이미 허용 정답을 내는 프롬프트 인스턴스에서만 수행합니다. 필터링 전 기본 모델 정확도는 Table 5에 보고됩니다.
📐 2. 예시 수준 지표 (Eq. 2–3)
$\mathcal{E}^{\text{cause} }{\tau}$ 를 공리 유형 $\tau$ 의 Cause 예시 집합이라 합시다. 각 예시 $e$ 는 베이스 주체 $s{\mathrm{base} }$ , 소스 주체 $s_{\mathrm{source} }$ , 대상 관계 베이스 입력 $x_{\mathrm{base} } = p_\tau(s_{\mathrm{base} })$ , 소스 입력 $x_{\mathrm{source} }$ 로 이루어집니다.
$$ \mathrm{Cause}(e) := \mathbb{I}\left( \mathrm{II}(\mathcal{M}, F_\tau, x_{\mathrm{base} }, x_{\mathrm{source} }) \in c_\tau(s_{\mathrm{source} }) \right) $$
$\mathcal{E}^{\text{iso} }{\tau}$ 의 각 예시는 추가로 보조 속성 $A \in \mathcal{A}(s{\mathrm{base} })$ 와 보조 베이스 입력 $x_{\mathrm{base} } = p_A(s_{\mathrm{base} })$ 를 가집니다.
$$ \mathrm{Iso}(e) := \mathbb{I}\left( \mathrm{II}(\mathcal{M}, F_\tau, x_{\mathrm{base} }, x_{\mathrm{source} }) \in v_A(s_{\mathrm{base} }) \right) $$
Cause는 “개입 후 출력이 소스의 대상 클래스에 속하는가”, Iso는 “개입 후 출력이 베이스의 보조 속성값에 속하는가”를 봅니다.
📊 3. 그룹 매크로 집계 (Eq. 4–6)
점수는 원시 예시가 아니라 과제 수준에서 집계합니다. 같은 베이스 프롬프트 템플릿·분할·평가 유형을 공유하는 개입 예시를 하나의 그룹으로 묶고, 그룹 안에서 먼저 평균한 뒤 그룹 간 매크로 평균을 냅니다. 이렇게 하면 보존된 예시가 많은 프롬프트 그룹이 점수를 지배하지 못합니다.
$$ \mathrm{Cause}_\tau := \frac{1}{|\mathcal{G}^{\text{cause} }_{\tau}|} \sum_{g \in \mathcal{G}^{\text{cause} }_{\tau} } \frac{1}{|g|} \sum_{e \in g} \mathrm{Cause}(e), \qquad \mathrm{Iso}_\tau := \frac{1}{|\mathcal{G}^{\text{iso} }_{\tau}|} \sum_{g \in \mathcal{G}^{\text{iso} }_{\tau} } \frac{1}{|g|} \sum_{e \in g} \mathrm{Iso}(e) $$
최종 분리 점수는 두 값의 단순 평균입니다.
$$ \mathrm{Disentangle}\tau := \frac{1}{2}\left( \mathrm{Cause}\tau + \mathrm{Iso}_\tau \right) $$
💡 Key Takeaway Cause는 대상 답을 바꾸는 힘, Iso는 보조 답을 지키는 힘이며, Disentangle은 둘의 평균입니다. 둘 사이에는 본질적 긴장이 있어서, 한쪽을 올리면 다른 쪽이 내려가기 쉽습니다.
개입 방법: SAE, DBM, DAS
모든 단층 방법은 고정 층 $\ell$ 과 프롬프트 템플릿별 주체 토큰 위치라는 단일 잔차 스트림(residual stream) 개입 위치에서 동작합니다. 개입 예시 $e$ 는 베이스 활성 $z = h^{(\ell)}(x^{(e)}{\mathrm{base} })$ 와 소스 활성 $z’ = h^{(\ell)}(x^{(e)}{\mathrm{source} })$ 를 유도하고, 각 방법은 개입 대상 $F_\tau$ 와 개입 연산자 $\Gamma_\vartheta(z, z’)$ 를 정의해 개입된 표현 $\tilde{z}$ 를 만듭니다. 순전파에서 $z$ 를 $\tilde{z}$ 로 바꾸면 교환 개입이 됩니다.
🧱 1. SAE: 2단계 접근
SAE는 반사실적 학습(counterfactual training)의 대안으로, Cause나 Iso 감독으로 부분공간을 직접 최적화하는 대신 먼저 개입 위치 활성의 희소 잠재 표현을 학습하고, 그 다음 대상 온톨로지 관계와 연관된 잠재 피처 부분집합을 고릅니다. 인코더 출력 $a = E_\phi(z) \in \mathbb{R}^{d_{\mathrm{lat} } }$ , 디코더 복원 $\hat{z} = D_\psi(a)$ 에 대해 라벨 없는 활성으로 다음을 최소화합니다.
$$ \mathcal{L}{\mathrm{SAE} } = \mathbb{E}_z \Big[ | z - D\psi(E_\phi(z)) |2^2 + \beta | E\phi(z) |_1 \Big] $$
잠재 공간을 학습한 뒤, 잠재 활성으로 대상 온톨로지 라벨을 예측하는 희소 선형 분류기를 적합해 $F_\tau \subseteq {1, \dots, d_{\mathrm{lat} }}$ 를 선택합니다. 개입은 잠재 공간에서 수행됩니다. 선택된 잠재 차원 $i \in F_\tau$ 는 $E_\phi(z’)i$ 로, 나머지는 $E\phi(z)i$ 로 두고 디코딩합니다: $\Gamma{\mathrm{SAE} }(z, z’) = D_\psi(\tilde{a})$ .
구현(Appendix B)에서는 단층 ReLU 인코더와 선형 디코더를 쓰고, 잠재 확장비 $d_{\mathrm{lat} }/d \in {2, 4}$ 로 Qwen3-4B는 5,120/10,240, Qwen3-8B는 8,192/16,384 잠재 차원을 평가합니다. $\beta = 0.5$ , AdamW 초기 학습률 $10^{-4}$ , 가중치 감쇠 $10^{-4}$ , 초기값의 0.5까지 코사인 감쇠입니다. 피처 선택은 $\ell_1$ 정규화 선형 SVM( $C \in {0.1, 1, 10, 1000}$ )으로 합니다.
🎭 2. DBM: 축 정렬 마스크
DBM은 $F_\tau$ 를 원래 표현 기저에서 잔차 스트림 좌표의 축 정렬 부분집합으로 두고, $z$ 의 $d$ 개 좌표에 대한 희소 선택자를 학습합니다. 마스크 로짓 $\alpha \in \mathbb{R}^d$ , 온도 $T$ 에서 완화된 마스크 $\pi = \sigma(\alpha / T) \in [0,1]^d$ , $P_\pi = \mathrm{diag}(\pi)$ 로 두면
$$ \Gamma_{\mathrm{DBM} }(z, z’) = (I - P_\pi) z + P_\pi z’ = z + P_\pi (z’ - z) $$
입니다. 완화된 마스크는 베이스와 소스 활성 사이의 좌표별 보간이고, 하드 마스크 극한에서는 선택된 좌표만 소스에서 복사됩니다. 목적함수는 Cause 예시에 대한 교차 엔트로피와 희소성 정규화 $\lambda | \pi |_1$ 의 합입니다.
구현에서 마스크 폭은 Qwen3-4B 2,560, Qwen3-8B 4,096이고, 로짓은 0으로 초기화하며 온도를 $10^{-2}$ 에서 $10^{-7}$ 로 선형 어닐링합니다. DBM은 Cause 전용 감독에 $\lambda = 10^{-3}$ , MDBM은 보조 예시를 섞고 $\lambda = 0$ 입니다. 평가 시 마스크를 0.5에서 이진화합니다. 따라서 본문 표의 Dimension 열은 주변(ambient) 마스크 폭이지 유효 피처 크기가 아닙니다. 유효 DBM/MDBM 크기는 instance of에서 Qwen3-4B 1,631/1,684, Qwen3-8B 2,211/2,580이고, subclass of에서 758/1,467과 1,586/2,043입니다.
🧭 3. DAS: 분산 부분공간
DAS는 대상 개념이 뉴런들에 분산되어 있을 수 있으므로 저차원 선형 부분공간으로 모델링해야 한다고 가정합니다. 전체 $d \times d$ 회전을 학습하는 대신 피처 부분공간을 직접 매개화합니다. 행 직교정규(row-orthonormal) 행렬 $W \in \mathbb{R}^{k \times d}$ 의 행 공간이 $F_\tau$ 를 인스턴스화하고, 직교 사영자는 $P_W = W^\top W$ 입니다.
$$ \Gamma_{\mathrm{DAS} }(z, z’) = (I - P_W) z + P_W z’ = z + W^\top W (z’ - z) $$
학습된 부분공간에 놓인 성분만 교환하고 직교 여공간은 그대로 둡니다. 학습은 Cause 예시에 대한 교차 엔트로피만 사용하며, 추가 정규화는 없습니다. 구현은 PyTorch 직교 매개화로 $W W^\top = I_k$ 를 유지하는 편향 없는 선형 사상이고, 단층 실험은 $k \in {1024, 2048}$ , AdamW 상수 학습률 $10^{-4}$ , 가중치 감쇠 0입니다. 언어 모델은 고정하고 부분공간 파라미터만 최적화합니다.
| 방법 | $F_\tau$ 의 형태 | 학습 신호 | 정규화 |
|---|---|---|---|
| SAE | 잠재 피처 부분집합 | 비지도 복원 + 사후 선형 분류기 | $\ell_1$ 잠재 희소성 |
| DBM | 축 정렬 좌표 부분집합 | Cause 교차 엔트로피 | $\lambda | \pi |_1$ |
| DAS | 랭크 $k$ 분산 부분공간 | Cause 교차 엔트로피 | 없음 |
💡 Key Takeaway 세 방법은 “어디를 바꿀 것인가”의 가설이 다릅니다. SAE는 비지도로 찾은 희소 피처, DBM은 원래 좌표축의 부분집합, DAS는 임의 방향의 저차원 부분공간입니다.
다중 과제 변형과 다층 확장
🔀 1. MDBM과 MDAS
위 목적함수들은 대상 답을 바꾸도록 개입을 학습하지만, 보조 답을 보존하도록 명시적으로 학습하지는 않습니다. 다중 과제(multi-task) 변형 MDBM·MDAS는 보조 불변성 예시를 추가로 포함합니다. 각 학습 예시 $e$ 의 목표 출력은
$$ y^\star(e) = \begin{cases} c_\tau(s^{(e)}{\mathrm{source} }), & e \in \mathcal{E}^{\text{cause} }{\tau}, \\ v_{A^{(e)} }(s^{(e)}{\mathrm{base} }), & e \in \mathcal{E}^{\text{iso} }{\tau}, \end{cases} $$
이고, 일반 다중 과제 목적은 Cause와 Iso 예시의 합집합에 대한 교차 엔트로피 $\mathrm{CE}(\mathcal{M}{z \leftarrow \Gamma\vartheta(z,z’)}(x^{(e)}{\mathrm{base} }), y^\star(e))$ 에 정규화 $\Omega(\vartheta)$ 를 더한 것입니다. MDBM은 $\Gamma{\mathrm{DBM} }$ 과 $\Omega = \lambda | \pi |1$ , MDAS는 $\Gamma{\mathrm{DAS} }$ 와 $\Omega = 0$ 을 씁니다. 이렇게 하면 개입이 대상 답 교체와 보조 불변성을 동시에 만족하도록 학습됩니다.
🪜 2. 다층 DAS/MDAS
DAS와 MDAS를 순서 있는 층 집합 $S = (\ell_1, \dots, \ell_m)$ 으로 확장해 개입 대상이 인접한 잔차 스트림 층들에 걸치게 합니다. 각 $\ell_j \in S$ 에서 $s_j$ 는 주체 토큰 위치의 소스 표현, $b_j$ 는 개입된 순전파 중 같은 층에서 만나는 베이스 표현입니다. 층별 개입은
$$ \Gamma^{(\ell_j)}{\vartheta_j}(b_j, s_j) = b_j + P^{(\ell_j)}{\vartheta_j}(s_j - b_j), \qquad P^{(\ell_j)}_{\vartheta_j} = (W^{(\ell_j)})^\top W^{(\ell_j)} $$
이며, 층별 파라미터 $\Theta_S = {\vartheta_j}_{j=1}^m$ 전체를 공동으로 최적화합니다. 이는 공동 다중 위치 개입입니다. 낮은 층의 개입이 같은 순전파에서 이후 층의 베이스 상태에 영향을 미칩니다.
구현(Appendix B)은 다음 순서입니다. 먼저 소스 입력으로 깨끗한 순전파를 한 번 돌려 $s_j = z_{\ell_j}(x_{\mathrm{source} })$ 를 모두 캐시합니다. 이 과정에는 개입이 없으므로 모든 $s_j$ 는 이전 소스 측 개입의 결과가 아닌 깨끗한 소스 활성입니다. 그 다음 베이스 입력을 한 번 돌리면서, 두 개입 위치 사이의 고정된 트랜스포머 계산을 $\Phi_{\ell_{j-1} \to \ell_j}$ 라 할 때
$$ b_j = \Phi_{\ell_{j-1} \to \ell_j}(\tilde{b}{j-1}), \qquad \tilde{b}_j = \Gamma^{(\ell_j)}{\vartheta_j}(b_j, s_j), \qquad j = 2, \dots, m $$
으로 진행합니다. 훅은 층 오름차순으로 호출되므로 $\ell_j$ 에서 만나는 베이스 활성은 이미 모든 하위 층 개입을 반영합니다.
📏 3. 윈도우 구성과 표기
$k \times w$ 는 연속 $w$ 층 윈도우의 각 층에 랭크 $k$ 부분공간을 적용한다는 뜻이며, 총 개입 차원은 $mk$ 입니다.
| 구성 | 층 수 | 층당 랭크 | 총 차원 | 비교 대상 단층 랭크 |
|---|---|---|---|---|
| $512 \times 2$ | 2 | 512 | 1,024 | 1,024 |
| $256 \times 4$ | 4 | 256 | 1,024 | 1,024 |
| $512 \times 4$ | 4 | 512 | 2,048 | 2,048 |
총 차원을 단층 DAS/MDAS 랭크와 맞춰 두었기 때문에, 다층의 이득이 단순히 차원이 늘어서인지 층에 걸쳐 있어서인지 분리해 볼 수 있습니다. 모든 다층 결과는 주체 위치의 블록 출력 개입입니다.
💡 Key Takeaway 다중 과제 변형은 “보조 답도 맞혀라”를 손실에 넣어 Iso를 직접 학습하고, 다층 확장은 개입 대상이 한 층이 아니라 짧은 층 구간에 걸쳐 있을 가능성을 검사합니다.
실험 설정
⚙️ 1. 모델과 개입 위치
| 설정 | Qwen3-4B | Qwen3-8B |
|---|---|---|
| 층 수 / 은닉 크기 | 36 / 2,560 | 36 / 4,096 |
| 프롬프트 / 답 길이 | 48 / 최대 3 토큰 | 48 / 최대 3 토큰 |
| 위치 | 블록 출력 / 마지막 주체 서브토큰 | 블록 출력 / 마지막 주체 서브토큰 |
| 지도 학습 / 평가 배치 | 128 / 128 | 128 / 128 |
| 에폭 | 6 | 6 |
| 난수 시드 | 42 | 42 |
instance of Cause / Iso 쌍 |
54,184 / 68,936 | 55,888 / 70,872 |
subclass of Cause / Iso 쌍 |
44,864 / 21,448 | 43,552 / 31,720 |
두 모델 모두 36층 디코더 전용 트랜스포머입니다. 단층 실험은 두 공리 유형 모두에서 SAE, DBM, MDBM, DAS, MDAS를 36개 층 각각을 개입 층으로 삼아 평가합니다. 다층 실험은 Qwen3-8B에서 DAS·MDAS를 연속 2·4층 윈도우로 평가합니다. 학습 쌍 수는 데이터셋 구성 후 지도 학습 방법에 전달된 예시 수입니다. 모든 개입 학습·평가는 NVIDIA A100 1장에서 수행했고, 구현은 공개된 RAVEL 코드베이스를 온톨로지 프롬프트·라벨·분할에 맞게 수정하고 다층 확장을 추가한 것입니다.
📋 2. 보고 규칙
본문 Table 2와 부록 Table 10은 각 공리 유형·방법에 대해 Entity Disentangle이 가장 높은 층/구성을 고르고, 같은 구성을 Context에서도 평가합니다. Dimension은 DAS/MDAS에서는 부분공간 랭크, DBM/MDBM에서는 주변 마스크 차원, SAE에서는 잠재 폭을 뜻합니다. 부록 Table 11은 반대로 Cause가 가장 높은 구성을 따로 보고합니다.
🧪 3. 기본 모델 성능 (Table 5)
개입 평가 전, 필터링 없는 기본 LLM의 정확도입니다.
| 모델 |
instance of 대상 Micro |
대상 Macro | 속성 Micro | 속성 Macro |
subclass of 대상 Micro |
대상 Macro | 속성 Micro | 속성 Macro |
|---|---|---|---|---|---|---|---|---|
| Qwen3-4B | 92.4 | 92.1 | 59.7 | 58.7 | 89.2 | 87.4 | 69.2 | 68.8 |
| Qwen3-8B | 94.7 | 94.3 | 64.9 | 63.8 | 93.0 | 91.8 | 69.1 | 68.3 |
대상 공리 질의는 90% 안팎으로 높지만 보조 속성 질의는 60–69%에 그칩니다. 개입 평가는 이 중 모델이 이미 맞힌 인스턴스에서만 이루어지므로, 지표는 “맞히는 능력”이 아니라 “맞히는 메커니즘의 분리 가능성”을 잽니다.
💡 Key Takeaway 36층 전부를 훑는 단층 실험과 Qwen3-8B 다층 실험을 같은 시드·배치·에폭으로 돌리고, 결과는 Entity Disentangle 최고 구성 기준으로 보고합니다.
주요 결과: 단층 개입 비교
🏆 1. Qwen3-8B 단층 최고 구성 (Table 2)
| 방법 |
instance of Dim |
Layer | Entity C | I | D | Context C | I | D |
subclass of Dim |
Layer | Entity C | I | D | Context C | I | D |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| SAE | 8192 | 13 | 0.472 | 0.352 | 0.412 | 0.399 | 0.344 | 0.371 | 16384 | 12 | 0.584 | 0.210 | 0.397 | 0.624 | 0.233 | 0.429 |
| DBM | 4096 | 10 | 0.441 | 0.409 | 0.425 | 0.385 | 0.407 | 0.396 | 4096 | 10 | 0.528 | 0.334 | 0.431 | 0.526 | 0.359 | 0.443 |
| MDBM | 4096 | 10 | 0.418 | 0.469 | 0.443 | 0.344 | 0.472 | 0.408 | 4096 | 13 | 0.491 | 0.389 | 0.440 | 0.490 | 0.409 | 0.450 |
| DAS | 1024 | 17 | 0.589 | 0.579 | 0.584 | 0.582 | 0.512 | 0.547 | 1024 | 22 | 0.509 | 0.483 | 0.496 | 0.625 | 0.445 | 0.535 |
| MDAS | 2048 | 17 | 0.527 | 0.658 | 0.592 | 0.481 | 0.692 | 0.587 | 2048 | 18 | 0.496 | 0.530 | 0.513 | 0.525 | 0.560 | 0.542 |
C/I/D는 Cause/Iso/Disentangle입니다. 분산 부분공간 방법이 전반적으로 가장 좋고, MDAS가 두 공리 유형 모두에서 최고 Disentangle을 냅니다. Entity와 Context 점수가 비슷하다는 것은 찾아낸 개입 대상이 주 비교에 쓴 Entity 프롬프트 분할에만 묶여 있지 않다는 뜻입니다.
📉 2. Qwen3-4B 단층 결과 (Table 10)
| 공리 | 방법 | Dim | Layer | Entity Cause | Iso | Disentangle | Context Cause | Iso | Disentangle |
|---|---|---|---|---|---|---|---|---|---|
instance of |
SAE | 5120 | 14 | 0.408 | 0.375 | 0.391 | 0.350 | 0.369 | 0.359 |
| DBM | 2560 | 10 | 0.458 | 0.354 | 0.406 | 0.400 | 0.350 | 0.375 | |
| MDBM | 2560 | 10 | 0.404 | 0.436 | 0.420 | 0.340 | 0.430 | 0.385 | |
| DAS | 1024 | 22 | 0.516 | 0.537 | 0.527 | 0.489 | 0.509 | 0.499 | |
| MDAS | 2048 | 16 | 0.520 | 0.592 | 0.556 | 0.471 | 0.639 | 0.555 | |
subclass of |
SAE | 10240 | 13 | 0.562 | 0.257 | 0.409 | 0.633 | 0.252 | 0.442 |
| DBM | 2560 | 12 | 0.525 | 0.333 | 0.429 | 0.549 | 0.351 | 0.450 | |
| MDBM | 2560 | 12 | 0.526 | 0.360 | 0.443 | 0.536 | 0.370 | 0.453 | |
| DAS | 2048 | 16 | 0.632 | 0.289 | 0.460 | 0.683 | 0.302 | 0.492 | |
| MDAS | 2048 | 20 | 0.511 | 0.510 | 0.511 | 0.540 | 0.591 | 0.566 |
Qwen3-4B는 Entity와 Context 모두에서 Qwen3-8B와 완전히 같은 방법 순서 MDAS > DAS > MDBM > DBM > SAE 를 보입니다. 결과가 큰 체크포인트에 특유한 것이 아니라는 뜻입니다.
⚖️ 3. Iso가 드러내는 것: 다중 과제의 효과
SAE와 DBM처럼 보조 보존 감독이 없는 방법은 대상 온톨로지 예측에 비자명한 효과를 내면서도 보조 속성값을 자주 교란합니다. 특히 subclass of에서 SAE는 Cause 0.584/0.624로 높지만 Iso가 0.210/0.233에 불과합니다. 다중 과제 변형은 보존 감독을 추가해 이 문제를 직접 다룹니다. Table 2의 Entity·Context 열에 걸쳐, 최고 다중 과제 구성은 대응하는 단일 과제 방법 계열 대비 Iso를 평균 0.081 높이고 Cause를 평균 0.052 낮춥니다. 보존 이득이 Cause 감소보다 크기 때문에 Disentangle은 그래도 개선됩니다.
| 비교 쌍 (8B, Table 2) | 설정 | Iso 변화 | Cause 변화 |
|---|---|---|---|
| DBM → MDBM | instance of, Entity | +0.060 | −0.023 |
| DBM → MDBM | instance of, Context | +0.065 | −0.041 |
| DBM → MDBM | subclass of, Entity | +0.055 | −0.037 |
| DBM → MDBM | subclass of, Context | +0.050 | −0.036 |
| DAS → MDAS | instance of, Entity | +0.079 | −0.062 |
| DAS → MDAS | instance of, Context | +0.180 | −0.101 |
| DAS → MDAS | subclass of, Entity | +0.047 | −0.013 |
| DAS → MDAS | subclass of, Context | +0.115 | −0.100 |
(위 표는 Table 2 수치에서 계산한 것이며 여덟 값의 평균이 본문의 +0.081/−0.052와 일치합니다.)
같은 Cause–Iso 긴장은 개입 크기 축에서도 보입니다. 보고된 DAS/MDAS와 SAE 설정 안에서 개입 차원을 늘리면 일부 구성에서 Cause는 오르지만 Iso는 내려가며, 둘이 함께 좋아지지는 않습니다.
🔝 4. 최고 Cause 구성 (Table 11)
Entity 분할에서 Cause가 가장 높은 단층 구성만 따로 보면 그림이 달라집니다.
| 공리 | 모델 | 방법 | Dim | Layer | Cause | Iso | Disentangle |
|---|---|---|---|---|---|---|---|
instance of |
Qwen3-4B | SAE | 5120 | 10 | 0.458 | 0.292 | 0.375 |
| DBM | 2560 | 9 | 0.463 | 0.323 | 0.393 | ||
| MDBM | 2560 | 10 | 0.404 | 0.436 | 0.420 | ||
| DAS | 2048 | 14 | 0.615 | 0.346 | 0.481 | ||
| MDAS | 2048 | 13 | 0.524 | 0.559 | 0.541 | ||
| Qwen3-8B | SAE | 16384 | 13 | 0.472 | 0.350 | 0.411 | |
| DBM | 4096 | 10 | 0.441 | 0.409 | 0.425 | ||
| MDBM | 4096 | 10 | 0.418 | 0.469 | 0.443 | ||
| DAS | 2048 | 13 | 0.633 | 0.425 | 0.529 | ||
| MDAS | 2048 | 13 | 0.536 | 0.624 | 0.580 | ||
subclass of |
Qwen3-4B | SAE | 10240 | 12 | 0.567 | 0.244 | 0.406 |
| DBM | 2560 | 8 | 0.553 | 0.257 | 0.405 | ||
| MDBM | 2560 | 10 | 0.531 | 0.318 | 0.425 | ||
| DAS | 2048 | 8 | 0.668 | 0.182 | 0.425 | ||
| MDAS | 2048 | 8 | 0.597 | 0.313 | 0.455 | ||
| Qwen3-8B | SAE | 16384 | 12 | 0.584 | 0.210 | 0.397 | |
| DBM | 4096 | 8 | 0.530 | 0.282 | 0.406 | ||
| MDBM | 4096 | 10 | 0.504 | 0.362 | 0.433 | ||
| DAS | 2048 | 13 | 0.636 | 0.308 | 0.472 | ||
| MDAS | 2048 | 13 | 0.520 | 0.500 | 0.510 |
Cause만 최대화하면 DAS가 0.63–0.67까지 올라가지만 Iso가 0.18–0.43으로 떨어져, 대상 답을 바꾸는 개입이 보조 정보까지 함께 바꾸고 있음을 보여줍니다. Cause 최고 층은 대체로 8–14층으로, Disentangle 최고 층(16–22층)보다 앞쪽입니다.
⚠️ 논문 내부 불일치 : Qwen3-8B
instance ofSAE의 경우 Table 2는 Dimension 8192, Iso 0.352, Disentangle 0.412로 적고 있지만, Table 11은 같은 Layer 13·같은 Cause 0.472에 Dimension 16384, Iso 0.350, Disentangle 0.411로 적고 있습니다. 두 표 중 어느 쪽이 맞는지 논문은 설명하지 않습니다. 다른 방법의 행(DBM·MDBM)은 두 표가 일치합니다.
💡 Key Takeaway MDAS가 두 모델·두 공리 유형 모두에서 최고 Disentangle을 내고, 방법 순서는 모델 크기와 무관하게 MDAS > DAS > MDBM > DBM > SAE입니다. 보존 감독은 Iso를 약 0.08 올리는 대가로 Cause를 약 0.05 희생합니다.
층 의존성과 다층 윈도우 결과
📈 1. 층별 프로파일 (Figure 1)
대상 답 개입 효과는 층에 크게 의존합니다. 방법을 막론하고 Cause는 가장 이른 층에서 약하고, 모델 중간을 지나며 오르며, 중간 또는 중후반 층에서 최대가 되는 경우가 많습니다. 후반 층은 종종 강한 Iso를 얻지만 Cause가 동시에 매우 낮은 값으로 떨어질 수 있어, 그 지점에서는 개입이 모델의 생성 출력을 더 이상 효과적으로 바꾸지 못하고 있음을 시사합니다. Figure 1은 Qwen3-8B instance of에서 단층 MDAS(랭크 2048)와 4층 MDAS( $256 \times 4$ )의 Cause·Iso·Disentangle 프로파일을 보여주며, 부록 Figure 11–16은 SAE, DBM/MDBM, DAS/MDAS(1024·2048), 다층 고정 윈도우의 전체 프로파일을 36층 중 12개 층(다층은 12개 등간격 윈도우)에 대해 보고합니다.
🪟 2. 다층 DAS/MDAS 결과 (Table 3, Qwen3-8B)
| 공리 | $k \times w$ | 방법 | 윈도우 | Cause | Iso | Disentangle ( $\Delta$ ) |
|---|---|---|---|---|---|---|
instance of |
$512 \times 2$ | DAS | 23–24 | 0.560 | 0.726 | 0.643 (+0.059) |
| MDAS | 22–23 | 0.529 | 0.730 | 0.629 (+0.038) | ||
| $256 \times 4$ | DAS | 24–27 | 0.548 | 0.772 | 0.660 (+0.077) | |
| MDAS | 22–25 | 0.590 | 0.741 | 0.666 (+0.074) | ||
| $512 \times 4$ | DAS | 24–27 | 0.577 | 0.756 | 0.667 (+0.102) | |
| MDAS | 23–26 | 0.589 | 0.736 | 0.663 (+0.070) | ||
subclass of |
$512 \times 2$ | DAS | 23–24 | 0.468 | 0.559 | 0.514 (+0.018) |
| MDAS | 22–23 | 0.440 | 0.617 | 0.529 (+0.036) | ||
| $256 \times 4$ | DAS | 22–25 | 0.555 | 0.473 | 0.514 (+0.018) | |
| MDAS | 21–24 | 0.486 | 0.616 | 0.551 (+0.058) | ||
| $512 \times 4$ | DAS | 23–26 | 0.537 | 0.513 | 0.525 (+0.033) | |
| MDAS | 22–25 | 0.537 | 0.593 | 0.565 (+0.052) |
$\Delta$ 는 같은 방법·같은 총 차원의 단층 결과 대비 Disentangle 개선입니다. 윈도우 열은 보고된 최고 구성의 연속 층 범위입니다.
🔍 3. 해석
-
모든 행에서 양의 $\Delta$ : 연속 층 윈도우 개입은 비교 가능한 단층 설정보다 일관되게 낫습니다. Figure 2의 Cause–Iso 평면에서 다층 구성은 대응하는 단층 DAS/MDAS 점보다 위쪽으로 이동하는데, 주로 Iso를 올리면서 상당한 Cause를 유지하는 방식입니다.
instance of에서 Iso는 단층 최고 0.658에서 다층 0.726–0.772로 뛰었습니다. -
4층 윈도우가 가장 강함 :
instance of에서 가장 강한 행은 4층 윈도우로, DAS $512 \times 4$ 가 0.667, MDAS $256 \times 4$ 와 $512 \times 4$ 가 0.666과 0.663입니다. - 차원 수만으로는 설명되지 않음 : 총 차원 1024에서 $256 \times 4$ 가 $512 \times 2$ 를 DAS(0.660 vs 0.643)와 MDAS(0.666 vs 0.629) 모두에서 앞섭니다. 같은 파라미터 예산이라면 두 층에 두껍게 쓰는 것보다 네 층에 얇게 펼치는 쪽이 낫습니다.
- 위치 : 최고 윈도우는 모두 21–27층 구간, 즉 36층 모델의 중후반에 몰려 있습니다. 논문은 관련 개입 대상이 단일 잔차 스트림 위치보다 짧은 중후반 층 구간에 걸쳐 더 잘 포착된다고 해석합니다.
-
subclass of는 여전히 어려움 : 개선 폭( $\Delta$ 0.018–0.058)이
instance of(0.038–0.102)보다 작고, 최고 Disentangle도 0.565에 머뭅니다.
💡 Key Takeaway 같은 차원 예산을 한 층에 몰아넣기보다 인접한 네 층에 나누어 넣는 것이 낫고, 그 이득은 주로 Iso에서 나옵니다. 온톨로지 변수는 한 지점이 아니라 중후반 층의 짧은 구간에 걸쳐 있는 것으로 보입니다.
클래스 수준 분석: 어디서 잘 되고 어디서 안 되나
집계 점수 뒤에는 상당한 클래스별 이질성이 숨어 있습니다. 부록 C는 최고 MDAS 설정(단층 4회 + Qwen3-8B 다층)을 온톨로지 클래스별로 분해합니다. 베이스 클래스는 개입을 받는 주체의 클래스, 소스 클래스는 개입된 표현을 제공하는 주체의 클래스입니다. 모든 점수는 Entity 분할과 과제 매크로 집계를 씁니다.
🧭 1. 클래스 평균 점수와 병목 (Table 6)
| 공리 | 모델 | 역할 | Cause | Iso | Disentangle | $\Delta$ = Iso − Cause |
|---|---|---|---|---|---|---|
instance of |
Qwen3-8B | Base | 0.539 | 0.674 | 0.606 | +0.135 |
| Qwen3-8B | Source | 0.507 | 0.674 | 0.590 | +0.167 | |
| Qwen3-4B | Base | 0.521 | 0.613 | 0.567 | +0.091 | |
| Qwen3-4B | Source | 0.493 | 0.612 | 0.552 | +0.119 | |
subclass of |
Qwen3-8B | Base | 0.545 | 0.446 | 0.496 | −0.100 |
| Qwen3-8B | Source | 0.532 | 0.477 | 0.504 | −0.055 | |
| Qwen3-4B | Base | 0.527 | 0.447 | 0.487 | −0.080 | |
| Qwen3-4B | Source | 0.498 | 0.468 | 0.483 | −0.030 |
instance of에서는 클래스 평균 기준 Iso가 Cause보다 일관되게 높습니다. 병목은 개입 후 보조 속성을 보존하는 것이 아니라 대상 온톨로지 답을 소스 쪽으로 바꾸는 것입니다. subclass of에서는 반대로 Cause가 Iso와 비슷하거나 더 높고, 특히 베이스 역할에서 그렇습니다. 이는 포섭 예측이 개체 유형 분류보다 주변 의미·속성 정보와 더 얽혀 있다는 본문의 집계 결론을 뒷받침합니다.
🔗 2. 클래스 순위의 안정성과 역할 비대칭 (Table 7)
| 공리 | Base 모델 간 $\rho$ | Source 모델 간 $\rho$ | 8B Base–Source $\rho$ | 4B Base–Source $\rho$ |
|---|---|---|---|---|
instance of |
0.831 | 0.810 | 0.273 | 0.267 |
subclass of |
0.752 | 0.671 | −0.082 | 0.059 |
값은 클래스별 Disentangle 순위에 대한 Spearman $\rho$ 입니다. 앞 두 열(Qwen3-8B vs Qwen3-4B, 같은 역할)의 높은 상관은 클래스 수준 변동이 단순한 모델별 잡음이 아니라는 것을 보여줍니다. 뒤 두 열(같은 모델, 베이스 vs 소스)의 낮은 상관은 클래스 난이도가 역할에 의존한다는 것을 보여줍니다. 베이스 역할에서 다시 쓰기 쉬운 클래스가 소스 역할에서 다른 주체를 다시 쓰는 데 효과적인 것은 아닙니다. 논문은 이를 “클래스 수준 온톨로지 표현이 단일한 무방향 의미 거리처럼 행동하지 않는다”고 해석합니다. 한 클래스는 베이스에서만, 소스에서만, 둘 다, 또는 어느 쪽에서도 잘 될 수 있습니다.
구체적으로 instance of에서 stock exchange는 베이스로 강하지만 소스로 약하고, disease·data set·algorithm은 소스로 더 강합니다. subclass of에서 measuring instrument·theory·scientific instrument는 베이스로, algorithm·music·activity·creative work는 소스로 더 강합니다. 본문 Figure 3(c)의 다층 MDAS 분석에서는 protein·video game이 소스로, national park·tourist attraction이 베이스로 더 강했습니다.
🏅 3. 반복적으로 높은 점수를 받는 클래스 (Table 8)
| 공리 | 역할 | 반복 고득점 클래스 |
|---|---|---|
instance of |
Base | airport; city; country; currency; science award; software; stock exchange |
instance of |
Source | airport; city; country; currency; data set; disease; type of sport; university |
subclass of |
Base | animal organ; flower; measuring instrument; medical device; organization; theory; tree |
subclass of |
Source | activity; creative work; emotion; fish; flower; music |
Qwen3-8B와 Qwen3-4B 모두에서 같은 역할에 고득점인 클래스만 적은 것입니다. instance of의 안정적 고득점 클래스는 airport·city·country·currency·software·university처럼 구체적이고 속성이 규칙적인 범주입니다. 공항은 위치와 코드 속성, 통화는 발행 기관·관할권·기호, 도시와 국가는 행정·인구 속성을 가집니다. 이런 압축된 의미 서명(compact semantic signature) 은 관련 없는 속성을 흐트러뜨리지 않고 대상 클래스를 바꾸기 쉽게 만듭니다. 반면 저득점 클래스는 food, biological process, body of water, geographical feature, material처럼 넓거나 내부적으로 다양한 상위 클래스에 해당합니다. 이들은 단순히 어려운 라벨이 아니라 속성 이웃이 더 퍼져 있어 분류학적 관계만 바꾸면서 보조 의미 사실을 보존하기가 더 어렵습니다.
↔️ 4. 쌍 수준 방향 비대칭 (Table 9)
순서 없는 클래스 쌍 ${A, B}$ 에 대해 상호 간격(reciprocal gap)을
$$ \Delta_{A,B} = \left| D(A \leftarrow B) - D(B \leftarrow A) \right| $$
로 정의합니다. $D(A \leftarrow B)$ 는 대상 클래스가 $B$ 인 소스 주체로 대상 클래스가 $A$ 인 베이스 주체에 개입할 때의 과제 매크로 Disentangle입니다. 양방향 모두 Cause 5개·Iso 5개 이상인 쌍만 남깁니다.
| 공리 | 모델 | $N$ | 평균 | 중앙값 [IQR] | $\Pr(\Delta \ge 0.2)$ | $\Pr(\Delta \ge 0.4)$ |
|---|---|---|---|---|---|---|
instance of |
Qwen3-8B | 121 | 0.166 | 0.132 [0.076, 0.256] | 29.8% | 5.0% |
| Qwen3-4B | 141 | 0.184 | 0.158 [0.069, 0.253] | 39.0% | 7.1% | |
subclass of |
Qwen3-8B | 91 | 0.204 | 0.179 [0.090, 0.287] | 41.8% | 12.1% |
| Qwen3-4B | 52 | 0.185 | 0.152 [0.075, 0.291] | 36.5% | 7.7% |
중앙값 간격은 0.132–0.179이고, 적격 쌍의 29.8–41.8%가 0.2 이상 차이 납니다. 방향 비대칭은 소수의 극단적 예에 국한되지 않지만, 매우 큰 간격은 드뭅니다(0.4 초과는 5.0–12.1%). 꼬리의 규모를 보여주는 예로, Qwen3-8B instance of에서 animal $\leftarrow$ academic journal은 0.742인데 역방향은 0.194이고, Qwen3-4B subclass of에서 body of water $\leftarrow$ food는 0.711인데 역방향은 0.042입니다.
모델 크기에 따른 순서는 단조롭지 않습니다. instance of에서는 Qwen3-4B의 중앙값이 더 크고, subclass of에서는 Qwen3-8B가 더 큰 중앙값과 더 무거운 꼬리를 가집니다. 같은 순서 없는 쌍이라도 베이스·소스 역할을 바꾸면 결과가 크게 달라질 수 있으므로, 개입 성공은 무방향 클래스 유사도만이 아니라 순서 있는 베이스–소스 배정에 의해 결정됩니다. 한 클래스를 공유하는 상호 쌍들은 통계적으로 종속이므로, 이 분포는 독립 표본에 대한 유의성 검정이 아니라 기술적(descriptive)으로 해석합니다.
💡 Key Takeaway 집계 Disentangle 0.5–0.67은 평균일 뿐입니다. 속성이 규칙적인 클래스는 훨씬 잘 분리되고, 넓은 클래스는 잘 안 되며, 같은 클래스 쌍이라도 누가 베이스이고 누가 소스인지에 따라 결과가 크게 바뀝니다.
종합 해석과 결론
🧩 1. 세 연구 질문에 대한 답
| 연구 질문 | 답 |
|---|---|
| RQ1: 반사실 행동 재현 가능한가 | 부분적으로 가능. MDAS·DAS가 Cause 0.5–0.6 수준으로 대상 답을 소스 쪽으로 바꾸며, Context 설정에서도 유지됨 |
| RQ2: 보조 변수 불변으로 둘 수 있는가 | 부분적으로만 가능. 다중 과제 감독과 다층 윈도우로 Iso가 0.74–0.77까지 오르지만 완전한 분리는 아님 |
| RQ3: 방법·층·프롬프트·클래스의 영향 | 방법 순서는 MDAS > DAS > MDBM > DBM > SAE로 안정적, 중후반 층이 유리, Entity/Context 차이는 작음, 클래스·역할·방향에 따라 편차가 큼 |
🧠 2. 온톨로지 공학에서 LLM에 대한 “제한적” 해석
논문은 결과를 LLM의 온톨로지 공학 능력에 대한 제한적(qualified) 해석으로 정리합니다. 올바른 온톨로지 예측이 그 자체로 해당 공리에 대한 깨끗하거나 모듈적인 내부 메커니즘을 뜻하지는 않습니다. MIOE가 시사하는 바는 온톨로지 변수가 인과적으로 접근 가능하지만 더 넓은 클래스별 정보와 깨끗이 분리되어 있지는 않다는 것입니다. 그 이유는 두 가지 중 하나이거나 둘 다일 수 있습니다.
- 표현 자체가 분산되어 있고 클래스별 의미와 얽혀 있다.
- 현재의 개입 탐색 방법이 충분히 정밀하지 않다.
논문은 이 둘을 구분하지 않으며, 구분할 수 있는 실험도 제시하지 않습니다.
🧷 3. 사실 지식 연구와의 연결
RAVEL이 개체의 속성(도시의 국가·대륙·언어 등)을 분리하는 데 집중했다면, MIOE는 그 속성들을 보조 변수로 두고 유형/상위 클래스를 대상 변수로 둡니다. 결과적으로 “Amsterdam이 city다”라는 정보를 바꾸면서 “Amsterdam은 네덜란드에 있다”를 유지하라는 과제는, RAVEL의 “Amsterdam의 국가를 바꾸면서 대륙은 유지하라”보다 어렵게 나타납니다. 특히 포섭 관계(subclass of)는 개체 유형(instance of)보다 보조 의미와 더 얽혀 있어 Disentangle이 0.5 수준에 머뭅니다.
💡 Key Takeaway “맞힌다”와 “분리된 메커니즘으로 맞힌다”는 다릅니다. Qwen3는 온톨로지 질의를 90% 넘게 맞히지만, 그 답을 만드는 내부 변수는 클래스별 배경 정보와 절반쯤만 분리되어 있습니다.
한계와 열린 방향
⚠️ 1. 저자가 밝힌 한계와 향후 과제
-
분리가 불완전 : 최고 Disentangle이
instance of0.667,subclass of0.565로, 현재 방법으로는 온톨로지 지식에 대한 깨끗이 분리된 인과 메커니즘을 고립시키지 못합니다. - 원인 미구분 : 불완전한 분리가 표현의 본질적 얽힘 때문인지 개입 탐색 방법의 정밀도 부족 때문인지 가려내지 못했습니다.
- 향후 과제 : 더 풍부한 온톨로지 제약, 더 넓은 모델 계열, 그리고 온톨로지 수준 개입 행동이 도메인·프롬프트·복잡한 추론 문맥에 걸쳐 안정적인지 검사하는 설정으로 확장해야 한다고 적고 있습니다.
- 쌍 수준 분석의 통계적 한계 : 상호 쌍 간격 분포는 종속 표본이라 기술 통계로만 해석합니다.
🔒 2. 설정상 제약 (논문 기술에 근거)
- 모델 범위 : Qwen3-4B와 Qwen3-8B 두 체크포인트, 모두 36층 디코더 전용 구조입니다. 다층 실험은 Qwen3-8B에서만 수행되었습니다.
-
공리 유형 :
instance of와subclass of두 가지만 다루며, 속성 제약·도메인/치역·분리성(disjointness) 같은 다른 온톨로지 공리는 포함하지 않습니다. - 개입 위치 : 블록 출력 잔차 스트림의 마지막 주체 서브토큰 하나에 고정되어 있고, 어텐션·MLP 하위 구성요소나 다른 토큰 위치는 탐색하지 않았습니다.
- 필터링 효과 : 개입 평가가 기본 모델이 이미 맞힌 인스턴스에서만 이루어지므로, 보조 속성 정확도가 60–69%인 상태에서 Iso 평가에 쓰인 속성 집합은 모델이 알고 있는 속성으로 치우칩니다.
- 단일 시드 : 모든 실험이 시드 42 하나로 보고되며, 분산 추정은 제공되지 않습니다.
- SAE 구성 : 단층 ReLU SAE 하나와 두 확장비만 평가해, Gated·TopK 등 관련 연구에서 언급한 개선된 SAE 변형은 포함하지 않았습니다.
❓ 3. 열린 질문
- 다층 윈도우의 이득이 Iso에서 주로 나온 이유는 무엇인가? 하위 층 개입이 상위 층 베이스 상태를 바꾸는 공동 최적화 구조가 보조 정보 보존에 어떻게 기여하는지는 설명되지 않았습니다.
- 클래스의 “압축된 의미 서명”을 속성 수·속성값 분산 같은 데이터 통계로 정량화하면 클래스별 Disentangle을 예측할 수 있는가?
- 베이스–소스 비대칭은 소스 클래스의 표현이 더 “강하게” 써지는 현상인가, 아니면 베이스 클래스가 덮어쓰기에 저항하는 현상인가? 논문은 현상을 기술할 뿐 메커니즘은 제시하지 않습니다.
-
subclass of의 보조 속성이 클래스 수준의 추상 속성(예:has subclasses,has use)이라는 점이 낮은 Iso에 얼마나 기여하는가? 보조 속성 정의 수준의 차이와 공리 유형 자체의 차이가 교락(confound)되어 있습니다. - 온톨로지 변수에 대한 개입이 하류 추론(예: 상위 클래스의 속성 상속)에도 전파되는지는 평가되지 않았습니다.
💡 Key Takeaway MIOE는 온톨로지 지식의 기계론적 접근 가능성을 처음으로 체계적으로 쟀지만, 두 Qwen3 모델·두 공리·한 토큰 위치·단일 시드라는 범위 안의 결과이며, “분리가 안 되는 것”과 “방법이 못 찾는 것”의 구분은 다음 과제로 남아 있습니다.