You know maize mean?
Where Do Legal Factors Live in LLMs?
0. Summary
- 기본 정보 : ArXiv,2026.10.20, Where Do Legal Factors Live in LLMs?
- 연구 배경 : 사례 기반 법적 추론(case-based legal reasoning)에서는 새 분쟁의 법적으로 의미 있는 사실 패턴을 찾아 기존 판례와 비교한다. AI & Law 분야의 HYPO 차원(dimension)과 CATO 요인(factor)은 이런 패턴을 전문가가 서술형 사건 기록에서 추출해 명시적·구조적·해석 가능·감사 가능한 상징적 개념으로 정리한 것이다. LLM이 법률 과제에 점점 더 쓰이지만, 모델이 법률 지식을 내부에서 어떻게 조직하는지는 추적하기 어렵다. 예컨대 모델이 어떤 구절을 “역공학(reverse engineering)”과 연결할 때, 그것이 정보가 검사로 복원될 수 있다는 사실을 인식한 결과인지, 익숙한 표현을 인식한 것인지, 상업적 맥락을 인식한 것인지 출력만으로는 알 수 없다.
- 제안 방법 : CATO의 26개 요인 전체를 기준으로 두 가지 연구 질문을 세운다. RQ1 은 각 요인의 존재를 단순 선형 분류기가 잔차 스트림(residual stream) 활성에서 읽어낼 수 있는지(선형 복호 가능성), RQ2 는 그 정보를 공개된 희소 오토인코더(SAE)의 소수 피처로 국소화할 수 있는지(희소 국소화)를 묻는다. 이를 위해 요인별로 통제된 2–4문장 서사 구절을 LLM으로 생성·교차 검증·사람 감사하여 6,992개의 요인 포함 구절과 901개의 요인 없는 구절을 만들고, Qwen3-1.7B·Qwen3-8B·Gemma-2 2B 세 모델의 1/4·1/2·3/4 깊이 레이어에서 평균 풀링한 활성에 $L_2$ 정규화 로지스틱 회귀 프로브와 top-1·top-5 SAE 피처 리드아웃(readout)을 적합한다. LLM과 SAE는 고정하고 리드아웃 분류기만 학습한다.
- 발견 사실 : (1) 세 모델 모두에서 26개 요인 전부가 전체 활성 벡터로 선형 복호되며 최대 held-out AUC는 0.998–1.000이다. 다만 TF-IDF도 거의 완벽한 AUC를 내므로, RQ1은 요인 정보가 표현(wording)과 분리된 채로 읽힌다는 뜻은 아니다. (2) 중간 레이어에서 무작위 5개 SAE 피처의 평균 AUC는 0.551/0.534/0.578에 그치지만, 선택된 1개 피처는 0.944/0.954/0.950, 선택된 5개 피처는 0.986/0.988/0.986으로 전체 벡터에 근접한다. (3) 모든 요인이 세 레이어 중 하나에서 단일 피처 AUC 0.86 이상을 가지며, 요인별 최적 레이어의 중앙값 AUC는 0.961/0.972/0.961이다. (4) 모델당 26개, 총 78개의 레이어–피처 좌표를 보고하며, 관련 요인 쌍(F16/F25, F20/F24, F24/F27)이 같은 SAE 피처를 공유하는 경우가 있다.
- 핵심 기여 :
- 통제 코퍼스와 검증 절차 : 26개 CATO 요인을 모두 덮는 요인별 통제 구절 코퍼스(산업·정보 유형·서술 양식 변이)를 구축하고, 생성기·독립 주석기·중재기의 3단계 LLM 라벨링과 220개 표본의 블라인드 사람 감사(일치율 98.6%)로 라벨을 검증했다.
- 두 수준의 가독성 증거 : 전체 활성의 선형 프로빙(RQ1)과 소수 SAE 피처 리드아웃(RQ2)을 같은 코퍼스·분할·라벨로 비교해, 전문가 정의 법적 요인에 대응하는 정보가 전체 벡터에서도, 한두 개의 식별 가능한 피처에서도 읽힌다는 것을 세 모델에서 보였다.
- 78개 레이어–피처 좌표 목록 : 각 모델의 각 요인에 대해 가장 강한 단일 피처 리드아웃의 레이어와 피처 ID를 공개해, 법률 전문가와 개발자가 직접 검사할 수 있는 구체적 대상을 제공하고, 공유 피처·레이어 분포·재표본 안정성(Jaccard 임계 0.6, 가중치 코사인 0.95–0.99)을 분석했다.
Abstract 쉬운 설명(Gemini)
💡 한 줄 요약
인공지능(LLM)에게 법률 판례를 읽혔더니, “우리가 알려주지도 않았는데 지 스스로 머릿속에 ‘영업 비밀 침해’, ‘계약 위반’ 같은 법률 개념 방(공간)을 따로 만들어서 체계적으로 분류해 쓰고 있었다”는 사실을 과학적으로 증명한 논문입니다.
🔍 비유로 이해하기: LLM의 머릿속 “도서관”
우리가 흔히 쓰는 ChatGPT나 Qwen 같은 인공지능(LLM)은 엄청나게 많은 글을 읽고 자란 아이와 같습니다. 이 아이에게 복잡한 소송 문서를 읽히면 판결을 꽤 잘 예측합니다.
하지만 인공지능 내부에는 수십억 개의 수학적 계산 장치(뉴런)가 얽혀 있어서, 이 아이가 진짜 법을 ‘이해’하고 판결을 내리는지, 아니면 그냥 글자만 대충 짜맞추는 꼼수(통계적 우연)를 부리는지 알 길이 없었습니다. 이를 인공지능의 ‘블랙박스 문제’라고 합니다.
학자들은 인공지능의 머릿속을 들여다보기 위해 일종의 뇌 스캔(fMRI) 같은 실험을 하기로 했습니다.
⚖️ 실험 대상: 26가지 “법률 핵심 도장” (CATO 요인)
법학자들은 소송 사건을 분석할 때, 복잡한 이야기 속에서 핵심 뼈대만 추려내기 위해 법률 요인(CATO 요인)이라는 일종의 ‘분류 도장’을 씁니다. 예를 들면 이런 도장들입니다.
🏷️ [피고가 피해자의 영업 비밀을 훔쳐갔는가?] 🏷️ [피해자가 스스로 비밀 관리를 철저히 안 하고 방치했는가?] 🏷️ [두 사람이 비밀 유지 계약서에 서명을 했는가?]
이런 핵심 도장 26개가 찍히는 양상에 따라 판결이 달라집니다. 연구진은 인공지능에게 법률 소송 글을 읽히고, 인공지능의 뇌(신경망)를 실시간으로 스캔했습니다.
🔬 연구진이 발견한 놀라운 사실 (실험 결과)
연구진은 “희소 오토인코더(SAE)”라는 아주 정밀한 인공지능 현미경을 사용해 모델의 머릿속을 확대해 보았습니다. 결과는 놀라웠습니다.
질문 현미경으로 본 실제 결과 비유 Q1. 법률 개념을 구분하나요? 모델 내부에서 26가지 법적 요인이 아주 깔끔하게 따로 모여 있었습니다. 인공지능 머릿속에 ‘계약 위반 방’, ‘비밀 유출 방’이 아주 정연하게 인테리어되어 구분되어 있는 상태입니다. Q2. 단서가 흩어져 있나요? 놀랍게도 단 1개~5개의 신호(피처)만 켜지는 것을 보고도 “아, 지금 인공지능이 ‘비밀 계약 위반’ 부분을 읽고 흥분하고 있구나!”를 100% 맞출 수 있었습니다. 뇌 전체를 다 뒤질 필요 없이, 뇌의 특정 신경 세포 딱 하나만 반짝이는 것만 봐도 얘가 지금 무슨 법률 생각을 하는지 완벽히 독심술을 할 수 있게 된 것입니다.
🌟 이 연구가 왜 중요할까요? (앞으로의 변화)
- “더 믿을 수 있는 AI 변호사”의 탄생 그동안 인공지능이 법률 조언을 해주면 “이걸 믿어도 되나? 헛소리(할루시네이션) 아닐까?” 불안했습니다. 이제는 “인공지능 머릿속의 몇 번 뉴런이 켜진 걸 보니 제대로 된 근거를 바탕으로 판단했군!” 하고 안심하고 검증할 수 있게 됩니다.
- AI의 생각 지도(지도 제작) 성공 인공지능이라는 거대한 미지의 대륙에서 ‘법률 개념이 사는 동네’의 상세한 주소지(좌표 78개)를 정확히 지도에 표기해 둔 것과 같습니다. 이제 이 주소를 조작하면 AI의 판결 경향을 안전하게 조절하거나 치료(조정)할 수도 있게 됩니다.
관련 개념
사례 기반 법적 추론과 CATO 요인
사례 기반 법적 추론(case-based legal reasoning) 은 새 사건을 이미 판결된 사건들과 비교하는 방식입니다. 법률 전문가는 앞선 사건에서 결과에 차이를 만든 사실을 찾아내고, 유사점과 차이점을 근거로 논증하며, 그 용어로 결과를 설명합니다. AI & Law 연구는 이런 지식을 원시 사실(raw facts)과 최종 법적 결론(ultimate legal conclusions) 사이의 중간 수준에서 상징적으로 표현해 왔습니다.
⚖️ 1. HYPO 차원과 CATO 요인
| 체계 | 제안자 | 표현 단위 | 특징 |
|---|---|---|---|
| HYPO | Ashley (1991) | 차원(dimension) | 영업비밀(trade-secret) 분쟁에서 서로 다른 당사자에게 유리한 사실적 차이를 표현 |
| CATO | Aleven (1997) | 요인(factor) | HYPO 차원에서 파생. 법률 전문가가 사건 서사에서 추출한 26개의 정형화된 사실 패턴 |
CATO 요인은 한쪽 당사자에게 유리한, 반박 가능한(defeasible) 정형적 사실 패턴입니다. 서사에서 법적으로 의미 있는 패턴을 추상화해 한쪽의 주장과 연결합니다. 이 중간 수준은 선례 구속(precedential constraint) 모델, 가치를 포함한 이론 구성, 선례를 둘러싼 대화 모델을 뒷받침해 왔습니다. 요인은 법적으로 중요한 차이를 명시적으로 만들어 사건 비교, 논증 구성, 어떤 사실이 어떤 결론을 뒷받침하는지의 설명을 지원합니다.
📋 2. 26개 요인 목록 (Table 1)
F1–F27 중 F9는 비어 있습니다. (P)는 원고(plaintiff), (D)는 피고(defendant)에게 유리한 요인입니다.
| ID | 요인 (유리한 측) | 의미 |
|---|---|---|
| F1 | Disclosure-in-negotiations (D) | 원고가 협상 중 피고에게 정보를 공개했다 |
| F2 | Bribe-employee (P) | 피고가 원고의 직원에게 돈을 주어 정보를 가지고 이탈하게 했다 |
| F3 | Employee-sole-developer (D) | 피고의 직원이 원고의 제품을 단독으로 개발했다 |
| F4 | Agreed-not-to-disclose (P) | 피고가 원고와 비밀유지계약을 체결했다 |
| F5 | Agreement-not-specific (D) | 계약이 무엇이 비밀인지 특정하지 않았다 |
| F6 | Security-measures (P) | 원고가 구체적 보안 조치를 취했다 |
| F7 | Brought-tools (P) | 원고의 전 직원이 개발 자료를 가지고 갔다 |
| F8 | Competitive-advantage (P) | 원고 정보에 접근해 피고가 시간·비용을 절약했다 |
| F10 | Secrets-disclosed-outsiders (D) | 원고가 제품 정보를 외부인에게 공개했다 |
| F11 | Vertical-knowledge (D) | 정보가 고객·공급자에 관한 것이다 |
| F12 | Outsider-disclosures-restricted (P) | 외부 공개에 비밀유지 제한이 붙어 있었다 |
| F13 | Non-competition-agreement (P) | 당사자들이 경업금지 계약을 맺었다 |
| F14 | Restricted-materials-used (P) | 피고가 비밀유지 제한 하의 자료를 사용했다 |
| F15 | Unique-product (P) | 원고가 그 제품의 유일한 제조자였다 |
| F16 | Info-reverse-engineerable (D) | 정보를 역공학으로 알아낼 수 있었다 |
| F17 | Info-independently-generated (D) | 피고가 제품을 독자적으로 개발했다 |
| F18 | Identical-products (P) | 피고의 제품이 원고의 것과 동일했다 |
| F19 | No-security-measures (D) | 원고가 보안 조치를 취하지 않았다 |
| F20 | Info-known-to-competitors (D) | 정보가 경쟁자들에게 알려져 있었다 |
| F21 | Knew-info-confidential (P) | 피고가 정보가 비밀임을 알았다 |
| F22 | Invasive-techniques (P) | 피고가 침습적 기법으로 정보를 얻었다 |
| F23 | Waiver-of-confidentiality (D) | 원고가 계약으로 비밀성을 포기했다 |
| F24 | Info-obtainable-elsewhere (D) | 정보를 공개 출처에서 얻을 수 있었다 |
| F25 | Info-reverse-engineered (D) | 피고가 실제로 정보를 역공학했다 |
| F26 | Deception (P) | 피고가 기만으로 정보를 얻었다 |
| F27 | Disclosure-in-public-forum (D) | 원고가 공개 포럼에서 정보를 공개했다 |
🔍 3. 요인 정의가 “기준”이 되는 이유
기존 시스템은 요인을 결과 예측, 판례 텍스트에서의 추출, 법률 주석에 써 왔고, LLM도 요인 식별 등 법률 과제를 수행할 수 있다는 것이 알려져 있습니다. 이 논문은 과제 성능이 아니라 요인에 대응하는 내부 신호를 봅니다. 예컨대 F16은 정보를 역공학으로 얻을 수 있었는지, F25는 피고가 실제로 역공학을 했는지를 묻습니다. 요인 정의는 후보 신호가 포착해야 할 법적 기준을 명시하므로, 내부 표현을 평가할 외부 참조점이 됩니다.
💡 Key Takeaway CATO의 26개 요인은 전문가가 정의한, 서로 구별되는 법적 사실 패턴의 완결된 목록입니다. 이 논문은 이 목록을 LLM 내부 표현을 심문하는 질문지로 씁니다. 모델의 출력이 아니라, 모델이 구절을 읽을 때 만들어지는 활성에 각 요인의 정보가 있는지를 묻습니다.
잔차 스트림 활성과 선형 프로브
LLM이 구절을 읽으면 각 레이어는 각 토큰에 대해 수치 활성 벡터를 만듭니다. 이 논문은 잔차 스트림(residual stream), 즉 연속된 트랜스포머 블록이 갱신해 나가는 벡터를 봅니다.
📐 1. 선형 프로브의 정의
선형 프로브(linear probe) 는 이 수치들의 가중합을 학습해, 예컨대 F16이 있는 구절과 없는 구절을 구분하는 단순 분류기입니다. 구절 $x$ 의 레이어 $\ell$ 활성을 토큰에 대해 평균한 벡터를 $\bar h_\ell(x) \in \mathbb{R}^d$ 라 하면, 요인 $f$ 에 대한 프로브는
$$p_f(x) \;=\; \sigma!\left(w_f^\top \bar h_\ell(x) + b_f\right)$$
의 형태이고, $(w_f, b_f)$ 만 $L_2$ 정규화 로지스틱 회귀로 학습합니다. LLM 자체는 전혀 바뀌지 않습니다. 프로브 적합에 쓰지 않은 구절에서 예측이 성공하면, 그 요인 정보가 내부 상태에 접근 가능한 형태로 있다는 증거가 됩니다(Alain & Bengio 2016; Conneau et al. 2018).
🧪 2. 프로브 해석의 주의점
프로브 문헌은 통제 과제(control task) 와 별도의 평가 집합으로 프로브가 무엇을 배우는지 점검해야 한다고 지적해 왔습니다(Hewitt & Liang 2019; Ravichander et al. 2021). 이 논문은 두 가지로 대응합니다.
| 점검 | 방식 |
|---|---|
| 새 구절에서의 예측 | 적합에 쓰지 않은 test 분할에서만 AUC 보고 |
| 무작위 기준선 | 선택된 SAE 피처를 균일 무작위로 뽑은 피처 집합과 비교 |
| 표면 기준선 | 단어·인접 단어쌍만 쓰는 TF-IDF 분류기와 비교 |
세 번째 기준선이 중요합니다. TF-IDF가 거의 완벽한 AUC를 내기 때문에, 저자들은 RQ1의 결론을 “요인 정보가 표현(wording)과 분리된 채로 읽힌다”가 아니라 “요인 정보가 읽힌다”로 신중하게 한정합니다.
💡 Key Takeaway 선형 프로브는 “정보가 선형으로 접근 가능한가”만 답합니다. 이 논문에서 그 답은 모든 요인·모든 모델에서 “예”지만, 표면 특징 기준선도 같은 답을 내므로 프로브 결과만으로는 모델이 법적 개념을 어휘와 구분해 표현한다고 말할 수 없습니다.
희소 오토인코더와 피처 리드아웃
활성 벡터의 개별 좌표는 여러 종류의 정보를 섞어 담을 수 있습니다. 희소 오토인코더(sparse autoencoder, SAE) 는 활성 벡터를 학습된 피처들의 희소 조합으로 재구성합니다(Huben et al. 2024; Bricken et al. 2023; Elhage et al. 2022). 각 피처는 주어진 입력에 대한 활성 강도를 가지며, 토큰마다 활성화되는 피처는 상대적으로 적습니다.
🧩 1. 피처와 리드아웃의 정의
- 피처(feature) : 활성 공간의 학습된 방향입니다. 모델과 레이어마다 별도의 SAE가 있으므로, 피처 ID는 그 특정 SAE 안에서의 방향을 가리킵니다.
- 리드아웃(readout) : 선택된 피처 활성에 기반한 분류기입니다. 활성이 높을수록 요인이 있는지, 낮을수록 있는지를 학습하고, 여러 피처를 쓸 때는 증거를 결합합니다.
예컨대 SAE가 65,536개 피처를 가질 때, 1-피처 리드아웃은 선택된 한 피처의 활성 강도만 쓰고, 5-피처 리드아웃은 다섯 개를 결합합니다. 선택된 피처 집합 $S$ 와 구절 $x$ 에 대해 토큰 평균 SAE 피처 활성을 $\bar a_j(x)$ 라 하면
| $$r_f(x) \;=\; \sigma!\left(\sum_{j \in S} v_{f,j}\, \bar a_j(x) + c_f\right), \qquad | S | \in {1, 5}$$ |
입니다. 이 분류기 역시 적합에 쓰지 않은 구절에서 평가합니다.
🗂️ 2. 공개 SAE의 사용
이 논문은 SAE를 직접 학습하지 않고 공개된 것을 씁니다(Gao et al. 2025; Deng et al. 2026 Qwen-Scope; Rajamanoharan et al. 2024; Lieberum et al. 2024 Gemma Scope). 희소 피처 리드아웃의 선례로는 Gurnee et al. (2023)의 희소 프로빙이 있습니다.
한 가지 알려진 문제는 같은 정보를 표현하는 피처가 SAE 분해에 따라 달라질 수 있다는 점입니다(Chanin et al. 2026, 피처 분열·흡수). 저자들은 이를 두 가지로 점검합니다.
| 점검 | 내용 |
|---|---|
| 재표본 안정성 | 학습 구절을 복원 추출로 다시 뽑아 피처를 재선택했을 때 선택 집합이 얼마나 겹치는지 |
| 모델 간 비교 | 같은 요인에 대해 세 모델이 각자의 피처 공간에서 강한 희소 리드아웃을 갖는지 |
📊 3. 평가 지표: AUC
요인 과제마다 음성이 양성보다 훨씬 많으므로, 결정 임계값이나 클래스 비율에 의존하지 않는 AUC(area under the ROC curve) 를 씁니다. AUC는 리드아웃이 요인 포함 구절을 요인 없는 구절보다 얼마나 잘 상위에 놓는지를 재며, 0.5는 우연 수준, 1은 완전 분리입니다. F16이라면 높은 AUC는 리드아웃이 역공학 가능성을 표현하는 구절에 음성 예시보다 일관되게 높은 점수를 준다는 뜻입니다.
💡 Key Takeaway RQ2의 핵심 대상은 “SAE 피처 공간에서 어느 한두 개의 방향이 특정 법적 요인을 담고 있는가”입니다. 리드아웃은 그 방향의 토큰 평균 활성만 보는 극히 단순한 분류기이며, 그래서 높은 AUC가 나오면 그 피처 자체를 검사 대상으로 삼을 수 있습니다.
통제 코퍼스 구축
실제 사건은 여러 요인을 동시에 담고 있습니다. 한 번에 한 요인을 보기 위해, 저자들은 요인별로 짧은 구절을 생성하고 그 요인이 표현되는지 확인합니다. 사업 배경과 표현은 다양하게 바꿉니다. 코퍼스는 26개 요인을 모두 덮고, 같은 구절 위에서 분류기들을 비교할 수 있게 합니다. 모든 구절은 배경이나 표현과 무관하게 같은 요인 정의로 라벨링됩니다.
🏗️ 1. 생성·주석·중재 파이프라인
| 단계 | 모델 | 역할 |
|---|---|---|
| 생성 | Tencent Hy3 | 2–4문장 구절의 주 생성기 |
| 독립 주석 | DeepSeek-V4-Flash | 각 구절을 26개 요인 정의 전부에 대해 독립적으로 주석 |
| 중재 | Anthropic Haiku 4.5 | 불일치 판정 |
구절은 목표 요인이 확인되고, 추가로 발견된 요인이 모두 카탈로그의 함의(entailment) 관계상 목표 요인에서 따라 나오는 경우에만 보존했습니다. 결과 코퍼스는 요인 포함 구절 6,992개(요인당 217–324개) 와 요인 없는 구절 901개입니다.
🔀 2. 변이의 축 (Table 2)
네 구절 모두 F19(보안 조치 없음)를 표현하지만, 예시 A 대비 산업·정보 유형·서술 양식이 바뀝니다.
| 예시 | 바뀐 축 | 내용 요지 |
|---|---|---|
| A | (기준) | 바이오텍 시약 라인의 공급자 네트워크 사양을 접근 통제 없는 공유 드라이브에 보관 |
| B | 정보 유형 | 폴리머 경화용 산업 화학물 배합식을 같은 방식으로 보관 |
| C | 산업 | 항공우주 부품의 공급자 네트워크, 조직 내 누구나 열람 가능 |
| D | 서술 양식 | 소장(complaint) 발췌 형식. 원고가 공정 열람 직원을 제한하지 않음 |
👥 3. 사람 감사
무작위 표본 220개 구절을 모델 라벨을 가린 채 요인 정의와 대조했습니다. 요인당 8개(208개)에 요인 없는 통제 12개를 섞었습니다. 사람–LLM 일치율은 98.6%(217/220) 이며, 통제 12개는 모두 일치했습니다.
✂️ 4. 학습·평가 분할
| 분할 | 요인 포함 | 요인 없음 | 합계 |
|---|---|---|---|
| train | 3,485 | 447 | 3,932 |
| test | 3,507 | 454 | 3,961 |
두 분할 모두 같은 생성·검증 절차에서 나온 다양한 서사를 담습니다. 함께 생성된 구절은 분할 시 같은 쪽에 두고, 동일한 구절이 양쪽에 공유되지 않게 했습니다. test 집합은 리드아웃 비교와 레이어 선택에 씁니다. 비교용으로 개별 단어와 인접 단어쌍으로 요인 존재를 예측하는 TF-IDF 분류기를 둡니다.
💡 Key Takeaway 코퍼스의 설계 원칙은 “요인 하나, 표현은 여럿”입니다. 3단계 LLM 라벨링과 함의 관계 필터, 사람 감사가 라벨의 신뢰도를 받치지만, 저자들도 인정하듯 train/test가 같은 생성 절차를 공유한다는 점은 이후 한계로 남습니다.
프로빙 설계: 모델, 레이어, SAE
RQ1과 RQ2는 같은 코퍼스·라벨·train/test 분할을 씁니다. 각 구절의 활성은 첫 토큰을 제외하고 토큰에 대해 평균합니다. “전체 활성(full activations)”은 한 샘플 레이어에서 이 잔차 벡터의 모든 차원을 뜻합니다.
🧱 1. 세 모델과 공개 SAE
세 개의 공개 사전학습 베이스 체크포인트를 분석하고, 각 레이어 스택의 약 1/4, 1/2, 3/4 지점에서 잔차 스트림을 읽습니다.
| 모델 | 총 레이어 | 샘플 레이어 | SAE | 폭 | 희소성 |
|---|---|---|---|---|---|
| Qwen3-1.7B-Base | 28 | 7 / 14 / 21 | Qwen-Scope residual, TopK | 32,768 | L0 = 100 |
| Qwen3-8B-Base | 36 | 9 / 18 / 27 | Qwen-Scope residual, TopK | 65,536 | L0 = 100 |
| Gemma 2 2B (pretrained) | 26 | 6 / 13 / 20 | Gemma Scope residual, JumpReLU | 16,384 | 평균 L0 = 70 / 84 / 71 |
Hugging Face ID는 Qwen/Qwen3-1.7B-Base, Qwen/Qwen3-8B-Base, google/gemma-2-2b 이고, SAE 저장소는 Qwen/SAE-Res-Qwen3-1.7B-Base-W32K-L0_100, Qwen/SAE-Res-Qwen3-8B-Base-W64K-L0_100, google/gemma-scope-2b-pt-res(layer_6/width_16k/average_l0_70, layer_13/width_16k/average_l0_84, layer_20/width_16k/average_l0_71)입니다.
🎯 2. RQ1: 분류와 레이어 선택
요인마다 양성은 검증된 그 요인의 구절입니다. 각 분할 안에서 음성은 요인 없는 구절 + 다른 요인의 양성 구절을 합치되, 목표 요인을 함의하는 것으로 알려진 요인은 제외합니다. 예컨대 F16의 음성은 중립적 사업 구절과 다른 요인 구절이지만, F16을 함의하는 요인의 구절은 F16도 만족하므로 음성으로 다루지 않습니다.
각 샘플 레이어의 평균 풀링 잔차 활성에 가중치 없는 $L_2$ 정규화 로지스틱 분류기를 적합하고, 요인별로 test 집합에서 샘플 레이어 중 최대 raw-residual AUC를 보고합니다.
🔢 3. RQ2: 소수 피처 선택
레이어 안에서 피처는 리드아웃 적합용 구절에서
| $$\text{score}(j) \;=\; \left | \mathrm{AUC}_j - 0.5\right | $$ |
로 순위를 매깁니다. 활성이 양성과 음성을 어느 방향으로든 분리하면 순위가 올라가고, 상수 피처는 0.5를 받습니다. 상위 $k \in {1, 5}$ 개 피처를 고정하고 각 집합에 새 가중치 없는 $L_2$ 리드아웃을 적합합니다. “top-1”과 “top-5”는 따라서 1개·5개 선택 피처로 제한된 분류기를 뜻합니다.
| 설정 | 내용 |
|---|---|
| 무작위 기준선 | 비활성 피처를 포함해 균일 표본으로 뽑은 5개 피처, 20회 추첨 |
| 직접 비교(Figure 2) | 네 리드아웃 유형 모두 중간 샘플 레이어(14 / 18 / 13) 사용, 요인별 동일 가중 평균 AUC |
| 요인별 요약 | 각 리드아웃 크기에 대해 레이어 전체의 요인별 최대값 |
| 위치 목록(Figure 3) | 각 요인의 top-1 test AUC가 가장 높은 레이어와, 리드아웃 적합 데이터에서 선택된 피처 ID |
보고된 각 위치에서 선택된 SAE 피처의 활성을 구절 토큰에 대해 평균하고, 분류기는 이 평균으로 요인 존재를 점수화합니다.
🔁 4. 재표본 안정성 검사
Qwen3-8B에 대해 학습 구절을 표본 크기를 고정한 채 복원 추출로 3회 재표본하고 매번 5개 피처를 다시 선택합니다. 선택 집합은 평균 쌍별 Jaccard 중첩(공유 피처 수 / 양쪽 집합의 합집합 크기)으로 비교하며, 사전 지정된 안정성 임계값은 0.6입니다. 임계값 미만인 네 요인에 대해서는 10회 부트스트랩으로 선택 피처와 분류기 가중치가 비슷하게 유지되는지 검사합니다.
💡 Key Takeaway 설계의 핵심은 세 모델에 같은 규칙을 적용한다는 점입니다. 같은 코퍼스, 같은 음성 구성, 같은 피처 선택 기준, 같은 위치 보고 규칙 덕분에 “어느 요인이 한 피처로 예측되는가, 어느 요인이 여러 피처가 필요한가, 어느 요인들이 피처를 공유하는가”를 모델 간에 비교할 수 있습니다.
RQ1 결과: 전체 활성에서 요인 정보 읽기
세 모델 각각의 26개 요인 모두에 대해, 선형 분류기는 요인 포함 구절과 요인 없는 구절을 최대 held-out AUC 0.998–1.000 으로 분리합니다. 이 예측은 test 구절에 대한 모델 내부 활성을 쓰므로, 활성에 각 요인의 존재 정보가 담겨 있음을 보여줍니다.
📈 1. 결과 요약
| 모델 | 요인 수 | 최대 held-out AUC 범위 |
|---|---|---|
| Qwen3-1.7B | 26 | 0.998–1.000 |
| Qwen3-8B | 26 | 0.998–1.000 |
| Gemma-2 2B | 26 | 0.998–1.000 |
⚠️ 2. TF-IDF 기준선이 말해주는 것
TF-IDF 역시 test 집합에서 거의 완벽한 AUC를 냅니다. 단어와 단어쌍만으로도 이 양성·음성 구절을 구분할 수 있으므로, RQ1은 요인 정보가 그것을 표현하는 어휘와 분리된 채로 읽힌다는 것을 보여주지는 않습니다. 저자들은 이 점을 명시하고, RQ2에서 소수 SAE 피처도 같은 구분을 할 수 있는지를 묻습니다.
💡 Key Takeaway RQ1은 “가능성”의 하한을 세웁니다. 어떤 요인도 선형으로 읽히지 않는 경우는 없습니다. 그러나 표면 기준선이 동률이므로, 이 결과의 의미는 “정보가 있다”까지이며 “모델이 법적 개념을 추상화했다”가 아닙니다.
RQ2 결과: 소수 SAE 피처의 리드아웃 성능
Figure 2는 각 모델의 중간 샘플 레이어(14 / 18 / 13)에서 무작위 피처, 선택 피처, 전체 활성 벡터를 직접 비교합니다. 모델 안에서 네 리드아웃은 같은 레이어와 같은 26개 요인 과제를 씁니다.
📊 1. 중간 레이어 평균 AUC (Figure 2)
| 리드아웃 | Qwen3-1.7B (L14) | Qwen3-8B (L18) | Gemma-2 2B (L13) |
|---|---|---|---|
| 무작위 5 피처 (20회 평균) | 0.551 | 0.534 | 0.578 |
| 선택 1 피처 (top-1) | 0.944 | 0.954 | 0.950 |
| 선택 5 피처 (top-5) | 0.986 | 0.988 | 0.986 |
| 전체 활성 벡터 | (top-5에 근접) | (top-5에 근접) | (top-5에 근접) |
무작위 5개 피처는 우연 수준을 조금 넘는 데 그칩니다. 선택된 한 개 피처가 평균을 0.94–0.95로 끌어올리고, 다섯 개는 0.986–0.988로 전체 벡터 리드아웃에 근접합니다. 따라서 높은 성능은 어떤 피처를 고르느냐에 달려 있으며, 소수의 선택 피처가 전체 활성 벡터에 있는 요인 판별 성능의 상당 부분을 보존합니다.
🏆 2. 요인별 최적 레이어 통계
| 통계 | Qwen3-1.7B | Qwen3-8B | Gemma-2 2B |
|---|---|---|---|
| 단일 피처 AUC > 0.86 인 요인 | 26 / 26 | 26 / 26 | 26 / 26 |
| 요인별 최적 레이어 top-1 AUC 중앙값 | 0.961 | 0.972 | 0.961 |
| 요인별 최적 레이어 top-5 AUC 최솟값 | 0.965 | 0.962 | 0.965 |
각 모델에서 모든 요인이 세 레이어 중 하나 이상에서 AUC 0.86을 넘는 단일 피처 리드아웃을 갖습니다. 초록이 말하는 “best-layer test AUC 0.86–1.00”은 이 범위입니다.
📍 3. F16의 좌표 예시 (Figure 3)
Figure 3은 세 모델의 26개 요인 전부에 대해 샘플 레이어 전체에서 가장 강한 단일 피처 리드아웃의 위치와 AUC를 줍니다. 각 패널에서 채워진 사각형이 test 단일 피처 AUC가 가장 높은 레이어이고, 옆의 숫자가 그 레이어 SAE 안의 피처 ID입니다. 점은 0.85(왼쪽)–1.00(오른쪽) 트랙 위의 AUC입니다.
| 모델 | F16 (Info-reverse-engineerable) 위치 |
|---|---|
| Qwen3-1.7B | layer 7 / feature 20148 |
| Qwen3-8B | layer 9 / feature 790 |
| Gemma-2 2B | layer 20 / feature 4610 |
본문에 명시된 좌표는 F16과 아래 “공유 피처” 절의 쌍들뿐이며, 나머지 좌표는 Figure 3에만 있습니다.
💡 Key Takeaway 무작위 5개 피처는 0.53–0.58, 선택 1개 피처는 0.94–0.95, 선택 5개는 0.986–0.988. 이 세 숫자의 간격이 RQ2의 전부입니다. SAE 피처 공간에서 요인 정보는 어디에나 퍼져 있지 않고, 고를 수 있는 소수 방향에 모여 있습니다.
레이어 분포와 피처 공유
RQ1은 요인 정보가 전체 활성에서 읽힌다는 것을, RQ2는 소수 선택 SAE 피처가 그 정보의 상당 부분을 보존한다는 것을 세웁니다. 이 절은 78개 좌표의 구조를 봅니다.
🪜 1. 레이어 분포
선택된 위치는 모든 모델에서 세 샘플 깊이 전부에 걸쳐 있습니다.
| 모델 | 샘플 레이어 | 최적 top-1 리드아웃을 공급한 요인 수 |
|---|---|---|
| Qwen3-1.7B | 7 / 14 / 21 | 9 / 11 / 6 |
| Qwen3-8B | 9 / 18 / 27 | 5 / 11 / 10 |
| Gemma-2 2B | 6 / 13 / 20 | 5 / 12 / 9 |
중간 샘플 레이어가 각 모델에서 가장 빈번하지만, 절반 미만의 요인만 그곳을 선택합니다. 따라서 서로 다른 요인은 서로 다른 레이어에서 가장 잘 예측됩니다. 다만 차선 샘플 레이어 대비 AUC 우위의 중앙값은 각 모델에서 0.011 에 불과해, 다른 레이어도 종종 비슷하게 강한 예측을 줍니다.
🔗 2. 공유 SAE 피처
26개 요인이 선택한 서로 다른 레이어–피처 좌표는 Qwen3-1.7B에서 24개, Qwen3-8B와 Gemma-2 2B에서 각 25개입니다. 즉 몇몇 요인 쌍이 같은 좌표를 공유합니다.
| 모델 | 공유 좌표 | 요인 쌍 | 두 요인의 관계 |
|---|---|---|---|
| Qwen3-1.7B | layer 7 / feature 20148 | F16 (역공학 가능) · F25 (실제 역공학) | 같은 활동에 대한 가능성 vs 실행 |
| Qwen3-1.7B | layer 7 / feature 14203 | F20 (경쟁자에게 알려짐) · F24 (다른 곳에서 얻을 수 있음) | 정보 접근 가능성의 서로 다른 경로 |
| Qwen3-8B | layer 18 / feature 39452 | F24 · F27 (공개 포럼 공개) | 정보가 접근 가능해지는 서로 다른 경로 |
| Gemma-2 2B | layer 13 / feature 15378 | F24 · F27 | 위와 동일한 쌍 |
피처 공유는 같은 SAE 피처의 활성이 둘 이상의 법적 요인 예측에 쓰일 수 있다는 뜻입니다. 법률 분석에서는 쌍을 이룬 요인들의 관계가 중요합니다. F16은 역공학으로 정보를 얻을 가능성을, F25는 실제로 취한 행동을 다룹니다. Qwen3-1.7B에서 둘이 좌표를 공유한다는 것은 한 피처가 같은 활동에 대한 두 질문 모두에 반응함을 시사합니다. F24와 F27도 정보가 접근 가능해지는 서로 다른 경로입니다. 좌표를 요인 정의와 나란히 읽으면 이런 관계가 드러나고, 관련 요인을 표현하는 구절들을 비교할 때 검사할 특정 피처 활성이 지목됩니다.
💡 Key Takeaway 좌표 목록은 단순한 성능표가 아니라 구조를 보여줍니다. 요인은 세 깊이에 흩어져 있고, 법적으로 가까운 요인 쌍(가능성/실행, 접근 경로들)은 작은 모델에서 피처를 공유합니다. 이것은 모델이 법률 전문가의 구분보다 조금 더 거친 입자로 어떤 개념을 묶고 있을 수 있다는 단서입니다.
한 피처에서 소수 집합으로: F14와 안정성
여러 피처를 쓰면 하나만 쓸 때보다 예측이 좋아질 수 있습니다. 또한 선택이 재표본에 얼마나 민감한지도 봐야 합니다.
➕ 1. F14의 예
| 리드아웃 | Qwen3-1.7B | Qwen3-8B | Gemma-2 2B |
|---|---|---|---|
| 단일 피처 (보고된 위치) | 0.861 | 0.911 | 0.893 |
| 5 피처 (같은 레이어) | 0.970 | 0.969 | 0.965 |
| 전체 벡터 | ≥ 0.9998 | ≥ 0.9998 | ≥ 0.9998 |
F14(Restricted-materials-used)는 단일 피처 AUC가 가장 낮은 축에 속하는 요인입니다. 같은 레이어에서 5개 피처를 쓰면 0.965–0.970으로 오릅니다. 따라서 여러 피처가 하나보다 요인을 더 잘 예측할 수 있고, 서로 다른 요인이 같은 피처 일부를 쓸 수 있습니다.
🔎 2. 소수 리드아웃의 검사 가능성
작은 리드아웃은 검사하기 쉬운 대상입니다. 어떤 구절이든 그 예측을
$$\text{logit}\, r_f(x) \;=\; \sum_{j \in S} \underbrace{v_{f,j}\, \bar a_j(x)}_{\text{피처 } j \text{의 기여} } + c_f$$
처럼 선택 피처 활성과 적합 가중치의 기여로 분해할 수 있습니다. 구절 간에 이 기여를 비교하면 어떤 신호가 요인 점수를 올리고 내리는지 볼 수 있습니다.
🔁 3. 재표본 안정성 (Qwen3-8B)
| 항목 | 결과 |
|---|---|
| Jaccard 중첩 임계값(0.6)을 만족한 요인 | 22 / 26 |
| 임계값 미만 요인 | F2, F8, F11, F24 |
| 10회 재표본에서 각 요인의 총 고유 피처 수 | 8–9개 |
| 재학습 후 가중치 벡터 코사인 유사도 | 0.95–0.99 |
임계값 미만인 네 요인은 10회 재표본마다 다른 5개 집합을 고르지만, 요인당 총 8–9개의 고유 피처만 오갑니다. 재학습 후 분류기는 높은 AUC와 비슷한 상대 피처 가중치를 유지합니다. 정확한 선택은 변하지만, 예측과 피처 가중은 안정적입니다.
💡 Key Takeaway 단일 피처가 약한 요인(F14, 0.86–0.91)도 5개로 늘리면 0.97에 닿고, 재표본에서 흔들리는 요인도 8–9개의 작은 피처 풀 안에서만 흔들립니다. 리드아웃의 “작음”은 성능을 크게 잃지 않으면서 검사 가능성을 얻는 교환입니다.
요인 카탈로그를 통한 모델 간 비교
요인 카탈로그는 각 모델에 같은 구체적 질문을 던지게 합니다. 어느 요인이 한 피처로 예측되는가, 어느 요인이 여러 피처의 도움을 받는가, 어느 요인들이 같은 피처를 쓰는가. 그런 다음 각 요인을 예측하는 레이어와 피처를 모델 간에 비교할 수 있습니다.
🧭 1. 공통 참조는 법적 요인
피처 번호는 각 모델 자체 SAE에 속하므로 모델 간에 직접 대응되지 않습니다. 공통 참조는 법적 요인입니다. 세 모델에서 강한 희소 리드아웃이 되풀이된다는 것은, 각 학습된 피처 공간에서 소수 피처로 카탈로그의 요인을 예측하기에 충분하다는 뜻입니다.
🧮 2. 두 수준의 비교
| 수준 | 질문 |
|---|---|
| 가독성 | 같은 요인 정보가 각 모델에서 읽히는가 |
| 압축성 | 각 모델이 그것을 예측하는 데 쓰는 신호를 얼마나 압축적으로 표현하는가 |
공통 요인 정의, 구절 라벨, 보고된 좌표의 결합이 이 두 수준의 비교를 지원합니다.
🔬 3. 결론의 위치
저자들은 이 연구를 통제된 서사에 대한 개념 증명(proof of concept) 으로 자리매김합니다. 법률 자연어, 상징적 법률 지식, LLM 내부 표현을 하나의 구체적 검사(“분류기가 모델이 구절을 읽을 때 만든 활성에서 전문가 정의 요인을 예측할 수 있는가”)로 연결합니다. 법률 전문가는 요인 정의로 구절이 무엇을 표현하는지 판단한 뒤, 보고된 피처가 그 판단을 예측하는지 검사할 수 있습니다. 상징적 법률 지식에는 모델이 언어에서 무엇을 배우는지를 연구하기 위한 전문가 정의 구분을 공급한다는 추가 역할이 생깁니다.
💡 Key Takeaway 이 논문의 방법론적 제안은 “해석가능성 연구의 기준점으로 도메인 전문가가 이미 정형화해 둔 개념 체계를 쓰라”는 것입니다. CATO처럼 완결되고 상호 구별되는 목록이 있으면, 모델마다 다른 피처 좌표계를 같은 질문지로 비교할 수 있습니다.
한계와 향후 과제
저자들은 세 묶음의 한계를 명시합니다.
📜 1. 텍스트와 법 영역의 범위
| 한계 | 내용 |
|---|---|
| 텍스트 | 미국 영업비밀 요인에 관한 통제된 영어 서사. 실제 사건은 더 긴 서사, 공존 요인, 다툼 있는 사실, 증거·절차사에 흩어진 정보를 담음 |
| 다음 단계 | 고정된 리드아웃을 판결문·사건 기록 전문에서 평가하고, 단독 요인과 공존 요인의 성능을 따로 보고 |
| 영역·언어 | 다른 법 영역과 언어에서도 소수 SAE 피처로 법 개념이 예측되는지 검사 필요 |
| 모델 크기 | 1.7B–8B 세 공개 모델은 현재 기준으로 작음. 더 큰 모델은 미검증 |
🧪 2. 일반화와 주석
- train과 test가 같은 통제 생성 절차를 공유합니다. 일부 양성·음성 구절은 길이가 다르고, TF-IDF가 강하게 수행합니다.
- 후속 평가는 길이 프로파일을 맞추고, 더 다양한 표현을 쓰며, 표현이 아니라 법적 사실을 바꾸는 대조 구절(예: 원고가 아닌 사람이 취한 보안 조치, 법적 의미가 없는 접근 제한)을 포함해야 합니다.
- 고정 임계값에서의 정밀도·재현율·F1 보고가 AUC를 보완할 것입니다.
- 라벨은 교차 모델 점검과 블라인드 사람 감사를 거쳤지만, 복수 전문가로 주석자 간 일치도를 재고 사실 패턴에 대한 불일치를 검토하는 추가 연구가 필요합니다.
🛠️ 3. 표현에서 사용으로
향후 연구는 요인 리드아웃이 전문가가 생성된 사건 요약·비교에서 찾은 오류를 설명하는 데 도움이 되는지 검사할 수 있습니다.
| 질문 | 검사 |
|---|---|
| 요약이 비밀유지 조치를 빠뜨리면, 리드아웃도 입력에서 그 요인을 놓치는가? | 리드아웃 실패와 출력 오류의 대응 |
| 모델이 역공학 가능성(F16)과 실행(F25)을 혼동하면, 두 요인이 같은 SAE 피처에 의존하는가? | 공유 피처와 혼동의 관계 |
| 선택 피처를 억제·증폭하면 출력이 바뀌는가? | 개입 실험(intervention) 으로 인과적 의존 검사 |
이런 검사는 법률 전문가와 개발자가 모델이 반복해서 놓치거나 혼동하는 사실을 찾아 평가·개선 대상으로 삼게 하고, 사건 비교·설명·법적 추론 도구의 평가와 감독에서 법률 전문성에 구체적 역할을 줍니다.
💡 Key Takeaway 현재 결과는 상관적(리드아웃이 요인을 예측한다)이며 통제 코퍼스 안의 것입니다. 실제 판결문, 길이·표현을 맞춘 대조 구절, 개입 실험이 없으면 “모델이 이 피처로 법적 요인을 사용한다”고는 말할 수 없습니다. 저자들도 이를 명확히 선을 긋고 있습니다.