You know maize mean?
Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
0. Summary
- 기본 정보 : ArXiv,2026.10.29, Reasoning or Pattern Exploitation? Mechanistic Insights from RL-Trained Language Models
- 연구 배경 : 검증 가능한 보상을 쓰는 강화학습(RL) 이후 LLM이 “추론(reasoning)” 능력을 얻는다는 서술이 흔하지만, 그 향상이 진짜 추론인지 표면적 적응인지는 충분히 검토되지 않았다. 특히 수십억 파라미터 이하의 소형 추론 모델이 에이전트 시스템에 빠르게 투입되는 상황에서, RL 학습이 소형 모델 내부에서 실제로 무엇을 바꾸는지에 대한 직접적인 기계론적 측정은 없었다. 기존 해석가능성 연구는 학습이 끝난 모델만 보았고, RL 추론 연구는 내부가 아니라 행동만 보았다.
- 제안 방법 : 유한하고 완전히 분석 가능한 논리 영역인 Tic-Tac-Toe에서 Qwen2.5 0.5B·1.5B Instruct, Llama3.2 1B Instruct를 GRPO로 학습하고, 300스텝마다 저장한 체크포인트마다 일반 코퍼스(C4-10k)로 학습한 희소 오토인코더(SAE)로 잔차 스트림 표현을 읽는다. 게임 구조에서 정의한 7개 가설(H1 턴, H2 진행 단계, H3 전략 상황, H4 대칭 클래스, H5 합법성, H6 최적수 정답 여부, H7 라인 순도)을 t-SNE 주축 F-통계량, Cramér’s V, AMI, 그리고 SAE 없이 원시 활성에 대한 선형·MLP 프로브로 검정하고, 활성 패칭과 스티어링으로 인과적 위치를 확인한다.
- 발견 사실 : (1) GRPO는 정확도를 크게 올리지만(Qwen2.5-1.5B 합법수 100%, 최적수 NL 75.6%), ASCII 입력에서는 큰 폭으로 떨어지고(본문 기준 73% → 44%) 대칭 관련 보드에서 대응되는 수를 두는 비율은 56.7–57.7%에 그친다. (2) 층 12에서 턴(H1)의 F-통계량은 5285 → 316으로 17배 줄고 진행 단계(H2)는 274 → 2330으로 8.5배 커지지만, 전략 상황(H3)·대칭(H4)은 잡음 수준에 머문다. (3) 원시 활성 프로브에서 H1·H2·H5는 기본 모델에서 이미 AUC 1.000이고 H3은 0.686 → 0.684로 움직이지 않는다. 즉 GRPO는 개념 정보를 추가하거나 제거하지 않고 어떤 피처가 표현을 지배하는지를 재조직한다. (4) 활성 패칭은 28층 중 25층에서만 100쌍 중 66쌍의 예측을 뒤집고(무패칭 10, 무관 도너 12, $p<10^{-14}$), 층 13·17·21에서는 효과가 없어 결정은 후반 층에서 내려진다.
- 핵심 기여 :
- RL 학습 궤적을 따라가는 해석 파이프라인 : 소형 LLM에서 GRPO 체크포인트 8개 × 11개 층 × 8개 가설 계열에 걸쳐 표현 동역학을 추적하는 체계적 파이프라인을 처음 제시했다.
- 가설 주도 SAE 검정 : SAE 피처 발견을 유한 논리 영역에서의 가설 주도 통계 검정(ANOVA F, Cramér’s V, AMI, 순열 검정)으로 확장하고, 같은 결론을 SAE·투영·클러스터링이 없는 원시 활성 프로브로 독립 재현했다.
- “재조직, 추가 아님” 명제의 인과적 뒷받침 : RL 후훈련이 중간 층에서 지배 피처를 재배열할 뿐 개념 정보를 더하거나 빼지 않으며, 실제 결정은 턴 구조가 다시 나타나는 후반 층 상태에서 내려진다는 것을 활성 패칭과 스티어링으로 보였다.
Abstract 쉬운 설명(Gemini)
관련 개념
연구 질문: RL이 만든 것은 추론인가, 프롬프트 활용인가
검증 가능한 보상을 쓰는 강화학습(RL with verifiable rewards) 은 DeepSeek-R1 계열 이후 LLM에 추론 능력을 부여하는 대표적 방법으로 받아들여지고 있습니다. 추론 벤치마크 점수 상승은 고차 인지 능력의 증거로 널리 해석됩니다. 동시에 수십억 파라미터 이하의 소형 추론 모델(small reasoning models) 이 에이전트 시스템과 구조화된 의사결정 워크플로에 모듈로 들어가고 있습니다.
❓ 1. 과대평가 경고와 열린 질문
| 비판 계열 | 주장 |
|---|---|
| 얕은 패턴 활용 | 모델이 보상 해킹, 학습 데이터 과적합, 분포적 단서 의존으로 점수를 올릴 수 있음 |
| 반사실·기호 섭동 연구 | 논리 내용은 그대로이고 표현만 바뀌어도 정확도가 크게 떨어짐 (GSM-Symbolic 등) |
| 자기 검증 실패 | 자기 검증과 추상화에서의 실패가 추론 주장의 취약성을 드러냄 |
논문이 지적하는 빈틈은 RL 학습 자체가 모델 내부에서 무엇을 바꾸는지에 대한 직접적인 기계론적 읽기가 없다는 것입니다. 기존 해석가능성 연구는 학습이 끝난 최종 산출물만 보았고, RL 추론 연구는 내부가 아닌 행동만 보았습니다. 이 논문은 완전히 풀 수 있는 영역에서 GRPO 학습의 끝점이 아니라 궤적 전체를 따라가며 표현 변화를 추적합니다.
🎯 2. 연구 범위와 주장 수준
연구는 정책 수준이 아니라 표현 수준에서 질문합니다. RL 후훈련의 탐색-활용 문제는 정책 수준에서 이미 연구되었으므로, 이 논문은 SAE와 통제된 가설 집합을 써서 GRPO 같은 대중적 후훈련 레시피가 표현 동역학을 실제로 어떻게 바꾸는지, 그리고 정량적 성능 향상이 고차 추론의 출현을 함의하는지를 측정합니다.
가장 가까운 선행 연구와의 차이는 다음과 같습니다.
| 선행 연구 | 연구 대상 | 이 논문과의 차이 |
|---|---|---|
| Karvonen et al. (2024) | 처음부터 학습한 보드게임 모델에서 사전 학습(dictionary learning) 품질 벤치마크 | 연구 대상이 SAE 방법 자체. 이 논문은 SAE를 도구로 쓰고 RL 후훈련이 대상 |
| He et al. (2024) OthelloGPT | 처음부터 학습한 모델의 단일 끝점 분석 | 이 논문은 학습 궤적상의 체크포인트들을 비교 |
| Galichin et al. (2026), Venhoff et al. (2025) | 이미 학습된 모델에서 추론 관련 피처 발견 | 그 피처들은 담화(discourse) 수준, 이 논문에서 RL이 강화하는 것은 프롬프트 수준 |
💡 Key Takeaway 논문의 질문은 “RL 이후 점수가 오르는가”가 아니라 “그 점수 상승이 내부에서 어떤 표현 변화로 이루어지는가”입니다. 끝점이 아닌 GRPO 학습 궤적 전체를, 그리고 행동이 아닌 표현을 본다는 점이 선행 연구와의 핵심 차이입니다.
왜 Tic-Tac-Toe인가: 완전 열거 가능한 영역과 데이터셋
Tic-Tac-Toe를 고른 이유는 상태 공간을 완전히 열거할 수 있고, 대칭을 엄격히 통제할 수 있으며, 얕은 피처(턴 순서, 보드 점유)와 고차 추상(전략적 위협, 포크, 대칭)을 깨끗하게 구분할 수 있기 때문입니다. 부록 J는 이를 “결함이 아니라 특징(a feature, not a bug)”이라고 표현합니다. 표현 동역학을 정답(ground truth)에 대고 잴 수 있고, 전략적 추상에 대한 부정적 결과가 모호하지 않기 때문입니다.
🗂️ 1. 데이터셋 통계 (Table 9)
빈 보드에서 깊이 우선 탐색으로 모든 상태를 생성하고, 각 상태에 현재 플레이어, 합법수, 종료 여부, 미니맥스 최적수, 정규 대칭 ID를 기록했습니다. 수는 정수로 인코딩됩니다(X는 1–9, O는 10–18).
| 통계 | 값 |
|---|---|
| 가능한 보드 배정 ($3^{9}$) | 19,683 |
| 도달 가능한 합법 상태 | 5,478 |
| 종료 / 비종료 | 958 / 4,520 |
| 대칭 그룹 수 | 765 |
| 그룹 크기 1 / 2 / 4 / 8 | 6 / 6 / 141 / 612 |
| 무작위 분할 (train/val/test) | 4,382 / 547 / 549 |
| 정규 대칭 분할 (train/val/test) | 3,825 / 830 / 823 |
| 불법(도달 불가) 보드 | 5,000 |
불법 보드는 $3^{9}$개 상태를 모두 열거한 뒤 도달 불가능한 것을 골라 만들었고, 위반 범주별로 균형을 맞췄습니다.
🔀 2. 두 가지 분할은 서로 다른 질문에 답한다
| 분할 | 구성 | 측정하는 것 |
|---|---|---|
| 무작위 분할(Random split) | 모든 합법 상태를 80-10-10으로 분할 | 테스트 보드의 대칭 변형이 학습에 있을 때의 성능 |
| 정규 대칭 분할(Canonical symmetry split) | 회전·반사 8가지 변형을 정규 ID로 묶어 그룹 전체를 train 또는 test에 배치 | 보지 못한 대칭 그룹으로의 일반화 |
부록 I는 정규 분할이 왜 필요한지 설명합니다. 무작위 분할에서는 549개 테스트 상태 전부가 학습에 대칭 형제를 최소 하나 가집니다. 크기 8인 대칭 그룹에서 어떤 테스트 상태가 80% 학습 표본에 형제가 하나도 없을 확률은 약 1/78,000입니다. 따라서 보지 못한 대칭 그룹을 대규모로 얻으려면 그룹 전체를 떼어 놓는 수밖에 없고, 이 때문에 두 분할은 한 비교의 두 팔이 아니라 별개의 설계입니다.
📝 3. 데이터 필드
각 항목은 보드(숫자·ASCII), 자연어 설명, 수 순서, 결과 라벨, 합법수, 최적수, 대칭 식별자를 포함합니다. 정규형은 보드를 4번 회전하며 각 회전과 그 좌우 반전을 평탄화해 모은 8개 중 사전순 최소를 취합니다(Algorithm 10).
💡 Key Takeaway 5,478개 합법 상태, 765개 대칭 그룹, 5,000개 불법 보드가 전부 열거되어 있으므로, 어떤 가설이든 정답에 대고 검정할 수 있습니다. 대칭 그룹 단위 분할은 대칭 일반화를 측정할 유일한 방법입니다.
모델, GRPO 학습, 보상 설계
🧠 1. 모델과 학습 설정
| 항목 | 값 |
|---|---|
| 모델 | Qwen2.5 0.5B Instruct, Qwen2.5 1.5B Instruct, Llama3.2 1B Instruct |
| 알고리즘 | GRPO (Group Relative Policy Optimization) |
| SFT 기준선 | 시도했으나 실패. 모델이 유효한 이어쓰기를 배우지 못하고 입력 프롬프트를 반복 |
| 하드웨어·라이브러리 | H100 2장, TRL, FlashAttention-2, DeepSpeed |
| 학습률 / 스케줄러 | $1\times 10^{-6}$ / 코사인 |
| 정밀도 / 그래디언트 누적 | bf16 / 8 |
| 체크포인트 | 300스텝마다, 2240스텝(3 에포크)까지 |
🎯 2. 두 가지 목적과 보상
보드 상태가 주어지면 모델은 합법수 예측(legal move) 또는 최적수 예측(best move) 중 하나를 수행합니다. 여기에 표준 형식 보상이 더해집니다.
| 보상 항목 | 내용 |
|---|---|
| 합법성 | 출력한 수가 합법인가 |
| 형식 준수 |
<think>…</think><answer>…</answer> 템플릿 |
| 단일 태그 정확성 | 태그가 하나씩만 올바르게 있는가 |
보상은 동일 가중으로 합산됩니다. 최적수 학습은 기본 모델에서 시작하거나, 같은 데이터셋(무작위 또는 대칭)의 최적 합법수 체크포인트에서 웜스타트하는 두 방식을 비교합니다.
♟️ 3. 단일 수 예측이 게임 전체를 포괄하는 이유
각 스텝은 수 하나를 예측하지만, 라벨은 완전 열거된 상태 공간에 대한 전체 깊이 미니맥스(Algorithm 8)에서 나오므로 완전한 게임이 방문할 수 있는 모든 결정이 최적 라벨과 함께 들어 있습니다. 미니맥스는 승리를 $10-d$, 패배를 $-10+d$로 점수화해 빠른 승리와 느린 패배를 선호합니다. 멀티턴 플레이는 부록 H의 아레나 평가로 별도 확인합니다.
💡 Key Takeaway SFT는 이 설정에서 아예 실패했고 GRPO만 학습이 됐습니다. 보상은 합법성·형식·정답을 같은 가중으로 합산하며, 형식 항의 기여는 나중에 구조화 생성 기준선으로 분리해 검증합니다.
평가 설정: 입력 모달리티와 섭동
🧪 1. 네 가지 입력 조건
| 조건 | 약어 | 설명 |
|---|---|---|
| 자연어 보드 | NL | “Row 0: empty, O, X” 식의 서술 |
| 자연어 + 기호 치환 | NL+XY | X·O를 무작위 영숫자로 바꿈 |
| ASCII 보드 | ASCII | 격자 형태의 ASCII 보드 |
| ASCII + 기호 치환 | ASCII+XY | 둘을 결합 |
각 체크포인트에서 NL과 ASCII 양쪽으로 평가하고, 플레이어 기호를 무작위 문자로 바꾸는 기호 치환(random symbol substitution) 으로 강건성을 봅니다. 기준선(off-the-shelf) 모델은 구조화 생성으로 사고 사슬 문자열을 만든 뒤 수를 예측하게 했습니다.
🔍 2. 표현 측에서의 토큰 불변성 검사
정량 평가와 마찬가지로 표현도 토큰 불변성으로 검사합니다. X·O를 고정 쌍 P·Q(두 번째 변형은 A·B)로 바꿔, 과제 설정은 그대로인데 프롬프트 입력만 달라졌을 때 발달한 표현이 일반화되는지 봅니다. 학습에 쓰지 않은 불법 보드의 표현을 합법 보드와 비교하는 것도 같은 맥락입니다.
💡 Key Takeaway NL/ASCII × 기호 치환 유무의 네 조건에 불법 보드와 P·Q 치환까지 더해, 행동과 표현 양쪽에서 “논리 내용은 같고 표면만 다른” 섭동에 대한 반응을 측정합니다.
정량 결과: GRPO 성능과 입력 모달리티 의존성
📊 1. 전체 결과 (Table 12)
세 모델, 두 목적, 네 입력 조건에서 최적 체크포인트 정확도(%)입니다. “–”는 기준선 평가를 해당 기호 치환 조건에서 실행하지 않은 칸입니다.
| 모델 | 설정 | NL | NL+XY | ASCII | ASCII+XY |
|---|---|---|---|---|---|
| Qwen2.5-1.5B | Off-the-shelf 합법 | 11.7 | – | 11.1 | – |
| GRPO 합법 | 100.0 | 96.5 | 65.6 | 54.5 | |
| Off-the-shelf 최적 | 8.0 | – | 12.2 | – | |
| GRPO 최적 (기본에서) | 71.6 | 61.9 | 47.4 | 41.9 | |
| GRPO 최적 (합법에서) | 75.6 | 70.1 | 50.3 | 50.5 | |
| Qwen2.5-0.5B | Off-the-shelf 합법 | 26.8 | – | 26.6 | – |
| GRPO 합법 | 56.3 | 53.4 | 49.2 | 50.8 | |
| Off-the-shelf 최적 | 0.4 | – | 1.7 | – | |
| GRPO 최적 (기본에서) | 34.6 | 34.1 | 34.1 | 34.1 | |
| GRPO 최적 (합법에서) | 42.1 | 37.7 | 37.3 | 33.5 | |
| Llama3.2-1B | Off-the-shelf 합법 | 16.2 | – | 17.5 | – |
| GRPO 합법 | 36.4 | 32.4 | 33.9 | 29.9 | |
| Off-the-shelf 최적 | 8.0 | – | 7.7 | – | |
| GRPO 최적 (기본에서) | 10.4 | 10.4 | 9.3 | 10.4 | |
| GRPO 최적 (합법에서) | 27.3 | 26.2 | 22.6 | 22.2 |
읽을 점은 세 가지입니다.
- GRPO는 기준선을 크게 넘어섭니다. Qwen2.5-1.5B는 합법수에서 NL 100%에 도달하고 최적수에서 75.6%까지 오릅니다.
- 합법수 체크포인트에서의 웜스타트가 일관된 우위를 줍니다(1.5B: 71.6 → 75.6, 0.5B: 34.6 → 42.1, Llama: 10.4 → 27.3).
- 규모는 한계 안에서 돕습니다. Qwen2.5 1.5B가 가장 강하고, 더 작은 모델들은 최적수에서 기준선 근처를 맴돕니다. 0.5B Qwen과 1B Llama의 차이는 사전학습 품질도 중요함을 시사합니다.
🧱 2. 모달리티 의존성
ASCII 보드는 모든 모델·두 목적에서 가장 큰 정확도 하락을 일으킵니다. 본문은 최고 성능 Qwen2.5 1.5B가 자연어 대비 상대 40%(73% → 44%)를 잃는다고 적습니다. 기호 치환은 더 작고 일관된 하락을 만들고, ASCII + 기호 치환은 가장 심해 기준선에 가까워지기도 합니다.
저자들의 해석은 GRPO가 표면 토큰 섭동에 대한 강건성은 개선했지만 모달리티 불변의 보드 이해는 만들지 않았다는 것입니다. 모델은 상태를 파싱할 때 자연어 비계(scaffold)에 의존하며, ASCII에서 공간 지도를 스스로 구성해야 하면 급락합니다.
🧾 3. 형식만으로는 설명되지 않는다
기준선 모델에 구조화 생성으로 정확히 같은 <think>/<answer> 템플릿을 강제하면 보상의 형식 성분이 분리됩니다. 같은 템플릿 아래 기준선은 최적수 정확도 0.4–8.0%인 반면 GRPO 모델은 27–76%이므로, 형식 준수는 주된 동인이 아닙니다.
🧮 4. 분기 수를 보정하면 “쉬운 자리 우위”는 우연 수준의 산물
난이도 구간별 원시 정확도는 오해를 부릅니다. 합법수 개수에 따라 우연 수준 자체가 달라지기 때문입니다. 저자들은 비종료 상태마다 균일 무작위 합법수 정책을 기준으로 점수를 매깁니다.
| 구간 (Qwen2.5-1.5B 최적수 체크포인트) | 정확도 | 우연 수준 | 우연 보정 기량 |
|---|---|---|---|
| 저분기 (합법수 ≤ 2) | 83.1% | 76.0% | 29.7% |
| 고분기 (합법수 ≥ 5) | 63.6% | 39.2% | 40.2% |
보정하면 고분기 위치의 기량이 오히려 높습니다. 모델이 즉시 획득하는 것은 종료 상태 검출(첫 체크포인트에서 이미 97.8%)이고, 우연 이상의 수 선택은 모든 구간에서 비슷한 속도로 서서히 나타납니다. 즉시 얻은 능력이 “완성된 라인”이라는 프롬프트에 보이는 속성의 인식이라는 점은, GRPO가 탐색을 심는 것이 아니라 프롬프트 수준 단서에 대한 의존을 강화한다는 해석과 맞습니다.
📋 5. 위치별 원시 정확도 (Table 13)
무작위 분할, NL 프롬프트, 기호 치환 없음, 모델별 최강 GRPO 최적수 체크포인트의 원시 정확도(%)입니다.
| 모델 | 저분기 (≤2) | 고분기 (≥5) | 최적수 유일 | 최적수 ≥2개 | 중반 (5–6수) | 후반 (≥7수) |
|---|---|---|---|---|---|---|
| Qwen2.5-1.5B | 89.4 | 63.6 | 62.1 | 86.9 | 73.3 | 88.4 |
| Qwen2.5-0.5B | 62.9 | 33.3 | 21.8 | 44.3 | 37.3 | 57.8 |
| Llama3.2-1B | 14.7 | 32.3 | 18.6 | 55.7 | 30.7 | 17.0 |
Llama3.2-1B는 이상치입니다. 후반 정확도(17%)가 중반(31%)보다 낮아 기본적인 종료 상태 인식조차 내재화되지 않았음을 보여줍니다. 0.5B Qwen에서는 같은 원시 기울기가 더 낮은 절대 정확도로 반복됩니다(저분기 63% vs 고분기 33%).
💡 Key Takeaway GRPO는 점수를 크게 올리지만 그 점수는 자연어 비계에 묶여 있습니다. ASCII에서 급락하고, 형식 보상은 주 동인이 아니며, 분기 수를 보정하면 “쉬운 자리”의 우위는 사라집니다. 첫 체크포인트부터 거의 완벽한 것은 프롬프트에 그대로 보이는 종료 상태 검출뿐입니다.
대칭 불변성, 암기, 멀티턴 플레이
🔁 1. 대칭 분할이 학습 곡선을 바꾸지 않는다
대칭 통제 분할의 학습 곡선은 무작위 분할의 곡선에 가깝게 붙어 갑니다(Fig. 3). 모델이 대칭 인식 추상을 배웠다면 대칭 기반 학습이 성능을 바꿔야 하는데 그렇지 않습니다. 이를 직접 재면, 대칭 관련 보드에서 대응되는 수를 두는 비율은 절반을 겨우 넘습니다.
| 분할 | 대칭 그룹 | 쌍 수 | 등변성(%) | 최적수 유일 쌍(%) | $n$ |
|---|---|---|---|---|---|
| 정규 | 학습 그룹 | 1,484 | 56.7 (54.2–59.2) | 60.0 (56.7–63.2) | 857 |
| 정규 | 홀드아웃 그룹 | 653 | 57.7 (53.9–61.5) | 62.7 (57.6–67.5) | 359 |
| 무작위 | 전체 | 2,119 | 56.1 (54.0–58.2) | 60.5 (57.8–63.3) | 1,214 |
괄호는 95% Wilson 구간입니다. “최적수 유일” 열은 양쪽 보드 모두 유일한 최적수를 갖는 $n$개 쌍으로 제한한 것으로, 대칭을 존중하는 정책이라면 반드시 100%여야 하는 정확한 상한이 있습니다. 모든 부분집합에서 점수는 그 상한에 한참 못 미치고, 홀드아웃 그룹이 학습 그룹보다 낮지 않으므로, 정책은 대칭을 쓰지 않으며 이는 분할 설계의 산물이 아닙니다.
🧠 2. 암기 검사 (Table 8)
학습 상태와 홀드아웃 상태의 최적수 정확도(%)입니다.
| 모델 | 분할 | 학습 상태 | 홀드아웃 상태 |
|---|---|---|---|
| Qwen2.5-1.5B | 무작위 | 78.7 (77.5–79.9) | 77.1 (74.5–79.5) |
| Qwen2.5-1.5B | 정규 | 72.9 (71.4–74.2) | 71.9 (69.7–74.0) |
| Qwen2.5-0.5B | 무작위 | 43.0 (41.5–44.5) | 43.4 (40.5–46.4) |
| Qwen2.5-0.5B | 정규 | 36.5 (35.0–38.1) | 36.3 (34.0–38.6) |
모든 모델·분할에서 홀드아웃 정확도가 학습 정확도와 구간 안에서 일치하므로, 상태를 그대로 외운 것이 성능의 동인이라는 해석은 배제됩니다.
🏟️ 3. 전체 게임 아레나 (Table 6)
상태별 정확도와 멀티턴 플레이를 잇기 위해 빈 보드에서 승·무·몰수까지 전체 게임을 두게 했습니다. 불법 또는 파싱 불가 수는 상대 승리로 게임을 끝냅니다. 참가자는 프론티어 API 모델, GRPO 학습 모델, 미학습 모델이며 모든 수를 미니맥스 최적과 대조했습니다.
| 항목 | GRPO 학습 Qwen2.5-1.5B | 미학습 Qwen2.5-1.5B |
|---|---|---|
| Elo | 1525 | 1287 |
| 게임 수 | 154 | 160 |
| 자기 몰수 | 0 | 121 |
| 수당 미니맥스 최적률 (완료 게임) | 77% | 측정 불가 |
| flash급 프론티어 모델 상대 무승부 | 16/16 | 0 |
학습은 몰수를 없애고(0 vs 121), 완료 게임에서 수당 최적률 77%를 내며, flash급 모델과의 모든 게임을 무승부로 만듭니다. 학습 모델의 84패는 모두 더 강한 프론티어 모델에게 보드 위에서 진 것이지 몰수가 아닙니다. Elo는 순서 의존적이고 X가 항상 선수이므로 절대값보다 두 행의 비교가 정보입니다.
💡 Key Takeaway 홀드아웃 그룹에서도 대칭 등변성은 57% 수준이고, 홀드아웃 정확도는 학습 정확도와 같으며, 단일 수 목적은 전체 게임에 그대로 전이됩니다. 성능은 암기도 대칭 추론도 아닌 다른 무언가에서 나오고, 그 무언가를 기계론적 분석이 찾습니다.
해석 파이프라인: 일반 코퍼스 SAE와 가설 H1–H7
🧰 1. 왜 Tic-Tac-Toe 활성이 아닌 일반 코퍼스로 SAE를 학습하는가
SAE는 각 모델의 각 층 resid_post 활성에 대해 Engels et al. (2025)의 구성으로 학습하되, 학습 데이터는 일반 코퍼스(NeelNanda/c4-10k) 입니다. Engels et al.은 좁은 코퍼스로 학습한 SAE가 깨끗해 보이지만 모델 내부 기하가 아니라 코퍼스를 반영하는 피처를 만든다고 보였으므로, 도메인 내 학습은 사전(dictionary)에 과제 특화 구조를 각인시킬 수 있습니다. 일반 코퍼스 SAE는 모델이 이미 표현하는 개념을 읽어내고, 영역은 대칭·전략·게임 동역학에 대한 가설을 정확히 정의하게 해 줍니다.
🔬 2. 파이프라인 단계 (Algorithm 1–5)
| 단계 | 내용 |
|---|---|
| 피처 발견 (Algo. 1) | 캐시된 SAE 로드 또는 C4-10k 활성으로 학습. 디코더 가중치를 $L_2$ 정규화하고 스펙트럴 클러스터링으로 피처 그룹 $\mathcal{C}$ 생성 |
| 투영 (Algo. 2) | 고유 보드마다 프롬프트 생성 → 활성 → SAE 인코딩 → 대상 클러스터 피처만 남긴 마스크로 재구성 → 2차원 t-SNE |
| 전략 상황 라벨 (Algo. 3) | 메모이즈된 미니맥스 평가로 각 보드를 Player Won / Draw / Guaranteed Win / Must Block / To Play(강제 패배, 즉시 위협 없음)로 분류 |
| 클러스터 통계 (Algo. 4) | 연속 피처는 ANOVA $F$, 범주 피처는 $\chi^{2}$ |
| 하이브리드 계층 분석 (Algo. 5) | $k=18$ K-means → 각 L0 클러스터 안에서 $k_{micro}=\max(5,\lfloor n/10\rfloor)$ 마이크로 클러스터 → 지배 라인 패턴의 순도가 임계 이상이면 패턴별로 병합 |
보드는 플레이어 턴, 게임 단계, 결과, 전략 상황, 대칭 그룹, 합법성, 예측 정답 여부 등 여러 축으로 라벨링됩니다. 위협 탐지(Algorithm 9)는 8개 승리 라인 중 자기 돌 2개 + 빈칸 1개인 라인을 세고, 어떤 빈칸에 두었을 때 위협이 2개 이상이면 포크로 판정합니다.
📐 3. 가설 두 부류
| 부류 | 가설 | 내용 |
|---|---|---|
| 프롬프트 수준 (입력에서 명시적으로 가용) | H1 턴 정체성 | 누구 차례인가 |
| H2 게임 진행 | 수 개수로 early(0–3) / mid(4–6) / late(7–9) | |
| 고차 게임 추상 | H3 전략 상황 | must-block, guaranteed win 등 |
| H4 대칭 클래스 | 765개 정규 대칭 그룹 | |
| H5 합법성 | 합법 vs 도달 불가 보드 | |
| H6 최적수 정답 여부 | 모델 예측이 최적인가 | |
| H7 라인 순도 | 서브클러스터가 공유하는 행·열·대각 패턴 |
H7은 사전에 지정한 것이 아니라 자동 서브클러스터 마이닝에서 나온 가설입니다. 결과 코퍼스는 체크포인트 8개 × 층 11개 × 구성당 가설 계열 8개입니다. 복호 가능성 결과는 세 모델 모두에서 재현되고(부록 F), 지배 축 재조직은 가장 뚜렷한 Qwen2.5-1.5B에 대해 보고합니다.
📏 4. 통계량
- ANOVA $F$ (t-SNE 주축) : 가설 라벨 보드들이 지배 축에서 얼마나 깨끗이 분리되는가.
- Cramér’s $V$ : K-means 클러스터 × 가설 분할표의 전체 연관 강도.
- AMI (adjusted mutual information) : 우연 보정된 상호 정보.
세 통계량은 같은 클러스터링에서 계산되므로 독립 증거가 아니라 일관성 검사이며, 독립 측정은 SAE·투영·클러스터링이 전혀 없는 부록 F의 프로브 분석입니다. ANOVA는 5,478개 상태 전체에 대해 돌아가고 자유도는 클래스 수로 고정되므로(H1: (1, 5476), H2: (2, 5475)) 모든 $F$가 $p<10^{-68}$ 수준에서 유의합니다. 그래서 논문은 유의성이 아니라 상대 크기, 효과 크기(Table 11), 가정 없는 순열 검정에 논증을 둡니다.
💡 Key Takeaway SAE를 도메인 밖 코퍼스로 학습해 “모델이 이미 가진 개념”을 읽고, 게임 구조에서 7개 가설을 정의해 통계적으로 검정합니다. 모든 F가 유의하므로 핵심은 절대적 유의성이 아니라 가설 간 상대 크기의 변화입니다.
거시적 표현 재조직: H1에서 H2로의 역전
📊 1. 층 12 궤적과 수렴 체크포인트의 층별 F (Table 1)
Qwen2.5-1.5B, NL 프롬프트, t-SNE 주축에 대한 $F$-통계량입니다. 왼쪽은 기본 모델에서 시작한 GRPO 실행의 층 12 궤적, 오른쪽은 수렴 체크포인트의 층별 값입니다.
| 가설 | Base | Mid | Final | L4 | L8 | L12 | L13 | L14 | L15 | L16 | L17 | L18 | L20 | L24 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| H1 턴 정체성 | 5285 | 366 | 316 | 270 | 140 | 316 | 114 | 269 | 188 | 95 | 2208 | 5379 | 1508 | 5484 |
| H2 게임 진행 | 274 | 1686 | 2330 | 1151 | 594 | 2330 | 412 | 1278 | 287 | 358 | 747 | 284 | 114 | 400 |
| H3 전략 상황 | 82 | 181 | 194 | 123 | 68 | 194 | 63 | 136 | 53 | 69 | 187 | 86 | 32 | 126 |
| H4 대칭 클래스 | 26 | 9 | 12 | 4 | 3 | 12 | 3 | 5 | 2 | 2 | 13 | 42 | 7 | 23 |
| H7 라인 순도 템플릿 | 11 | 38 | 39 | 28 | 24 | 39 | 27 | 33 | 36 | 23 | 22 | 13 | 17 | 12 |
- 궤적 : H1의 중간 층 $F$는 5285 → 316으로 17배 떨어지고, H2는 274 → 2330으로 8.5배 커집니다. H3·H4는 약한 채로 남습니다.
- 층별 : H2는 층 12에서 정점을 찍고, H4는 모든 층에서 잡음 수준이며, 후반 층(L17–L24)은 출력 디코딩을 위해 H1을 회복합니다(2208, 5379, 5484).
- 중간 층 위치는 층 선택의 산물이 아니라 재조직의 속성입니다.
📐 2. 자유도와 명목 p (Table 10)
| 통계 | $F$ | df | 명목 $p$ |
|---|---|---|---|
| H1 턴, 기본 모델 | 5285 | (1, 5476) | $<10^{-300}$ |
| H1 턴, 최종 체크포인트 | 316 | (1, 5476) | $<10^{-68}$ |
| H2 진행, 기본 모델 | 274 | (2, 5475) | $<10^{-100}$ |
| H2 진행, 최종 체크포인트 | 2330 | (2, 5475) | $<10^{-300}$ |
분자 자유도는 가설 클래스 수 − 1, 분모는 5,478 − 클래스 수로 설계에 의해 고정됩니다.
📈 3. 효과 크기로 본 같은 역전 (Table 11)
층 12, NL 프롬프트, 기본 모델 vs 수렴 GRPO 실행입니다.
| 가설 | Base $F$ | Base $V$ | Base AMI | GRPO $F$ | GRPO $V$ | GRPO AMI |
|---|---|---|---|---|---|---|
| H1 턴 정체성 | 5285 | 0.70 | 0.33 | 316 | 0.36 | 0.07 |
| H2 게임 진행 | 274 | 0.48 | 0.13 | 2330 | 0.62 | 0.22 |
| H3 전략 상황 | 82 | 0.24 | 0.05 | 194 | 0.22 | 0.05 |
| H4 대칭 클래스 | 26 | 0.56 | 0.13 | 12 | 0.47 | 0.07 |
| H7 라인 순도 템플릿 | 11 | 0.40 | 0.25 | 39 | 0.40 | 0.22 |
H1은 약해지고($V$ 0.70 → 0.36), H2는 강해지며($V$ 0.48 → 0.62), H3·H4는 약한 채, H7은 안정적입니다. 세 측도 모두 같은 H1 → H2 역전을 보입니다. 부록 J는 H2가 약 8.5배, H3는 약 2배 커지고 H4는 잡음에 머무는 비대칭을 지적합니다.
🗺️ 4. 그림으로 본 동역학 (Fig. 4)
초기화 시점에는 클러스터가 H1(누구 차례)에 가장 잘 정렬됩니다. 이는 기본 모델에 이미 있는 강한 축입니다. GRPO가 진행되면 H2(게임 진행)의 두 번째 거시 축이 나타나 매니폴드를 가로질러 뻗습니다. 반면 H3(must block, guaranteed win 등)으로 라벨링하면 성능이 정점인 학습 후반에도 깨끗한 클러스터 없이 흩어진 반점만 보입니다. 한 수 승리 같은 즉각적 전술에 대해 이따금 마이크로 섬이 나타나지만, 이는 논리적 추상이 아니라 보드의 구조적 조직을 따르는 것일 수 있습니다.
💡 Key Takeaway GRPO 동안 중간 층의 지배 축은 턴에서 게임 진행으로 뒤집힙니다. 둘 다 프롬프트에 그대로 적혀 있는 정보입니다. 전략 상황과 대칭은 어느 층, 어느 시점에서도 지배 축을 조직하지 못합니다.
원시 활성 프로브로 독립 재검증
SAE 파이프라인은 사전, 투영, 클러스터링을 거쳐 개념을 해석합니다. 결론이 그 파이프라인의 산물이 아님을 확인하기 위해, 저자들은 마지막 프롬프트 토큰의 원시 잔차 스트림 활성에 직접 분류기를 학습해 모든 가설을 다시 검정합니다. 로지스틱 회귀와 LDA를 선형 프로브로, 은닉층 하나짜리 MLP를 비선형 참조로 쓰고, 5-폴드 층화 교차검증과 macro one-vs-rest AUC로 채점하며, 라벨 순열 귀무분포로 유의성을 봅니다. 모든 수치는 홀드아웃 폴드에서 계산됩니다.
📊 1. 기본 모델 vs 최종 체크포인트 (Table 2·3)
Qwen2.5-1.5B 중간 층, 교차검증 AUC ± 폴드 표준편차입니다.
| 가설 | 기본 모델 | 최종 GRPO 체크포인트 |
|---|---|---|
| H1 턴 정체성 | 1.000 ± 0.000 | 1.000 ± 0.000 |
| H2 게임 진행 | 1.000 ± 0.000 | 1.000 ± 0.000 |
| H5 합법성 (합법 vs 도달 불가) | 1.000 ± 0.000 | 1.000 ± 0.000 |
| H7 라인 순도 | 0.861 ± 0.014 | 0.856 ± 0.011 |
| H3 전략 상황 | 0.686 ± 0.011 | 0.684 ± 0.012 |
| H4 같은 대칭 그룹 유사도 (쌍 검정) | 0.70 | 0.70 |
프롬프트 수준 속성(H1, H2)과 합법성(H5)은 기본 모델에서 이미 완벽히 복호되므로 GRPO가 없던 정보를 더하는 것일 수 없습니다. 여지가 있는 고차 속성(H3, H4)은 학습 동안 움직이지 않습니다. MLP 프로브는 H3을 0.75(기본)·0.73(최종)까지만 올리므로 비선형으로 추가 복원되는 AUC는 최대 0.05–0.06입니다. H6 최적수 정답 여부는 같은 형태로 측정되어 보충 자료의 프로브 그리드에 보고됩니다.
H4는 765개 대칭 클래스를 직접 분류하기 어려워, 대칭 관련 보드들의 활성이 게임 단계를 맞춘 무관한 보드들보다 더 유사한지를 쌍 분리 AUC로 요약합니다. 0.70이라는 값은 공유된 돌 개수와 라인 패턴을 부분적으로 반영하며, 정보적인 사실은 그것이 학습 동안 자라지 않는다는 점입니다.
🔁 2. 세 모델 교차 재현 (Table 4)
중간 층, 체크포인트 전체에 걸친 로지스틱 회귀 AUC 범위입니다.
| 모델 | H1 턴 정체성 | H3 전략 상황 |
|---|---|---|
| Qwen2.5-1.5B | 모든 체크포인트에서 1.00 | 0.68–0.70, 평탄 |
| Qwen2.5-0.5B | 모든 체크포인트에서 1.00 | 0.61–0.65, 평탄 |
| Llama-3.2-1B | 모든 체크포인트에서 1.00 | 0.65–0.70, 평탄 |
“평탄”은 GRPO 학습 동안 상승 추세가 없다는 뜻입니다. 복호 가능성 결과는 Qwen2.5-1.5B에 국한되지 않습니다. 다만 지배 축 재조직 자체는 Qwen2.5-1.5B에서 가장 뚜렷하고 작은 모델에서는 더 잡음이 많아, 그 주장은 Qwen2.5-1.5B로 범위를 한정합니다.
🎲 3. 순열 귀무분포 (Table 5)
LDA 프로브, 중간 층, Qwen2.5-1.5B, 홀드아웃 분할, 비교당 999회 라벨 순열입니다.
| 가설 | 관측 (기본) | 관측 (최종) | 최대 귀무값 | $p$ |
|---|---|---|---|---|
| H1 턴 정체성 | 1.000 | 1.000 | 0.57 | 0.001 |
| H2 게임 진행 | 0.996 | 0.994 | 0.58 | 0.001 |
| H3 전략 상황 | 0.650 | 0.651 | 0.56 | 0.001 |
| H7 라인 순도 | 0.834 | 0.818 | 0.61 | 0.001 |
| H5 합법성 | 1.000 | 1.000 | 0.56 | 0.001 |
모든 관측값이 999개 셔플 귀무값의 최대치를 넘어 이 해상도에서 가능한 최소 $p$를 얻고, Benjamini-Hochberg 보정 후에도 유의합니다. 귀무분포는 프로브 용량 문제도 직접 다룹니다. 이 폭의 프로브가 억지로 높은 AUC를 맞출 수 있다면 순열 라벨에서도 그래야 하는데 그렇지 않습니다(귀무 평균 0.50, 귀무 최대 0.61). 가장 약한 H3조차 귀무 상한보다 한참 위에 있으므로, 결론은 전략 정보가 없다가 아니라 제한적이고 GRPO 동안 정적이라는 것입니다.
📉 4. t-SNE 없는 지배 축 통계
Table 1의 t-SNE ANOVA에 대한 투영 없는 대응물로, 원시 활성의 첫 번째 주성분을 따라 클래스 평균이 설명하는 분산 비율을 계산합니다. 이 통계는 분리 가능성 주장을 하지 않고, 어떤 속성이 가장 큰 변동 축을 얼마나 두드러지게 조직하는지를 잽니다. t-SNE 임베딩과 달리 주성분이 포착하고 버리는 분산은 정확히 측정 가능합니다. 중간 층에서 턴 비율은 0.151(기본) → 0.062(최종)로 떨어지고 진행 비율은 0.20 근처를 유지해, t-SNE 없이 역전의 방향을 재현합니다.
🧭 5. 해석
프롬프트 수준 속성은 RL 시작 전에 이미 완벽히 읽히므로, “증폭” 주장은 정보의 존재가 아니라 얼마나 두드러지게 조직되고 얼마나 많이 쓰이는가에 관한 것입니다. 턴 정보는 복호 가능성이 떨어지는 일이 없습니다. 완벽히 존재한 채로 중간 층의 지배 분산 축에서 비켜날 뿐입니다. GRPO가 바꾸는 것은 어떤 피처가 표현을 지배하느냐이지, 어떤 개념이 복원 가능하냐가 아닙니다.
💡 Key Takeaway SAE·t-SNE·클러스터링을 모두 걷어낸 프로브에서도 결론은 같습니다. 턴·진행·합법성은 처음부터 AUC 1.0, 전략 상황은 0.68에서 움직이지 않습니다. RL은 개념을 더하지 않고 지배 축을 바꿉니다.
층별 변화와 인과 개입: 결정은 후반 층에서
🧱 1. 층별 재조직 (Section 4.2.2)
가장 큰 재조직은 중간 층, Qwen2.5-1.5B에서는 층 12 근처에서 일어납니다. 초기·후반 층은 GRPO 학습 동안 비교적 안정적입니다. 중간 층은 잘 정의된 게임 진행 축을 얻는 반면 턴 구조는 중간 네트워크에서 줄어들고(층 12 턴 $F$ 5285 → 316), 수렴 체크포인트의 후반 층에서 다시 나타나(층 17·18·24에서 $F$ 2208·5379·5484) 출력용으로 디코딩됩니다.
저자들의 설명은 GRPO 업데이트가 이미 접근 가능한 중간 층 피처를 개선할 뿐 파이프라인을 다시 쓰지 않으므로, 모델이 새 고차 추상을 만들지 않고도 프롬프트 변형에 강건해진다는 것입니다.
🔧 2. 활성 패칭 (Algorithm 7, 부록 G)
피처의 존재가 피처의 사용을 확립하지는 않으므로, 최적수가 다른 100개의 최소 보드 쌍에 활성 패칭을 수행합니다. 한 쌍의 두 보드는 상대 돌 하나의 위치만 다르고, 같은 플레이어 차례이며, 각각 유일한 최적수를 갖되 그 최적수가 서로 다릅니다. 프롬프트를 실행하는 보드를 수신자(receiver), 활성을 공급하는 보드를 도너(donor) 라고 부릅니다. 단일 층에서 수신자 순전파의 답 위치 잔차 스트림을 도너의 활성으로 덮어쓰고, 모델이 어느 보드의 최적수를 내는지 봅니다.
| 조건 | 100쌍 중 도너 최적수 출력 |
|---|---|
| 무패칭 (수신자 최적수 72, 도너 최적수 10) | 10 |
| 층 25/28에 짝 도너 패칭 | 66 |
| 층 13·17·21에 같은 패칭 | 행동 변화 없음 |
| 무관한 무작위 보드의 활성 주입 | 12 |
66 대 12의 차이는 두 비율 검정에서 $p<10^{-14}$입니다. 두 통제가 사소한 설명을 배제합니다. 층 13·17·21에서는 효과가 없으므로 임의의 간섭이 답을 바꾸는 것이 아니고, 무관 도너는 12건만 옮기므로 효과는 도너 보드의 내용에 특이적입니다. 방법론은 interchange intervention과 causal tracing의 표준을 따르며, 통제는 Zhang and Nanda (2024)의 권고를 따릅니다.
🧲 3. 스티어링
반대 방향에서 같은 질문을 던지기 위해 difference-in-means 활성 덧셈을 씁니다. X 차례 보드들의 평균 내부 상태와 O 차례 보드들의 평균 내부 상태를 잇는 방향을 여섯 층 각각에서 생성 중 배수로 더합니다. 어느 층, 어느 크기에서도 출력은 X와 O 수 토큰 범위 사이에서 뒤집히지 않습니다. 반면 노름을 맞춘 무작위 방향은 극단적 크기에서 출력을 교란하므로 개입이 계산에 닿기는 합니다. 따라서 재조직된 중간 층 턴 축은 그 자체로 수를 결정하지 않습니다.
🧩 4. 해석
두 개입은 결정을 같은 자리에 둡니다. 보드 정보는 후반 층에서 통합되는 곳에서 인과적으로 결정적이 되고, GRPO가 재조직하는 중간 층 축은 개별적으로 행동을 몰아가기에 충분하지 않습니다. 이것이 표현 결과의 인과적 대응물입니다. 학습이 중간 네트워크에서 재형성하는 것은 답이 생산되는 곳이 아니며, Table 1에서 후반 층에 턴 구조가 다시 나타나는 것을 “출력 디코딩”으로 읽은 해석이 정확히 예측한 바입니다.
💡 Key Takeaway 패칭은 28층 중 25층에서만 예측을 뒤집고(66/100), 중간 층 패칭과 턴 방향 스티어링은 출력을 바꾸지 못합니다. GRPO가 바꾸는 중간 층과 수를 결정하는 후반 층은 다른 곳입니다.
분포 밖 보드, 국소 클러스터, 행동 롤아웃
🚫 1. 불법 보드: 표현과 행동의 괴리 (부록 D)
도달 불가능한 보드는 어떤 모델도 학습하지 않은 분포 밖 입력입니다. 프로브는 모든 층에서 AUC 1.00으로 이들을 합법 보드와 분리하므로 표현은 이 상태들이 학습 데이터와 다름을 등록합니다. 그런데 정책은 합법 보드에서와 똑같이 평범한 합법 이어두기를 내놓습니다. 모델은 불법성을 표시하도록 학습된 적이 없으므로 이는 목적 하에서 예상되는 일이고, 저자들은 이를 제약 인코딩의 증거가 아니라 예시로 제시합니다. 정보적인 결과는 표현에 있는 정보가 행동이 작용하는 정보가 아니라는 괴리이며, 이는 전략 구조에 대해 기계론적 분석이 기록한 것과 같은 간극입니다. SAE 기하에서 불법 보드는 합법성 제약이 아니라 단순 라인 패턴이 비슷한 합법 클러스터 근처에 놓입니다. 분리의 일부는 표면적 돌 개수 차이를 반영합니다.
🔤 2. ASCII vs 자연어의 기계론적 대응 (부록 E)
ASCII에서의 정량적 하락은 기계론적으로도 보입니다. 토큰화된 NL 보드의 SAE 피처는 어휘 표지(“Row 1”, “empty”)와 서수 위치에 정렬된 선명한 검출기를 많이 포함해 H1/H2를 깔끔하게 지지합니다. 반면 NL 입력에서 보이는 기본 모델의 게임 턴 거시 패턴은 ASCII에서는 없습니다. 이것이 기호 치환은 조금만, ASCII는 크게 해치는 이유입니다.
🧩 3. 라인 순도 국소 클러스터 (Fig. 5)
서브클러스터의 라인 순도는 그 보드들 중 같은 행·열·대각 패턴을 공유하는 최대 비율로 정의하고, 순도 ≥ 0.7인 서브클러스터를 보고합니다. SAE-PCA 공간에서 K-means 후 응집 정제를 하면 “후반, R0에 빈칸 정확히 하나” 또는 “중반, R0: X . ., 중앙 점유” 같은 패턴을 포착하는 선명한 국소 주머니가 나옵니다. 이 구조들은 기본 모델에 이미 있고 학습 후에도 유지되며, 변하는 것은 게임 진행 축을 얻는 거시 배열입니다. 대칭 클래스 소속은 클러스터 수준에서 부재합니다. 정규 대칭 비율이 0.7 아래로 떨어지는 클러스터는 792개 중 4개뿐이고, 모두 대칭이 아닌 진행이 소속을 결정하는 종반 클러스터입니다.
🎬 4. 행동 롤아웃 (부록 K)
Qwen2.5-1.5B 최적수 체크포인트, NL 프롬프트의 성공·실패 사례입니다.
| 사례 | 보드 | 관찰 |
|---|---|---|
| 성공: 저분기 강제 위치 | Row 0: empty, O, X / Row 1: X, empty, X / Row 2: O, empty, O, Player 1 차례 | 합법수 3개, 유일 최적수. (1,1)을 언급하며 정답 토큰 5를 출력. 그러나 (0,0)·(1,1)·(2,2) 라인으로 이길 수 있다는 서술은 이 상태에서 거짓 |
| 실패: 종료 아닌 상태를 꽉 찼다고 오독 | Row 0: O, empty, empty / Row 1: X, X, O / Row 2: empty, X, empty, Player 2 차례 | 합법수 3개인데 “보드가 꽉 찼다”며 18개 토큰 중 아무거나 괜찮다고 말한 뒤 16을 출력. 프롬프트에 명시된 점유를 오독 |
실패 모드는 중반 위치에서 가장 자주 나타나며, Table 13의 “최적수 유일” 정확도 간극의 상당 부분을 설명합니다. 사고 사슬에는 명시적 다단계 계획도 있습니다. 한 보드에서 “Player 2가 (1,2)에 두면 Player 1은 (1,1)에 막아야 하고 … 따라서 (1,2)에 두어 승리를 강제해야 한다”는 조건부 계획을 쓰고 미니맥스 최적수를 고르지만, 같은 트레이스에서 돌 개수와 행 내용을 잘못 서술합니다. 다른 보드에서는 O 2개와 빈칸 1개를 주장하지만 둘 다 거짓이고, 그래도 최적수를 고릅니다. 다단계 계획은 언어 기층에서 명시적으로 시도되지만 서술된 상태는 종종 근거가 없으며, 이것이 트레이스가 아니라 기계론적 읽기가 질문을 결정해야 하는 이유입니다.
💡 Key Takeaway 불법 보드는 표현에서 AUC 1.0으로 구분되지만 행동은 무시하고, 사고 사슬은 계획을 말하면서 보드를 틀리게 읽습니다. 표현에 있는 것, 말하는 것, 실제로 쓰는 것이 세 겹으로 어긋나므로 내부 측정이 필요합니다.
한계와 논의
⚠️ 1. 저자가 명시한 범위 제한
| 한계 | 내용 |
|---|---|
| 범위 | 0.5–1.5B 명령 튜닝 모델, GRPO, Tic-Tac-Toe 한 영역. 프론티어급 RLHF, PPO·DPO 등 다른 RL 목적, 개방형 추론을 특성화한다고 주장하지 않음. 범위 안에서는 두 모델 계열과 3배 규모 범위, 데이터 구성과 초기화 변형(학습 시드는 아님)에 걸쳐 패턴이 유지됨 |
| 측정 위치 | 마지막 프롬프트 토큰, 28층 중 11개 층, 300스텝마다 샘플링. 생성된 추론 트레이스 안에서 일시적으로 만들어지거나, 샘플링하지 않은 층에, 혹은 체크포인트 간격 안에서 나타났다 사라지는 추론 회로는 측정에 들어오지 않음 |
| 닫힌 가설 집합 | 클러스터링은 자동이지만 H1–H7은 저자가 게임 구조에서 지정. 이 집합 밖의 추상은 검정되지 않으므로 부정적 결과는 이 7개 가설에 대한 진술. 다만 H7은 자동 서브클러스터 마이닝에서 나왔으므로 절차가 예상 밖 구조를 드러낼 수는 있음 |
🧠 2. 암기 vs 추상 (부록 J)
도달 가능 상태 5,478개 중 80%가 학습에 있으므로 암기와 추상은 원리적으로 구분이 어렵습니다. 저자들의 주장은 더 구체적입니다. 전략 추상(포크, 위협, 승리 시퀀스)은 중간 층 피처 공간에 나타나지 않는 반면 템플릿화하기 쉬운 추상(게임 진행)은 나타납니다. 모델이 보드 전반에 걸친 유능한 패턴 완성을 배웠다면 H2와 H3 둘 다 강해져야 하는데 H2만 강해집니다. 네 가지 수렴 증거가 이를 지지합니다.
- 대칭 통제 곡선이 무작위 분할 곡선과 분리되지 않고 따라간다. 템플릿 암기자라면 그렇지 않다.
- 홀드아웃 비종료 상태에서 우연 보정 기량이 모든 분기 구간에서 상당하고, 홀드아웃 정확도가 학습 정확도와 일치한다. 80% 학습 집합의 암기자라면 둘 다 그렇지 않다.
- ASCII 하락(73% → 44%)은 표현이 추상적 보드 상태가 아니라 자연어 토큰 경계에 묶여 있음을 보인다.
- 불법 보드가 플래그가 아니라 합법 이어두기를 끌어낸다.
각각은 약하지만, 함께 보면 이 규모에서 암기와 추상이 같은 것으로 환원된다는 가장 강한 해석에 반대합니다.
🔍 3. 전략 추상이 약한 채로 남는 두 가지 설명
- 보상 형태 : GRPO는 출력된 수의 정답성을 보상하지 내부 계산의 충실성을 보상하지 않습니다. 강제 승리, 저분기, 종반처럼 프롬프트 수준 단서가 이미 답을 결정하는 곳에서는 탐색 기반 추상을 내재화할 그래디언트 압력이 없습니다. 첫 체크포인트부터 거의 천장인 종료 상태 검출과 비종료 상태에서의 점진적 우연 보정 향상이 공존하는 것은 계획을 배우지 않고 단서를 활용하도록 배운 정책의 서명입니다.
- 아키텍처 제약 : 자기회귀 트랜스포머는 생성 토큰당 고정된 계산량을 쓰므로 탐색 집약적 피처보다 추출적 피처로 최적화가 기웁니다. 또한 보드에 작용하는 이면체군 $D_{4}$에 대한 내장 등변성이 없어 대칭 인식 구조를 데이터에서 끝까지 학습해야 합니다. Table 1의 평탄한 H4 행이 이와 일치합니다. 가변 계산을 할당하는 아키텍처(에너지 기반 트랜스포머, mixture-of-recursions, soft-reasoning 임베딩 탐색, 확산 언어 모델)는 원리적으로 재사용 가능한 전략 회로를 발달시킬 여지가 더 있으며, 저자들은 이를 후속 기계론적 연구의 생산적 대상으로 봅니다.
🧪 4. 남은 과제
| 항목 | 내용 |
|---|---|
| 보상 성분 절제 | 형식 항을 빼는 등 완전한 보상 성분 절제는 후속 연구로 남김 |
| 더 풍부한 영역 | Connect Four, 간단한 대수, 격자 세계 계획으로의 확장 |
| 평가 범위 | Tic-Tac-Toe는 풀린 게임이므로 미니맥스 오라클 대비 상태별 최적성은 임의 상대에 대한 완벽 플레이와 동치. 따라서 vs-MCTS 곡선은 따로 보고하지 않음 |
| 일반화 주장의 한계 | 고차 추론 신호의 부재는 다른 학습·보상·아키텍처 선택에서 그런 능력이 출현할 수 없음을 뜻하지 않음. GRPO와 소형 트랜스포머 설정에서는 최적화가 개념적 재조직보다 기존 프롬프트 수준 피처 강화를 선호한다는 뜻 |
부록 K는 프롬프트 피처가 답을 충분히 결정하지 못하는 중반 위치를 앞쪽에 배치하는 커리큘럼이 그래디언트를 순수 추출에서 검증 쪽으로 밀어낼 수 있다고 제안합니다.
💡 Key Takeaway 결론은 “소형 모델 + GRPO + 닫힌 영역”으로 범위가 한정되어 있고, 측정은 11개 층·마지막 토큰·300스텝 간격·7개 가설에 묶여 있습니다. 그 안에서 전략 추상이 약한 이유로 저자들은 보상 형태와 고정 계산 아키텍처를 듭니다.
논문 내부 수치 불일치 정리
본문과 부록 사이에 서로 어긋나는 수치가 몇 군데 있습니다. 포스트에서는 임의로 맞추지 않고 각각 출처대로 적었습니다.
| 항목 | 본문 | 부록·표 | 비고 |
|---|---|---|---|
| Qwen2.5-1.5B 최적수 NL → ASCII 하락 | 73% → 44% (§4.1, 부록 J) | Table 12: 75.6 → 50.3 (합법에서 웜스타트), 71.6 → 47.4 (기본에서) | 본문 수치가 Table 12의 어느 행과도 정확히 일치하지 않음 |
| Qwen2.5-1.5B 최적수 최고 정확도 | 부록 B.1: 대칭 분할 71%, 무작위 분할 74% | Table 12 무작위 NL: 75.6 / 71.6. Table 8: 무작위 학습 78.7·홀드아웃 77.1, 정규 학습 72.9·홀드아웃 71.9 | 평가 집합·체크포인트가 다를 수 있으나 논문이 명시하지 않음 |
| 저분기(≤2) 원시 정확도 | §4.1: 83.1% | Table 13: 89.4 | 고분기(≥5) 63.6%는 양쪽이 일치 |
| MLP 프로브의 H3 추가 AUC | Table 2 캡션: 최대 0.06 | Table 3 캡션: 0.75(기본)·0.73(최종), 즉 +0.064·+0.046, “최대 0.05–0.06” | 반올림 범위 내 |
| 알고리즘 참조 | §3.2: “App. 6” | 실제로는 Algorithm 6 (불법 vs 합법 비교)을 가리키는 것으로 보임 | 표기 오류로 추정 |
💡 Key Takeaway 핵심 주장(H1 → H2 역전, 프로브 평탄, 층 25 패칭)에 영향을 주는 불일치는 없지만, ASCII 하락폭과 저분기 정확도는 본문과 표의 숫자가 다르므로 인용할 때 출처를 명시해야 합니다.