0. Summary

  • 기본 정보 : ArXiv,2026.10.19, Sparse RL Relaxation for LLM Reasoning
  • 연구 배경 : 고전적인 Chain-of-Thought(CoT)는 매 추론 단계에서 이산 토큰 하나를 뽑기 때문에, 그 시점의 출력 분포가 담고 있던 다른 후보들은 모두 버려진다. 이 한계를 넘기 위해 추론 토큰을 토큰 임베딩의 확률 가중 혼합(soft token) 으로 표현하는 soft CoT가 제안되었고, 이론적으로는 여러 추론 경로를 중첩(superposition) 상태로 한 단계 안에 담을 수 있어 이산 CoT보다 표현력이 크다는 분석도 나왔다. 문제는 사전학습 LLM이 이런 연속 혼합을 활용하도록 훈련된 적이 없다는 점이고, 그래서 정답 라벨 없이도 학습할 수 있는 RL 기반 post-training이 시도되었다. 그런데 기존 방법(SofT-GRPO, STHT, LEPO)은 가우시안 섭동이나 Gumbel-softmax로 확률성을 넣은 뒤 soft token 자체를 MDP의 행동(action) 으로 취급한다. 저자들은 이 정식화가 두 가지 점에서 문제라고 본다. 첫째, LLM의 행동 공간은 어휘 토큰인데 soft token은 어휘에 속하지 않으므로 행동 공간이 불명확해져 RL 정식화 자체가 ill-defined 된다. 둘째, soft token은 본래 미분 가능한 중간 계산 단계인데 이를 행동으로 보면 soft token 간의 그래디언트 경로가 끊겨, “앞 단계의 soft token 선택이 다음 단계에 어떤 영향을 주는가”라는 신호를 전혀 쓰지 못한다.
  • 제안 방법 : SpaRLax(Sparse RL Relaxation) 는 두 요소로 구성된다. (1) RL Relaxation: 매 추론 단계의 로짓에 Gumbel 노이즈를 더해 확률적 탐색을 유지하되, argmax 대신 softmax로 완화(relax)한 Gumbel-softmax 분포로 soft token을 만든다. 노이즈는 파라미터와 무관하게 샘플링되므로 기대값 바깥으로 빠져나오고(reparameterization), 그 결과 추론 단계를 가로질러 보상의 그래디언트가 역전파된다. 정책 경사(policy gradient)는 이산적인 최종 답변 토큰에만 적용한다. 두 단계(rollout/update) 구조의 현대 RL 프레임워크에서는 rollout 때 만든 soft token이 그래프에서 분리되어 있으므로, 캐시된 forward 값은 그대로 두고 역전파용 그래디언트만 현재 정책으로 재계산해 붙이는 Proxy Gradient Grafting 을 제안한다. (2) Sparse Relaxation: softmax는 어휘 전체에 0이 아닌 확률을 주어 긴 꼬리 노이즈를 soft token에 섞고, 고정 top-$k$ 절단은 단계마다 달라지는 불확실성을 수용하지 못한다. 그래서 softmax를 $\alpha$-entmax($\alpha=1.5$)로 바꿔, 확신이 높은 단계에서는 거의 이산 토큰에 가깝게 수축하고 불확실한 단계에서는 여러 후보를 희소 혼합으로 유지하도록 softness의 정도가 단계별로 적응하게 한다.
  • 발견 사실 : DeepSeek-R1-Distill-Qwen-1.5B를 DAPO-MATH-17k로 동일한 GRPO 프레임워크 안에서 post-training 한 결과, SpaRLax는 9개 벤치마크(GSM8K, MATH, AIME24/25, AMC23, OlympiadBench, GPQA-Diamond, HumanEval, MBPP) 가중 평균 Pass@1에서 hard-CoT 추론 63.43%, soft-CoT 추론 65.42%로 모든 비교 방법 중 최고였다(Discrete-GRPO 61.90/64.58, SofT-GRPO 61.24/64.35). Pass@32에서도 가중 평균 82.21/83.56으로 1위였으나 격차는 작았고, 이는 적당한 RL 예산에서는 샘플링 효율은 오르지만 대규모 $k$ 커버리지는 넓어지지 않는다는 기존 관찰과 일치한다. 중첩 활용 분석에서는 soft token을 top-1 토큰 임베딩으로 바꿔 넣었을 때 hidden state의 Logit-Lens 분포 간 대칭 KL이 더 크고 코사인 유사도가 더 낮아, SpaRLax가 SofT-GRPO·Discrete-GRPO보다 top-1 이외 성분을 실제로 더 많이 사용함을 보였다. 후보 집합 크기 $k\in{2,4,8,16,32}$ 실험에서는 softmax가 $k$ 가 커질수록 성능이 크게 떨어진 반면 entmax는 $k$ 가 커질수록 오히려 성능이 올라, 적응적 희소성의 효과를 확인했다.
  • 핵심 기여 :
    1. soft CoT를 위한 RL Relaxation 정식화 : soft token을 RL 행동이 아닌 미분 가능한 중간 계산으로 다루고, Gumbel 재매개변수화로 추론 단계 간 pathwise 그래디언트를 복원했다. 정책 경사는 답변 토큰에만 걸리므로 행동 공간이 어휘로 유지되어 표준 MDP 정식화와 충돌하지 않으며, PPO·GRPO·DAPO·GSPO·REINFORCE++ 등 어떤 정책 최적화 규칙과도 결합 가능하다.
    2. Proxy Gradient Grafting : rollout과 업데이트가 분리된 2-pass RL 구현에서도 forward 값은 캐시된 rollout 궤적과 정확히 같게 유지하면서, 바로 앞 단계로의 그래디언트 경로를 stop-gradient 트릭으로 이식하는 효율적 근사를 제안했다. 모든 시간 단계에 대해 병렬 계산이 가능하다.
    3. entmax 기반 적응적 희소 relaxation과 실증 : 고정 top-$k$ 대신 $\alpha$-entmax로 단계별 불확실성에 따라 support 크기가 자동 결정되게 했고, 9개 벤치마크에서 최고 평균 성능, Logit-Lens 개입 실험으로 중첩 활용 증거, 후보 집합 크기 ablation으로 희소성의 기여를 각각 보였다.

Abstract 쉬운 설명(Gemini)

💡 한 줄 요약

이 논문은 “AI가 성급하게 한 단어씩 뱉으며 생각하는 대신, 마음속으로 여러 가능성을 동시에 품고 느긋하게 고민한 뒤 최선의 답을 내놓도록 훈련하는 새로운 학습법”에 대한 이야기입니다.

🎨 머릿속을 들여다보는 비유: “말하기 전, 마음속의 고민”

보통 챗GPT 같은 AI가 수학 문제를 풀 때를 생각해 볼까요? AI는 우리가 생각하는 과정을 받아적듯, “첫째는…, 둘째는…“ 하고 글자를 한 자 한 자 화면에 출력하면서 생각(Chain of Thought)을 이어갑니다.

하지만 이런 방식은 치명적인 단점이 있습니다. 처음에 단어 하나를 엉뚱하게 뱉어버리면, 그 뒤의 모든 생각과 계산이 도미노처럼 엉터리가 된다는 점입니다. 사람으로 치면, 충분히 생각하지 않고 성급하게 말부터 내뱉었다가 꼬여버리는 상황과 같습니다.

이를 해결하기 위해 과학자들은 ‘소프트 CoT(Soft CoT)’라는 기발한 아이디어를 냈습니다.

  • 기존 방식 (하드 CoT): “나는 짜장면을… (아니 잠시만, 짬뽕이 나으려나? 하지만 이미 짜장면이라고 말해버렸으니 짜장면 소스 이야기를 계속해야지…)” ➡️ 성급한 단어 선택
  • 새로운 방식 (소프트 CoT): 마음속으로 (짜장면 50% + 짬뽕 50%)의 가능성을 동시에 품고 머리를 굴린 뒤, 마지막 순간에 완벽한 결정을 내립니다. ➡️ 여러 가능성의 ‘중첩’ 상태

🚧 과학자들이 마주한 장벽과 해결책

하지만 AI에게 이 “마음속으로 애매하게 여러 생각 동시에 하기”를 가르치는 것은 엄청나게 어려웠습니다.

AI를 칭찬과 벌(강화학습)을 주며 훈련할 때, 기존 방식은 중간에 AI가 했던 애매한 고민들의 흐름을 제대로 연결하지 못했습니다. 단어 하나하나를 툭툭 끊어서 평가하다 보니, “앞선 고민이 뒤의 고민에 어떤 좋은 영향을 주었는지” 연결고리(학습 신호)가 끊어져 버린 것입니다.

이 논문은 이 문제를 해결하는 ‘선생님(학습 알고리즘, SpaRLax)’을 만들었습니다.

🛠️ 이 논문의 핵심 무기 2가지

무기 역할 비유
부드러운 신호 연결
(SpaRLax)		 머릿속 생각의 흐름 전체에 끊김 없이 피드백을 전달하여, 중간 고민들이 더 똑똑해지도록 유도합니다. 이어달리기에서 바통을 떨어뜨리지 않고 끝까지 안전하게 전달하는 기술
적응형 희소화
(Adaptive Sparsity)		 확실한 부분은 빠르게 결정을 내리고, 헷갈리는 부분은 더 넓게 고민하도록 생각의 폭을 유연하게 조절합니다. 아는 문제는 빠르게 답을 적고, 모르는 문제는 시험지 여백에 온갖 수식을 다 적어보며 고민하는 습관

🏆 연구 결과와 의미

이 똑똑한 생각 조절 기술을 장착한 AI는 복잡한 추론 문제들을 훨씬 더 잘 해결하게 되었습니다.

억지로 단어부터 내뱉게 하지 않고, 속으로 깊고 넓게 생각하는 ‘인내심’을 가진 AI로 한 단계 성장시킨 연구라고 볼 수 있습니다.

기존 Soft-CoT 학습을 위한 강화학습(RL) 방식의 문제점

기존 연구들이 소프트 CoT(Soft Chain-of-Thought)를 학습시키기 위해 강화학습(RL) 방식을 도입했을 때 마주쳤던 가장 결정적인 문제점들은 “연속적인 생각의 흐름과 이산적인 보상 체계 사이의 불일치”에서 발생합니다.

이 논문(arXiv:2610.27220)을 비롯한 최신 기계학습 연구들에서 지적하는 기존 RL 방식의 한계점을 크게 세 가지로 정리해 드립니다.

🚧 1. 미분 불가능성 및 그래디언트 단절 (No Gradient Flow)

가장 치명적인 수학적 한계입니다.

  • 기존 방식의 문제: 기존 강화학습(예: PPO 등)은 소프트 토큰을 마르코프 결정 과정(MDP)의 독립적인 ‘행동(Action)’으로 취급합니다. 즉, 매 단계마다 소프트 토큰을 독립적으로 샘플링하여 평가합니다.
  • 결과: 이 경우, 앞 단계의 소프트 토큰이 다음 소프트 토큰에 미치는 영향이 수학적으로 미분(Gradient)되지 않고 단절됩니다. 앞선 생각이 뒤의 생각에 어떤 영향을 미쳤는지 세밀한 ‘경사도 신호’가 전달되지 않아, 복잡한 다단계 추론을 엔드투엔드로 정교하게 학습시키기가 매우 어렵습니다.

📉 2. 보상 신호의 희소성 (Sparse Reward)

  • 기존 방식의 문제: 수학이나 코딩 문제에서 강화학습은 대개 최종 답변이 맞았는지 틀렸는지(0 또는 1)로만 보상(Reward)을 줍니다.
  • 결과: 소프트 CoT 상태에서는 모델의 머릿속에 수많은 추론 가능성이 중첩(Superposition)되어 있습니다. 최종 정답이 틀렸을 때, “머릿속의 여러 생각 후보들 중 정확히 어느 단계의 어떤 생각이 잘못되어 오답으로 이어졌는지” 세밀하게 짚어내지 못합니다. 이로 인해 학습 속도가 극도로 느려지거나 훈련이 수렴하지 못하고 발산하는 현상이 발생합니다.

🌪️ 3. 디코딩 불안정성과 노이즈 누적 (Autoregressive Drift)

  • 기존 방식의 문제: 일반적인 소프트 CoT는 완전한 이산형 단어(정확한 토큰)가 아니라 단어들의 확률 분포(Soft Representation)를 바탕으로 다음 단어를 예측하며 나아갑니다.
  • 결과: 기존 RL은 이 ‘소프트함’의 강도를 적절히 제어하지 못했습니다. 한 걸음 내딛을 때마다 아주 미세한 수학적 오차(노이즈)가 발생하는데, 생각의 단계가 길어질수록 이 노이즈가 복리로 누적되어 나중에는 아예 사람이 읽을 수 없거나 AI 스스로도 이해할 수 없는 횡설수설하는 잠재 벡터(Representation Drift) 상태로 무너져 내리게 됩니다.

💡 SpaRLax가 해결한 방식 (대비법)

본 논문이 제시한 SpaRLax는 이러한 한계들을 정면으로 극복하기 위해 설계되었습니다.

기존 RL 방식의 한계 SpaRLax의 해결책
그래디언트 단절 연속적인 소프트 CoT의 흐름을 미분 가능한 완화(Continuous Relaxation) 경로로 설계하여, 역전파(Backpropagation) 신호가 처음부터 끝까지 부드럽게 흐르도록 만듦.
디코딩 불안정성 (노이즈) entmax 희소화(Sparsity)를 도입하여, 확신이 없을 때만 적절히 여러 가능성을 열어두고(Soft), 확실할 때는 노이즈를 칼같이 잘라내어(Sparse) 생각의 붕괴를 원천 차단함.

관련 개념

Soft Chain-of-Thought와 중첩(Superposition)

Soft CoT는 추론 단계의 토큰을 이산 토큰 하나가 아니라 어휘 전체 토큰 임베딩의 확률 가중 평균으로 표현하는 방식입니다. 한 단계 안에 여러 후보 의미가 공존할 수 있어, 이산 CoT가 매 단계 버리는 대안 정보를 다음 단계로 넘길 수 있습니다.

🔢 1. 고전 CoT vs Soft CoT

고전 CoT에서는 프롬프트 $\bm{x}$ 뒤에 <think> 로 감싼 이산 추론 토큰 $\bm{t}{1:m}$ 과 최종 답변 $\bm{y}{1:n}$ 이 이어집니다. $i$ 번째 단계에서 정책이 어휘 분포 $\bm{p}_i$ 를 내고 토큰 하나를 샘플링합니다.

\[\bm{p}_i = \pi_{\bm{\theta}}(\cdot \mid \bm{x}, \bm{t}_{<i}), \qquad t_i \sim \mathrm{Categorical}(\bm{p}_i)\]

샘플링된 $t_i$ 의 임베딩 $\operatorname{emb}(t_i)$ 만 다음 단계로 넘어가고 $\bm{p}_i$ 의 나머지 정보는 버려집니다.

Soft CoT(Zhang et al., 2025)는 이산 토큰 대신 soft-token 분포 $\tilde{\bm{p}}_i$ 로부터 연속 임베딩을 만듭니다.

\[\tilde{\bm{p}}_i = \pi_{\bm{\theta}}(\cdot \mid \bm{x}, \tilde{\bm{e}}_{<i}), \qquad \tilde{\bm{e}}_i = \sum_{k=1}^{|\mathcal{V}|} \tilde{p}_{i,k}\, \operatorname{emb}(k)\]

이 $\tilde{\bm{e}}_i$ 를 다시 모델에 넣어 </think> 가 나올 때까지 반복하고, 그 뒤 답변은 이산 토큰으로 생성합니다.

구분 고전 CoT Soft CoT
추론 토큰 어휘 원소 $t_i \in \mathcal{V}$ 혼합 임베딩 $\tilde{\bm{e}}_i \notin \mathcal{V}$
다음 단계 입력 $\operatorname{emb}(t_i)$ $\sum_k \tilde{p}_{i,k}\operatorname{emb}(k)$
단계당 보존 정보 후보 1개 여러 후보의 가중 혼합
최종 답변 이산 이산 (동일)

🌀 2. 왜 “중첩”인가

이론 분석(Zhu et al., 2025; Gozeten et al., 2026)은 연속 표현이 여러 추론 경로를 중첩 상태로 인코딩하고 여러 탐색 프런티어를 병렬로 추적할 수 있어, 단일 이산 궤적보다 표현력과 탐색 효율이 높다고 봅니다. 다만 Rizvi-Martel et al. (2026)은 최근 soft reasoning 방법들이 실제로는 중첩 표현을 단일 토큰 쪽으로 붕괴(collapse) 시키는 경우가 많아, 관찰된 이득이 단지 “더 탐욕적인 추론” 때문일 수 있다고 지적했습니다. 이 논문은 §4.3 에서 이 붕괴 여부를 직접 측정합니다.

🛑 3. soft 추론의 종료 조건 (Appendix 7.3)

매 단계에서 soft-token 분포의 최빈 토큰을 봅니다.

\[t_i^\star = \arg\max_{k \in \mathcal{V}} \tilde{p}_{i,k}\]

$t_i^\star \neq$ </think> 인 동안 soft 추론을 계속하고, </think> 가 최빈 토큰이 되는 순간 이산 디코딩으로 전환합니다. 별도의 학습된 종료 모듈은 없으며, rollout과 추론에서 동일하게 적용됩니다.

💡 Key Takeaway Soft CoT는 “토큰을 뽑는 대신 분포를 임베딩으로 접어 넘기는” 방식입니다. 이론적 표현력은 크지만, 사전학습 모델은 이런 입력을 본 적이 없어 post-training 없이는 잠재력이 실현되지 않는다는 것이 이 논문의 출발점입니다.

기존 RL 기반 soft CoT 학습의 문제점

RL post-training은 정답 라벨 없이 최종 답의 정확성 보상만으로 추론을 개선하는 표준 방법입니다. 기존 soft CoT RL 방법들은 이 틀에 soft token을 끼워 넣기 위해 확률성을 주입했지만, 그 과정에서 soft token의 본질을 놓쳤다는 것이 논문의 진단입니다.

🎯 1. 표준 RL 목적함수와 정책 경사

프롬프트 $\bm{x}$ 에 대해 궤적(CoT + 답변)을 샘플링하고, 답변의 정확성으로 스칼라 보상 $R(\bm{x}, \bm{y}_{1:n})$ 을 받습니다.

\[J(\bm{\theta}) = \mathbb{E}_{\bm{x}\sim\mathcal{D},\ \bm{t}_{1:m},\bm{y}_{1:n}\sim\pi_{\bm{\theta}}}\big[R(\bm{x},\bm{y}_{1:n})\big]\]

이산 샘플링은 미분 불가능하므로 정책 경사(REINFORCE)를 씁니다. 추론 토큰과 답변 토큰 모두에 로그 우도 항이 붙습니다.

\[\nabla_{\bm{\theta}}J = \mathbb{E}\Big[R\Big(\sum_{i=1}^{m}\nabla_{\bm{\theta}}\log\pi_{\bm{\theta}}(t_i\mid\bm{x},\bm{t}_{<i}) + \sum_{j=1}^{n}\nabla_{\bm{\theta}}\log\pi_{\bm{\theta}}(y_j\mid\bm{x},\bm{t}_{1:m},\bm{y}_{<j})\Big)\Big]\]

⚠️ 2. 기존 soft CoT RL 방법의 정식화

SofT-GRPO(Zheng and Lee, 2025)는 Gumbel 기반, STHT(Butt et al., 2026)는 가우시안 섭동으로 soft token에 확률성을 넣고, 그 soft token의 우도 $\rho_{\bm{\theta}}(\tilde{\bm{e}}i \mid \bm{x}, \tilde{\bm{e}}{<i})$ 에 대해 정책 경사를 적용합니다.

\[\nabla_{\bm{\theta}}J = \mathbb{E}\Big[R\Big(\sum_{i=1}^{m}\nabla_{\bm{\theta}}\log\rho_{\bm{\theta}}(\tilde{\bm{e}}_i\mid\bm{x},\tilde{\bm{e}}_{<i}) + \sum_{j=1}^{n}\nabla_{\bm{\theta}}\log\pi_{\bm{\theta}}(y_j\mid\bm{x},\tilde{\bm{e}}_{1:m},\bm{y}_{<j})\Big)\Big]\]
문제 설명
행동 공간 불일치 자기회귀 LLM의 토큰 수준 MDP에서 정책은 어휘 토큰 $a_i\in\mathcal{V}$ 위에 정의된다. soft token $\tilde{\bm{e}}_i\notin\mathcal{V}$ 는 이 행동 공간에 없으므로, soft token에 대한 정책 경사 목적함수는 표준 LLM RL 틀에서 ill-defined 다.
미분 가능성 낭비 soft token은 $\tilde{\bm{p}}i$ 의 미분 가능한 함수인데, 이를 행동으로 보면 $\tilde{\bm{e}}_i \to \tilde{\bm{p}}{i-1}$ 로 이어지는 그래디언트 경로가 끊긴다. “앞 soft token이 뒤 단계에 미치는 영향”이라는 신호를 잃는다.

💡 Key Takeaway 기존 방법은 soft token을 “확률적으로 뽑은 행동” 으로, 이 논문은 “미분 가능한 중간 계산” 으로 봅니다. 같은 Gumbel 노이즈를 쓰더라도 이 관점 차이가 그래디언트 흐름을 완전히 바꿉니다.

RL Relaxation: Gumbel 재매개변수화로 단계 간 그래디언트 복원

RL Relaxation은 SpaRLax의 첫 번째 구성 요소로, Gumbel-softmax가 미분 가능하다는 사실을 이용해 soft token 사이의 그래디언트 경로를 복원하고, 정책 경사는 이산 답변 토큰에만 적용하는 방식입니다.

🎲 1. Gumbel-softmax soft token

단계 $i$ 에서 LLM $f_{\bm{\theta}}$ 가 로짓을 냅니다.

\[\bm{z}_i = f_{\bm{\theta}}(\bm{x}, \tilde{\bm{e}}_{<i}) \in \mathbb{R}^{|\mathcal{V}|}\]

각 로짓에 i.i.d. Gumbel 노이즈 $\epsilon_{i,k}\sim\mathrm{Gumbel}(0,1)$ 을 더합니다. Gumbel-Max 트릭에 따르면 섭동된 로짓의 argmax는 $\operatorname{softmax}(\bm{z}_i)$ 에서의 정확한 범주 샘플입니다. 미분 가능성을 위해 argmax를 softmax로 바꾼 것이 Gumbel-softmax입니다.

\[\tilde{\bm{p}}_i = \operatorname{softmax}\!\Big(\frac{\bm{z}_i + \bm{\epsilon}_i}{\tau_g}\Big), \qquad \tilde{\bm{e}}_{i+1} = \sum_{k=1}^{|\mathcal{V}|}\tilde{p}_{i,k}\operatorname{emb}(k)\]

$\tau_g>0$ 은 relaxation 온도입니다. 핵심은 노이즈 $\bm{\epsilon}_i$ 가 주어지면 $\tilde{\bm{e}}_i$ 는 $\bm{z}_i$ 에 대해 미분 가능하다는 것입니다.

🧭 2. 완화된 목적함수와 그래디언트

노이즈가 파라미터와 무관하므로 기대값의 분포에서 $\bm{\theta}$ 가 사라집니다(reparameterization).

\[J_{\mathrm{relax}}(\bm{\theta}) = \mathbb{E}_{\bm{x}\sim\mathcal{D},\ \bm{\epsilon}_{1:m}\sim\mathrm{Gumbel}(0,1),\ \bm{y}_{1:n}\sim\pi_{\bm{\theta}}(\cdot\mid\bm{x},\tilde{\bm{e}}_{1:m})}\big[R(\bm{x},\bm{y}_{1:n})\big]\] \[\nabla_{\bm{\theta}}J_{\mathrm{relax}} = \mathbb{E}\Big[R(\bm{x},\bm{y}_{1:n})\sum_{j=1}^{n}\nabla_{\bm{\theta}}\log\pi_{\bm{\theta}}(y_j\mid\bm{x},\tilde{\bm{e}}_{1:m},\bm{y}_{<j})\Big]\]
항목 기존 (SofT-GRPO, STHT) SpaRLax
정책 경사 적용 위치 추론 soft token + 답변 토큰 답변 토큰만
추론 단계의 학습 신호 각 soft token의 우도 항 답변 로그우도가 $\tilde{\bm{e}}_{1:m}$ 을 거쳐 역전파
단계 간 그래디언트 끊김 $\tilde{\bm{e}}i \to \tilde{\bm{p}}{i-1} \to \bm{z}{i-1} \to \tilde{\bm{e}}{i-1}$ 로 흐름

Fig. 1 의 설명처럼, 정책 경사는 출력 단계에만 걸고 추론 단계에는 cross-step 그래디언트를 역전파합니다.

🔌 3. 정책 최적화 규칙과의 독립성

RL Relaxation은 soft-CoT 계산을 어떻게 구성하고 미분하는가만 바꾸고, advantage 추정·중요도 가중·정책 업데이트 같은 바깥층은 건드리지 않습니다. 따라서 PPO, GRPO, DAPO, GSPO, REINFORCE++ 등과 모두 결합할 수 있습니다. 실험은 GRPO 위에서 수행합니다.

💡 Key Takeaway “노이즈를 먼저 뽑고 나머지는 결정론적 미분 가능 계산으로 둔다”는 재매개변수화 덕분에, 보상이 답변 → 마지막 soft token → … → 첫 soft token 으로 거슬러 올라갑니다. 행동 공간은 여전히 어휘이므로 MDP 정식화도 깨지지 않습니다.

Proxy Gradient Grafting

Proxy Gradient Grafting은 현대 RL 프레임워크의 2-pass 구조에서 단계 간 그래디언트가 끊기는 문제를 해결하는 구현 기법입니다. forward 값은 rollout에서 캐시한 값을 그대로 쓰고, backward 그래디언트만 현재 정책으로 재계산한 분포에서 가져와 “이식(graft)”합니다.

🧱 1. 왜 필요한가: 2-pass 구조

Pass 역할 특성
1 (rollout) 궤적 전체를 자기회귀 생성, 역전파 없음 메모리 효율적, 느림
2 (update) 샘플링된 행동을 입력으로 받아 그래디언트 계산 메모리 집약적, 빠름

HybridFlow·AReaL 같은 시스템은 서로 다른 배치의 rollout과 업데이트를 동시에 돌려 GPU 병렬성을 극대화합니다. 문제는 soft token 임베딩이 1-pass에서 생성되어 2-pass에 입력으로 들어오므로 계산 그래프에서 분리(detach)되어 있다는 점입니다. 그 결과 $\tilde{\bm{e}}i$ 에서 $\tilde{\bm{p}}{i-1}, \bm{z}{i-1}, \tilde{\bm{e}}{i-1}$ 로 그래디언트가 흐르지 않습니다.

🔧 2. 이식 절차

rollout에서 캐시된 $(\tilde{\bm{p}}_i^{\text{roll}}, \tilde{\bm{e}}_i^{\text{roll}}, \bm{\epsilon}_i)$ 를 두고, 한 단계 앞의 캐시 임베딩으로부터 현재 정책의 로짓을 재구성합니다.

\[\bm{z}_{i-1}^{\text{proxy}} = f_{\bm{\theta}}(\bm{x}, \tilde{\bm{e}}_{\le i-1}^{\text{roll}}), \qquad \tilde{\bm{p}}_{i-1}^{\text{proxy}} = \operatorname{softmax}\!\Big(\frac{\bm{z}_{i-1}^{\text{proxy}}+\bm{\epsilon}_{i-1}}{\tau_g}\Big)\]

rollout 때 뽑은 **같은 $\bm{\epsilon}{i-1}$ 을 재사용**하므로 $\bm{z}{i-1}^{\text{proxy}} = \bm{z}_{i-1}^{\text{roll}}$ 입니다. 그 다음 stop-gradient $\operatorname{sg}(\cdot)$ 로 forward 값과 backward 경로를 분리해 이식합니다.

\[\bar{\bm{p}}_{i-1} = \operatorname{sg}(\tilde{\bm{p}}_{i-1}^{\text{roll}}) + \tilde{\bm{p}}_{i-1}^{\text{proxy}} - \operatorname{sg}(\tilde{\bm{p}}_{i-1}^{\text{proxy}}), \qquad \bar{\bm{e}}_i = \sum_{k=1}^{|\mathcal{V}|}\bar{p}_{i-1,k}\operatorname{emb}(k)\]

$\bar{\bm{e}}_i$ 가 2-pass에서 $\tilde{\bm{e}}_i^{\text{roll}}$ 을 대체합니다.

성질 내용
Forward 항상 $\bar{\bm{p}}{i-1} = \tilde{\bm{p}}{i-1}^{\text{roll}}$ 이므로 캐시된 rollout 궤적을 정확히 보존
Backward $\bar{\bm{e}}i \to \tilde{\bm{p}}{i-1}^{\text{proxy}}$ 로 표준 역전파
병렬성 한 단계 앞만 이식하므로 모든 $i$ 에 대해 동시에 계산 가능, 지연 낮음

📏 3. 한 단계만 이식해도 되는 이유

이식된 그래디언트는 $\bar{\bm{e}}i$ 에서 $\tilde{\bm{p}}{i-1}^{\text{proxy}}$ 까지 한 단계만 역전파됩니다. 저자들은 두 가지 근거를 듭니다. 첫째, attention 층이 모든 이전 단계로 그래디언트를 전달하므로 전체 단계가 충분히 학습된다. 둘째, 순환 계산에서는 단계 수가 늘수록 그래디언트가 소실되므로 가장 가까운 단계가 가장 강한 신호를 받고, 따라서 한 단계의 cross-step 그래디언트만으로도 의미가 크다.

Appendix 7.1 은 전체 궤적을 통째로 미분하는 Algorithm 1(Full)과 이식 기반 Algorithm 2(Proxy)를 모두 제시하며, 두 알고리즘은 현재 정책의 soft-token 그래디언트 구성과 그로부터 나오는 중요도 비율 $r_{g,j}$ 에서만 다릅니다.

💡 Key Takeaway straight-through 스타일의 $\operatorname{sg}(a) + b - \operatorname{sg}(b)$ 트릭으로 “값은 $a$, 그래디언트는 $b$”를 만듭니다. 덕분에 rollout 궤적과 중요도 비율은 그대로 두면서 단계 간 신호만 추가됩니다.

희소 RL Relaxation: $\alpha$-entmax

Sparse RL Relaxation은 SpaRLax의 두 번째 구성 요소로, soft token 분포의 softmax를 $\alpha$-entmax로 바꿔 약한 후보에는 정확히 0의 확률을 주고 유지할 후보 수가 단계별 불확실성에 따라 자동 결정되게 합니다.

📉 1. 문제: 긴 꼬리 노이즈와 고정 top-$k$ 의 한계

기존 soft CoT 방법들은 softmax로 어휘 모든 토큰에 0이 아닌 확률을 줍니다. 큰 어휘 위에서 저확률 토큰의 긴 꼬리가 soft token에 섞여 들어가 노이즈가 누적되고, 확률 질량이 희석되어 추론 초점이 흐려집니다. 흔한 처방인 top-$k$ 절단은 고정 $k$ 를 쓰는데, Fu and Luo (2026)의 관찰처럼 토큰 분포는 대부분 단계에서 매우 집중되어 있지만 일부 단계에서는 크게 퍼져 있습니다.

고정 $k$ 문제
큰 $k$ 확신 있는 단계에서 불필요한 노이즈 유지
작은 $k$ 불확실한 단계에서 유용한 대안 폐기

🧮 2. entmax 정의

로짓 $\bm{z}\in\mathbb{R}^{ \mathcal{V} }$ 에 대해
\[\operatorname{entmax}_\alpha(\bm{z})_k = \big[(\alpha-1)z_k - \lambda\big]_+^{\frac{1}{\alpha-1}}\]

$\lambda$ 는 합이 1이 되도록 하는 정규화 상수, $\alpha>1$ 은 희소성을 조절합니다.

$\alpha$ 대응 함수 성질
$\alpha\to1$ softmax 모든 원소 양수 (dense)
$\alpha=1.5$ 1.5-entmax (논문 선택) 중간 희소성, 전용 정확 알고리즘 존재
$\alpha=2$ sparsemax 가장 공격적 희소화

$\alpha>1$ 이면 충분히 약한 토큰에 정확히 0 을 주고, 남는 토큰 수는 상대 점수에 의해 결정됩니다.

🎚️ 3. Gumbel-entmax soft token

Eqn. (9) 의 softmax를 entmax로 바꿉니다.

\[\tilde{\bm{p}}_i = \operatorname{entmax}_\alpha\!\Big(\frac{\bm{z}_i+\bm{\epsilon}_i}{\tau_g}\Big), \qquad \tilde{\bm{e}}_{i+1} = \sum_{k=1}^{|\mathcal{V}|}\tilde{p}_{i,k}\operatorname{emb}(k)\]
상황 entmax의 동작
(노이즈 후) 로짓 하나가 지배적 나머지를 억제 → soft token이 이산 표현에 근접
여러 후보의 로짓이 비슷 그 후보들을 희소 혼합으로 유지

즉 softness의 정도가 각 단계의 불확실성에 적응하며, support 크기를 수동 지정할 필요가 없습니다. Proxy Gradient Grafting에서 $\tilde{\bm{p}}_i^{\text{proxy}}$ 를 재구성할 때도 같은 치환을 적용하며, entmax는 활성 support 위에서 미분 가능하므로 §3.1 과 동일하게 그래디언트가 흐릅니다.

⚙️ 4. 구현상의 선택 (Appendix 7.2)

  • $\alpha=1.5$ 는 선행 entmax 연구에서 흔히 쓰이는 값이며, 일반 $\alpha$ 가 반복 계산을 요구하는 것과 달리 전용 정확 알고리즘이 있어 지연이 낮다.
  • 메모리를 위해 후보 집합 크기 $k=32$ 를 쓴다. entmax는 그 안에서 effective support를 더 줄일 수 있으므로, softmax 기반 baseline(후보 5개)보다 더 큰 후보 풀에 모델을 노출시키면서도 모든 후보가 혼합에 참여하도록 강제하지 않는다.

💡 Key Takeaway 이 논문에서 $k$ 는 “최대 후보 예산”, entmax는 “그 예산 안에서의 실제 softness”를 정합니다. 둘을 분리했기 때문에 큰 $k$ 를 써도 노이즈가 늘지 않습니다.

GRPO 위에서의 SpaRLax 구현

GRPO(Group Relative Policy Optimization) 는 비평가(critic) 없이 같은 프롬프트에 대한 여러 응답의 보상을 그룹 내에서 정규화해 advantage로 쓰는 정책 최적화 방법입니다. 논문은 모든 비교 방법을 같은 GRPO 백본 위에 구현해 soft-CoT 학습 메커니즘의 효과만 분리합니다.

📐 1. 그룹 상대 advantage와 클리핑 손실

그룹 $G$ 개 rollout의 보상 ${R_g}$ 에 대해

\[\widehat{A}_g = \frac{R_g-\mu_R}{\sigma_R+\varepsilon_A}, \qquad \mu_R = \frac{1}{G}\sum_h R_h, \qquad \sigma_R = \sqrt{\frac{1}{G}\sum_h (R_h-\mu_R)^2}\]

토큰 수준 중요도 비율 ${r_{g,j}}$ 로 클리핑된 GRPO 손실을 정의합니다.

\[\mathcal{L}_{\mathrm{GRPO}} = -\frac{1}{G}\sum_{g=1}^{G}\frac{1}{n_g}\sum_{j=1}^{n_g}\min\Big\{r_{g,j}\widehat{A}_g,\ \operatorname{clip}(r_{g,j},1-\varepsilon_{\mathrm{clip}},1+\varepsilon_{\mathrm{clip}})\widehat{A}_g\Big\}\]

SpaRLax에서 $j$ 는 답변 토큰만을 인덱싱하며, 중요도 비율은 Full 버전에서 $r^{\mathrm{full}}{g,j} = \exp(\ell^{\bm{\theta}}{g,j}-\ell^{\mathrm{old}}{g,j})$, Proxy 버전에서 $r^{\mathrm{proxy}}{g,j} = \exp(\bar{\ell}^{\bm{\theta}}{g,j}-\ell^{\mathrm{old}}{g,j})$ 입니다. 후자의 $\bar{\ell}$ 은 이식된 $\bar{\bm{e}}_{1:m}$ 을 조건으로 계산합니다.

🧾 2. 통제된 비교를 위한 공통 설정 (Table 3)

항목 값 (모든 방법 공통)
베이스 모델 DeepSeek-R1-Distill-Qwen-1.5B, 전체 파라미터 미세조정
RL 데이터 DAPO-MATH-17k (사전학습 코퍼스와의 중복을 줄이기 위해 선택)
프롬프트 배치 / 그룹 크기 32 / 8 (LEPO만 16 / 8)
옵티마이저 AdamW, lr $10^{-6}$, weight decay 0.01, 상수 스케줄
PPO 클리핑 / dual-clip $[0.8, 1.2]$ / 3.0
KL 계수 / 엔트로피 보너스 $10^{-3}$ / 0
최대 학습 스텝 3,000
답변 토큰 샘플링 top-$k$=5, top-$p$=0.95, 온도 1.0
하드웨어 H100 4장, FSDP1, BF16, gradient checkpointing
방법별 차이 SofT-GRPO SpaRLax STHT LEPO
soft-token 변환 Softmax Entmax Softmax Softmax
후보 수 5 32 5 30
relaxation 온도 0.1 1.0 1.0 0.5
직접 정책 경사 위치 All 답변 단계만 All 답변 단계만

💡 Key Takeaway SofT-GRPO·STHT·LEPO·SpaRLax 는 soft-CoT 메커니즘에 필요한 부분만 다릅니다. 따라서 결과 차이는 RL 알고리즘 선택이 아니라 soft-CoT 학습 방식에서 온 것으로 해석할 수 있습니다.

실험 설정과 주요 결과

평가는 수학·지식·코드 세 영역의 9개 벤치마크에서 Pass@1(단일 샘플 정확도, 같은 체크포인트로 4회 반복해 평균±표준편차)과 Pass@32(32개 샘플 중 하나라도 정답)로 수행하며, 학습 후 모델을 hard-CoT 추론과 soft-CoT 추론 두 모드로 모두 평가합니다. 가중 평균은 각 테스트셋의 데이터 수로 가중합니다.

📊 1. Pass@1 (%) — Table 1

Hard CoT 추론

방법 GSM8K MATH AIME24 AIME25 AMC23 Olym. GPQA HEval MBPP W.Avg.
Initial 80.08 75.18 15.94 20.94 59.69 26.24 20.55 55.11 58.55 59.58
Discrete-GRPO 84.42 75.97 16.98 21.25 62.11 27.31 21.26 56.23 59.45 61.90
SofT-GRPO 84.29 75.48 15.94 20.94 58.91 26.25 20.15 55.22 57.66 61.24
STHT 80.35 76.49 13.85 22.92 62.11 27.36 22.77 55.16 58.18 60.28
LEPO 83.36 76.98 19.58 21.64 61.22 26.73 22.38 56.62 59.41 61.21
SpaRLax 85.16 78.24 16.77 22.97 68.83 29.19 27.43 57.28 58.82 63.43

Soft CoT 추론

방법 GSM8K MATH AIME24 AIME25 AMC23 Olym. GPQA HEval MBPP W.Avg.
Initial 80.59 78.92 16.98 24.11 67.97 29.75 32.62 58.38 60.70 62.33
Discrete-GRPO 84.93 79.80 16.35 25.05 68.59 30.61 32.67 59.98 61.52 64.58
SofT-GRPO 84.96 79.15 17.81 23.18 66.56 30.34 33.43 59.78 60.60 64.35
STHT 80.45 79.43 17.19 24.32 68.98 30.63 34.77 59.17 60.35 62.70
LEPO 83.25 76.33 11.88 17.19 61.64 28.99 28.36 56.04 59.03 62.00
SpaRLax 86.34 80.01 18.33 23.39 69.84 31.20 34.72 59.82 60.83 65.42

관찰:

  • 학습 전 모델도 soft-CoT 추론이 hard-CoT 추론보다 높고(62.33 vs 59.58), 이 우위는 post-training 후에도 유지됩니다.
  • soft CoT 학습은 hard-CoT 추론에서도 이득을 줍니다. SpaRLax의 hard-CoT 63.43은 Discrete-GRPO의 61.90보다 높아, 완화된 공간에서 배운 개선이 이산 디코딩으로 전이됨을 보여줍니다.
  • SpaRLax는 두 모드 모두에서 가중 평균 1위이며, AMC23(68.83)·GPQA(27.43)에서 hard-CoT 격차가 특히 큽니다.

📈 2. Pass@32 (%) — Table 2 (가중 평균)

방법 Hard CoT Soft CoT
Initial 81.22 83.38
Discrete-GRPO 81.65 83.32
SofT-GRPO 80.14 83.32
STHT 81.28 83.41
LEPO 81.90 81.75
SpaRLax 82.21 83.56

Pass@32 는 모든 방법에서 Pass@1 보다 훨씬 높고, SpaRLax의 이득도 Pass@1 보다 작습니다. 그러나 다른 post-training 방법들은 초기 모델 대비 개선이 더 작거나 오히려 떨어지며, SpaRLax가 초기 모델 대비 평균 개선 폭이 가장 큽니다. 저자들은 이를 “적당한 RL 예산에서는 샘플링 효율은 오르지만 대규모 $k$ 해 커버리지는 넓어지지 않는다”는 선행 관찰(Yue et al., 2025; Liu et al., 2025)과 일치한다고 해석합니다.

💡 Key Takeaway 핵심 수치는 Pass@1 가중 평균 63.43 (hard) / 65.42 (soft) 입니다. 단, 동일 체크포인트를 두 모드로 평가한 것이므로 “soft 학습이 hard 추론을 망치지 않는다”는 점이 실용적으로 중요합니다.

중첩 활용 분석: Logit-Lens 개입 실험

중첩 활용(superposition utilization) 분석은 “soft token의 top-1 이외 성분이 실제로 이후 계산에 영향을 주는가”를 개입(intervention)으로 측정합니다. Rizvi-Martel et al. (2026)이 지적한 단일 토큰으로의 붕괴 여부를 확인하는 실험입니다.

🔬 1. 실험 설계

각 샘플의 각 추론 단계 $i$ 에서, 앞선 soft token $\tilde{\bm{e}}_{<i}$ 는 그대로 두고 현재 위치만 다른 두 forward pass를 수행합니다.

Pass 위치 $i$ 의 입력
A 원래 soft token $\tilde{\bm{e}}_i$
B 그 soft token의 top-1 토큰 임베딩

이렇게 하면 한 단계에서 top-1 이외 성분의 효과만 분리됩니다. 각 Transformer 층 $\ell$ 의 hidden state $\bm{h}_i^{(\ell)}$ 를 unembedding 행렬 $\bm{U}$ 로 어휘 공간에 투영하고(Logit Lens),

\[\bm{p}_i^{(\ell)} = \operatorname{softmax}(\bm{U}\bm{h}_i^{(\ell)})\]

두 pass 사이의 대칭 KL 발산과 hidden state의 코사인 유사도를 계산합니다. 모든 추론 단계·샘플에 대해 계산한 뒤 층별로 평균합니다.

📊 2. 해석과 결과

지표 값이 의미하는 것
대칭 KL ↑ top-1 이외 성분이 이후 계산을 더 많이 바꿈 → 중첩 활용 ↑
코사인 유사도 ↓ 같은 의미

Fig. 2 에서 SpaRLax는 모든 디코더 층에 걸쳐 SofT-GRPO와 Discrete-GRPO보다 KL이 크고 코사인이 낮습니다. 즉 soft-token 혼합에 남아 있는 정보를 더 강하게 사용합니다.

⚠️ 3. 저자가 인정한 한계

이 개입은 중첩 활용의 간접 지표입니다. 비(非) top-1 성분이 downstream 계산에 측정 가능한 영향을 준다는 것은 보이지만, 탐색 중 여러 궤적이 실제로 사용되는지를 완전히 보이지는 못합니다. 저자들은 향후 외판원 문제(TSP) 같은 탐색 과제에서 중첩의 역할을 살피겠다고 밝힙니다.

💡 Key Takeaway 이 실험은 Mechanistic Interpretability 도구(Logit Lens + 단일 위치 개입)를 학습 방법의 효과 검증에 쓴 사례입니다. “성능이 올랐다”가 아니라 “혼합 성분이 내부 표현을 실제로 바꾼다”를 보여 붕괴 가설에 답합니다.

적응적 희소성의 효과: 후보 집합 크기 ablation

후보 집합 크기 실험은 “softness는 단계에 따라 달라야 한다”는 가설을 검증합니다. $k$ 를 최대 후보 예산으로 고정하고, 그 안에서 softmax와 entmax가 어떻게 다르게 행동하는지 비교합니다.

🧪 1. 설정

항목 값
후보 집합 크기 $k\in{2,4,8,16,32}$
비교 변환 softmax (유지된 모든 후보에 양의 확률) vs entmax (상대 점수에 따라 support 추가 축소)
학습 데이터 GSM8K, 본 실험과 동일 설정
최대 응답 길이 2,048 토큰 (계산 효율)
지표 검증 시점마다 4회 rollout 평균 Pass@1

📉 2. 결과 (Fig. 3)

변환 $k$ 증가에 따른 거동
softmax $k$ 에 점점 민감해지며, 큰 후보 집합에서 성능이 크게 하락
entmax $k$ 가 커질수록 성능이 상당히 향상

해석은 다음과 같습니다. 큰 후보 집합은 필요할 때 추가 대안을 제공하고, entmax는 확신 있는 단계에서 불필요한 성분을 억제합니다. 즉 RL 학습은 모든 후보를 soft token에 강제로 참여시키지 않으면서 더 큰 후보 풀의 이득을 얻습니다. 저자들은 softmax가 큰 $k$ 에 취약하다는 점이 SofT-GRPO·STHT가 작은 $k$(5)를 택한 이유일 수 있다고 추측합니다.

💡 Key Takeaway 같은 $k=32$ 라도 softmax는 32개 전부를 섞고 entmax는 “지금 필요한 만큼만” 섞습니다. 이 ablation이 SpaRLax에서 $k=32$ 를 쓸 수 있었던 근거입니다.

관련 연구와의 위치

SpaRLax는 RL 추론, soft reasoning, soft CoT RL 학습 세 갈래의 교차점에 있습니다.

🗺️ 1. 세 갈래 정리

갈래 대표 연구 핵심 문제 SpaRLax의 관계
RL 추론 (RLVR) GRPO, DAPO, REINFORCE++, GSPO 이산 토큰 샘플링 탐색이 비효율적이고, RL이 유용한 저확률 대안을 억제해 궤적 다양성이 줄어듦 정책 최적화 규칙은 그대로 쓰고 탐색 공간을 soft token으로 확장
Soft reasoning COCONUT(내부 hidden), CODI, soft-token 혼합(Zhang et al.), Multiplex thinking 연속 표현으로 여러 경로를 중첩·병렬 추적 어휘 임베딩 혼합 계열을 채택해 사전학습 토큰 공간에 고정(anchor)
Soft CoT RL 학습 SofT-GRPO, STHT, LEPO 사전학습 LLM은 연속 혼합을 활용하도록 훈련된 적 없음 기존 방법이 놓친 연속 soft token 간 미분 가능 의존성을 통해 보상 credit 전파

🔗 2. 세부 계보

  • soft-token 혼합의 확장: 다양화된 test-time 추론(Xu et al., 2025a), 불확실성 인식 활성화(Fu and Luo, 2026; Xu et al., 2026), soft-token 붕괴를 완화하는 확률적 섭동(Wu et al., 2026b).
  • entmax 계보: sparsemax(Martins and Astudillo, 2016) → $\alpha$-entmax(Peters et al., 2019) → Adaptively Sparse Transformers(Correia et al., 2019), 가속(Tezekbayev et al., 2022), AdaSplash fused kernel(Gonçalves et al., 2025). 논문은 향후 fused kernel 적용을 언급합니다.
  • 그래디언트 이식의 뿌리: surrogate-gradient / straight-through(Bengio et al., 2013; Wang et al., 2021), 미분 가능한 scheduled sampling(Goyal et al., 2017).

💡 Key Takeaway 방법론적 신규성은 “새 모듈”이 아니라 기존 조각(Gumbel-softmax, entmax, straight-through)을 soft CoT의 미분 가능 구조에 맞게 재배치한 데 있습니다.

한계와 열린 질문

저자가 명시한 한계는 두 가지이며, 본문에서 드러나는 추가 제약도 함께 정리합니다.

⚠️ 1. 저자가 밝힌 한계 (§8)

항목 내용
중첩 활용의 간접성 Logit-Lens 개입은 비 top-1 성분의 영향력을 보이지만, 탐색 중 복수 궤적이 실제로 쓰이는지는 완전히 입증하지 못함. TSP 같은 탐색 과제로 확장 예정
규모와 일반화 베이스 모델 1개(1.5B), RL 코퍼스 1개(DAPO-MATH-17k)로만 실험. 다양한 LLM·코퍼스 실험은 비용상 불가. 다만 모델·데이터·RL 알고리즘을 모든 비교 방법에 고정해 학습 메커니즘 효과를 분리했고, 여러 영역에서 일관된 개선을 근거로 제시. 스케일링은 “대형 기술 기업에 맡긴다”고 명시

🔍 2. 본문에서 읽히는 추가 제약

  • Proxy Gradient Grafting은 한 단계 앞까지만 명시적 cross-step 그래디언트를 전달합니다. 더 먼 단계는 attention을 통한 간접 경로에 의존하며, Full 버전(Algorithm 1)과의 성능 비교는 본문에 보고되지 않았습니다.
  • 메모리 때문에 전체 어휘가 아닌 top-32 후보 위에서 entmax를 적용합니다. 이론적 정식화(전체 어휘)와 실제 구현 사이에 절단이 있습니다.
  • Pass@32 개선 폭이 작아, 이 방법이 해 커버리지 확장보다는 샘플링 효율 개선에 가깝다는 해석이 가능합니다.
  • $\alpha=1.5$ 하나만 사용했고 $\alpha$ 에 대한 ablation은 없습니다. 선택 근거는 선행 연구 관례와 전용 정확 알고리즘의 존재입니다.

💡 Key Takeaway 결과는 통제된 비교 안에서 일관되지만, 1.5B 단일 모델·단일 코퍼스라는 범위를 넘어서는 일반화는 아직 열려 있습니다. 특히 “중첩이 탐색에 실제로 기여하는가”는 저자 스스로 미해결로 남겨 두었습니다.