0. Summary

기본 정보 : ArXiv,2026.10.15, Diffusion Language Models as Open Quantum Systems

연구 배경

디퓨전 언어 모델(diffusion language model)은 토큰 시퀀스 위의 고전적 확산 과정을 거꾸로 되돌려 텍스트를 생성한다. 이 과정은 비평형 통계역학의 확률 과정과 깊이 연결되어 있고(Sohl-Dickstein et al., 2015), 경로적분이나 속도-정확도 트레이드오프 같은 물리 개념으로 디퓨전 모델을 분석하는 연구가 늘고 있다. 그런데 기존 디퓨전 모델은 고전적 열적 시스템(thermal system)의 유사체 로만 다루어져 왔다. 열적 시스템의 동역학은 더 일반적인 양자 틀 안에서 기술될 수 있으므로, 디퓨전 언어 모델도 그 상위 틀에 놓일 수 있는지, 놓인다면 고전 틀에서는 불가능했던 어떤 생성 방식이 열리는지가 비어 있는 질문이었다. 한편 마스크 디퓨전은 한 번 드러낸 토큰을 다시 고칠 수 없다는 구조적 제약이 있어, 신뢰도 기반으로 일부 토큰을 다시 가리는 리마스킹(remasking) 기법이 경험적으로 제안되어 왔지만(Nie et al., 2025; Hong et al., 2026), 그것이 원리적으로 어디서 나오는지에 대한 설명은 없었다.

제안 방법

연속시간 이산 디퓨전의 순방향·역방향 마스터 방정식을 린블라드 방정식(Lindblad equation) 에 정확히 임베딩한다. 토큰 시퀀스를 힐베르트 공간의 기저 상태 $\lvert m\rangle$ 로, 확률분포를 대각 밀도 연산자 $\rho_t=\sum_m p_t(m)\lvert m\rangle\langle m\rvert$ 로 두고, 해밀토니안을 0, 점프 연산자를 단일 토큰 위치에 작용하는 $\sqrt{Q^{\text{tok}}(m,n)}\lvert m\rangle\langle n\rvert$ 꼴로 고르면 린블라드 방정식이 고전 확산 방정식과 동치가 되며(Theorem 3.1), 시간 역전 린블라드 방정식의 대각 성분에서 역방향 디퓨전이 복원된다(Theorem 3.2). 이 임베딩 위에서 두 가지 확장을 만든다. 첫째, 밀도 연산자 동역학을 순수 상태의 확률적 궤적으로 표현하는 확률적 풀어내기(stochastic unraveling) 를 여러 토큰 위치를 한 번에 갱신하는 τ-leaping 풀어내기 로 구성해, 서로 다른 프롬프트나 사고(thought) 토큰으로 조건화된 문장 상태의 중첩 $\lvert\psi_t\rangle=\sqrt{p_t(1)}\lvert\text{Prompt 1}\cdots\rangle+\sqrt{p_t(2)}\lvert\text{Prompt 2}\cdots\rangle$ 을 진화시킨 뒤 Born 규칙으로 측정하는 Superposition of Prompts(SoP) 와 Superposition of Thoughts(SoT) 를 제안한다. 둘째, 마스크 토큰을 바닥 상태로 보는 열적 해석에서 마스크 → 토큰 방향의 작은 점프 연산자 $\sqrt{\gamma}\lvert i\rangle\langle 0\rvert$ 를 섭동으로 더하면 역과정에서 모델이 현재 토큰을 복원할 확신이 낮을수록 높은 비율로 다시 가리는 규칙이 유도된다는 Quantum-Inspired Remasking(QIR) 을 제안한다.

발견 사실

SEDD-small로 숲/눈 프롬프트 쌍을 중첩시켜 생성했을 때, 최종 측정에서 숲이 선택된 출력은 눈 참조 텍스트와의 코사인 유사도가 0.3898(숲 단독)에서 0.4477로, 눈이 선택된 출력은 숲 참조와의 유사도가 0.3898에서 0.4294로 올랐다(Table 5). 선택되지 않은 조건의 정보가 최종 출력에 남는다는 뜻이다. iLLaDA-8B-Instruct로 사고 토큰을 중첩한 SoT에서는 “여름 숲”과 “얼어붙은 툰드라”라는 상충하는 문체 제약이 한 서사 안에 융합된 샘플이 나왔다(Table 1). 성분 가중치는 갱신 지수 $\beta$ 가 클수록 빨리 한 성분으로 쏠리며, 균일 디퓨전이 마스크 디퓨전보다 더 빨리 쏠렸다(Figure 4–5). QIR은 SEDD-medium, RADD-medium, iLLaDA-8B-Base에서 생성 중반(t ≤ 0.5)부터 켰을 때 Qwen3-32B 쌍대 평가 선호도 각각 62.0%, 62.4%, 61.8%로 리마스킹 없는 기준선을 넘었고, 더 일찍 켜면 생성 퍼플렉시티는 더 낮아지고(SEDD 33.12 → 12.24) CoLA 점수는 오르지만 토큰 엔트로피가 떨어지고 7-gram 반복이 1.4~4.0 퍼센트포인트 늘며 선호도는 오히려 낮아졌다(Table 2). 낮은 퍼플렉시티와 높은 문법 수용성이 더 나은 텍스트 품질로 직결되지 않는다는 것이 QIR 실험의 교훈이다.

핵심 기여

  1. 이론적 임베딩 : 연속시간 이산 디퓨전 언어 모델을 린블라드 방정식에 정확히 임베딩하고, 역방향 디퓨전이 시간 역전 동역학의 대각 성분 에서 복원됨을 증명했다(Theorem 3.1–3.2). 균일 디퓨전, 마스크 디퓨전, 섭동된 마스크 디퓨전이 각각 어떤 점프 연산자에 대응하는지도 명시했다(Eq. 11–13). Nasu et al.(2025)의 준고전 근사와 달리 정확한 임베딩이다.
  2. 중첩 기반 생성 (SoP / SoT) : 여러 위치를 한 번에 갱신하는 τ-leaping 풀어내기(Theorem D.10)로 문장 상태의 중첩을 진화시키고 Born 규칙으로 측정하는 샘플링 절차를 만들었다. 실험에서 최종 측정에 선택되지 않은 프롬프트나 사고의 정보가 출력에 보존됨을 보였다.
  3. 양자 영감 리마스킹 (QIR) : 마스크 디퓨전 동역학을 섭동해 신뢰도 기반 리마스킹 규칙을 유도 했고, 재학습 없이 적절한 시점에 적용하면 LLM 평가 텍스트 품질이 개선되는 반면 너무 일찍 적용하면 퍼플렉시티는 내려가도 반복이 늘어남을 보였다.

관련 개념

열적 시스템에서 양자 시스템으로: 왜 디퓨전을 양자 틀에 놓는가

물리학에서 열적 시스템(thermal system) 은 수많은 미시 입자가 끊임없이 충돌하며 열과 에너지를 주고받는 체계입니다. 디퓨전 모델은 이 열적 시스템의 고전적 유사체 로 이해되어 왔습니다. 이 논문의 출발점은 “고전 열역학은 양자 동역학의 특수한 경우이므로, 디퓨전 모델도 그 상위 틀에 올려놓을 수 있지 않은가”라는 질문입니다.

💨 1. 잉크 비유로 보는 열적 확산과 디퓨전 모델

단계 물에 떨어진 잉크 디퓨전 모델
시작 잉크가 한 점에 조밀하게 뭉쳐 있음 깨끗한 이미지 또는 문장
과정 물 분자의 열운동으로 잉크가 퍼짐 데이터에 노이즈를 단계적으로 섞음 (순방향)
종료 물 전체에 고르게 퍼진 평형 상태 완전한 노이즈 (텍스트에서는 모두 마스크된 시퀀스)
생성 열운동을 거꾸로 돌려 잉크를 다시 모음 노이즈에서 데이터를 복원 (역방향)

역방향 과정에 쓰이는 수학은 열역학 계에서 입자 분포의 변화를 기술하는 마스터 방정식·확률 미분 방정식과 같습니다. 이것이 디퓨전 모델을 “고전적 열적 시스템의 모사”라고 부르는 이유입니다.

⚛️ 2. 닫힌 양자계와 열린 양자계

키워드 닫힌 양자계 열린 양자계
상태 기술 파동함수 $\lvert\psi\rangle$ (순수 상태) 밀도 연산자 $\rho$ (혼합 상태 포함)
정보 흐름 내부에 보존 환경으로 유출되거나 환경에서 유입
시간 진화 가역적, 슈뢰딩거 방정식 비가역적, 린블라드 방정식
중첩 유지됨 환경과의 상호작용으로 깨짐 (결어긋남, decoherence)
실재성 이상화 현실의 모든 양자계

디퓨전 과정은 환경(노이즈)과 상호작용하며 정보를 잃어가는 비가역적 과정이므로, 놓인다면 열린 양자계 쪽입니다.

🔗 3. 고전 확률분포는 밀도 연산자의 대각 성분

핵심 관찰은 간단합니다. 문장 기저 ${\lvert m\rangle}_{m\in\mathcal{V}^N}$ 가 주어지면 시퀀스 위의 확률분포 $p_t(m)$ 은 대각 밀도 연산자 로 임베딩됩니다(Eq. 5).

$$\rho_t=\sum_{m\in\mathcal{V}^N}p_t(m)\,\lvert m\rangle\langle m\rvert$$

따라서 이산 디퓨전은 열린 양자계 동역학을 대각 성분으로 제한한 것 으로 볼 수 있고, 대각 성분 바깥으로 나가는 것은 토큰 시퀀스의 결맞은 중첩(coherent superposition) 을 허용하는 것과 같습니다. 중첩은 연결(concatenation)과 근본적으로 다릅니다. 문장들이 긴 텍스트의 연속된 부분이 되는 것이 아니라, 하나의 양자 상태 안에서 서로 구별되는 대안 으로 남습니다(Figure 1).

💡 Key Takeaway 고전 디퓨전은 밀도 연산자의 대각선 위에서만 움직이는 열린 양자계입니다. 대각선을 벗어나는 순간 문장의 중첩 이라는 새로운 상태 공간이 열립니다.

린블라드 방정식과 이산 디퓨전의 정확한 임베딩

린블라드 마스터 방정식(Lindblad master equation) 은 마르코프적 열린 양자계의 상태 $\rho_t$ 가 시간에 따라 어떻게 변하는지 기술하는 가장 일반적인 방정식입니다(Gorini et al., 1976; Lindblad, 1976). 이 논문의 첫 번째 결과는 디퓨전 언어 모델이 이 방정식의 특수한 경우 라는 것을 점프 연산자를 명시적으로 구성해 보인 것입니다.

🧮 1. 이산 디퓨전의 마스터 방정식 (Section 2.1)

길이 $N$ 의 토큰 시퀀스 $m,n\in\mathcal{V}^N$ 위에서 순방향 과정은 전이율 행렬 $Q_t$ 로 기술됩니다(Eq. 1).

$$\frac{d}{dt}p_t(m)=\sum_{n\in\mathcal{V}^N}Q_t(m,n)\,p_t(n),\qquad Q_t(m,n)\ge0\ (m\neq n),\quad \sum_{m}Q_t(m,n)=0$$

역방향 과정은 각 전이를 뒤집고 확률 비율로 가중한 생성자를 씁니다(Eq. 2).

$$-\frac{d}{dt}p_t(m)=\sum_{n}\tilde Q_t(m,n)\,p_t(n),\qquad \tilde Q_t(m,n)=Q_t(n,m)\,\frac{p_t(m)}{p_t(n)}\ (m\neq n)$$

비율 $p_t(m)/p_t(n)$ 이 구체적 점수(concrete score) 이며(Lou et al., 2024), 모델이 추정하도록 학습되는 양입니다. 한 번의 전이가 하나의 토큰 위치만 바꾼다고 두면 생성자는 위치별로 인수분해됩니다(Eq. 3–4).

$$Q_t(m,n)=\sigma(t)\sum_{p=1}^{N}\mathbb{1}{m{-p}n_{-p}}\,Q^{\text{tok}}(m_p,n_p),\qquad \tilde Q^{(p)\text{tok}}t(m_p,n)=Q^{\text{tok}}(n_p,m_p)\,\underbrace{\frac{p_t(n^{p\to m_p})}{p_t(n)}}{s(n,t)_{p\to m_p}}$$

여기서 $\sigma(t)$ 는 시간 의존 전이율, $\mathbb{1}{m{-p}n_{-p}}$ 는 $p$ 번째를 제외한 모든 위치에서 $m,n$ 이 같을 때 1, $n^{p\to m_p}$ 는 $n$ 의 $p$ 번째 토큰을 $m_p$ 로 바꾼 시퀀스입니다. 모델은 단일 토큰 변경에 대한 점수 $s(n,t)_{p\to m_p}$ 만 추정하면 됩니다.

⚛️ 2. 린블라드 방정식의 구조 (Section 2.2)

$$\frac{d}{dt}\rho_t=-i[H_t,\rho_t]+\sum_\mu\Big(L^\mu_t\rho_t L^{\mu\dagger}_t-\tfrac12{L^{\mu\dagger}_tL^\mu_t,\rho_t}\Big)$$

항 이름 의미
$-i[H_t,\rho_t]$ 해밀토니안 항 결맞은(coherent) 유니타리 진화
$\sum_\mu(\cdots)$ 소산자(dissipator) 점프 연산자 $L^\mu_t$ 가 유도하는 환경과의 비가역적 전이

린블라드 방정식은 $\rho_t$ 의 양성과 단위 대각합(trace)을 보존하므로 고전 마스터 방정식의 양자 유사체입니다. 시간 역전 연산자 $\tilde H_t,\tilde L^\mu_t$ 를 정의해 역방향 린블라드 방정식도 쓸 수 있으며(Eq. 7, Theorem C.6), 대각 임베딩에 대해서는 이것이 역방향 이산 디퓨전으로 환원됩니다.

📐 3. Theorem 3.1: 순방향 임베딩

$\mu=(p,m,n)$ 으로 색인되는 점프 연산자를 다음과 같이 두면,

$$H_t=0,\qquad L^{\mu=(p,m,n)}t=I\otimes\cdots\otimes\underbrace{\sqrt{\sigma(t)}\,L^{\text{tok}}{m,n}}{p\text{번째}}\otimes\cdots\otimes I,\qquad L^{\text{tok}}{m,n}=\sqrt{Q^{\text{tok}}(m,n)}\,\lvert m\rangle\langle n\rvert\ (m\neq n)$$

린블라드 방정식(Eq. 6)은 인수분해된 고전 확산 방정식(Eq. 1, 3)과 동치가 됩니다(Eq. 8–9). 해밀토니안이 0이라는 점이 중요합니다. 디퓨전 언어 모델은 결맞은 진화가 전혀 없는 순수 소산 동역학이며, 모든 변화가 토큰 하나를 바꾸는 “양자 점프”로 이루어집니다.

📐 4. Theorem 3.2: 역방향 임베딩

같은 설정에서 시간 역전 연산자는

$$\tilde H_t=0,\qquad \tilde L^{\mu=(p,m,n)}t=\sum{k\in\mathcal{V}^N}\lvert k_1\rangle\langle k_1\rvert\otimes\cdots\otimes\sqrt{\sigma(t)}\,\tilde L^{(p)\text{tok}}_{m,n,t}(k)\otimes\cdots\otimes\lvert k_N\rangle\langle k_N\rvert$$

$$\tilde L^{(p)\text{tok}}{m,n,t}(k)=\sqrt{\tilde Q^{(p)\text{tok}}(n,k)}\,\mathbb{1}{mk_p}\lvert n\rangle\langle k_p\rvert=\sqrt{Q^{\text{tok}}(k_p,n)\,\frac{p_t(k^{p\to n})}{p_t(k)}}\;\mathbb{1}_{mk_p}\lvert n\rangle\langle k_p\rvert$$

이며, 이 연산자로 시간 역전 린블라드 방정식(Eq. 7)은 Eq. 4의 생성자를 가진 역방향 디퓨전(Eq. 2)을 재현합니다(Eq. 10). 역방향 점프 연산자는 문맥 $k$ 전체에 의존 합니다. 순방향은 각 위치가 독립적으로 노이즈를 받지만, 역방향은 나머지 토큰을 보고 비율을 계산해야 하므로 위치별 연산자가 다른 위치의 사영 연산자와 텐서곱으로 묶입니다.

🔀 5. 세 가지 디퓨전 설정의 점프 연산자 (Eq. 11–13)

설정 순방향 $L^{\text{tok}}$ 역방향 $\tilde L^{(p)\text{tok}}(k)$ 열적 해석
균일 디퓨전 $\lvert m\rangle\langle n\rvert$, $Q^{\text{tok}}(m,n)=1$ $\sqrt{p_t(k^{p\to n})/p_t(k^{p\to m})}\,\mathbb{1}_{mk_p}\lvert n\rangle\langle m\rvert$ 같은 에너지 상태 간 양방향 전이
마스크 디퓨전 $\lvert 0\rangle\langle i\rvert$ ($i\neq0$), $Q^{\text{tok}}(0,i)=1$ $\sqrt{p_t(k^{p\to i})/p_t(k^{p\to 0})}\,\mathbb{1}_{0k_p}\lvert i\rangle\langle 0\rvert$ 마스크 $\lvert0\rangle$ 이 낮은 에너지. 에너지 갭이 온도보다 크면 상향 전이 억제. 마스크 디퓨전은 상향 전이가 완전히 없는 극한
섭동된 마스크 디퓨전 $\sqrt{\gamma}\,\lvert i\rangle\langle 0\rvert$, $0\le\gamma\le1$ $\sqrt{\gamma}\sqrt{p_t(k^{p\to 0})/p_t(k^{p\to i})}\,\mathbb{1}_{ik_p}\lvert 0\rangle\langle i\rvert$ $\gamma$ 가 에너지 갭을 조절. $\gamma=1$ 이면 갭이 닫힘. $\gamma\approx0$ 이면 마스크 디퓨전에 작은 섭동을 더한 것

세 번째 행이 후반부 QIR의 출발점입니다. 마스크를 바닥 상태로 보는 열적 그림에서 “온도를 조금 올리는 것”이 곧 리마스킹입니다.

💡 Key Takeaway 해밀토니안 0, 토큰 하나를 바꾸는 점프 연산자라는 두 선택만으로 디퓨전 언어 모델은 린블라드 방정식의 정확한 특수 경우가 됩니다. 균일/마스크/섭동된 마스크 디퓨전은 점프 연산자의 방향과 크기만 다릅니다.

확률적 풀어내기와 τ-leaping: 중첩 상태를 시뮬레이션하는 법

확률적 풀어내기(stochastic unraveling) 는 밀도 연산자의 린블라드 동역학을 무작위 순수 상태 궤적의 앙상블 로 표현하는 양자광학의 확립된 기법입니다(Carmichael, 1993; Dalibard et al., 1992). Fokker-Planck 방정식을 직접 푸는 대신 확률 미분 방정식의 궤적을 시뮬레이션하는 것과 같은 발상입니다. 디퓨전 언어 모델에서 토큰 시퀀스 위의 마르코프 과정을 시뮬레이션하는 것의 열린 양자계 대응물이며, 이것이 있어야 중첩 상태로 샘플링할 수 있습니다.

🌊 1. 무한소 풀어내기 (Eq. 14)

확률적 시간 진화 연산자는 상태 벡터를 다음과 같이 갱신합니다.

$$\lvert\psi_{t-dt}\rangle=\tilde U^{\text{eff}}{t-dt\mid t}\lvert\psi_t\rangle\propto\big(1-i\tilde H^{\text{eff}}_t\,dt\big)\lvert\psi_t\rangle+\sum\mu\big(\tilde L^\mu_t-1\big)\,dN^\mu_t\,\lvert\psi_t\rangle,\qquad \tilde H^{\text{eff}}t=-\frac{i}{2}\sum\mu\tilde L^{\mu\dagger}_t\tilde L^\mu_t$$

$dN^\mu_t$ 는 여러 점프 과정입니다. 점프가 없으면 비에르미트 유효 해밀토니안이 상태를 부드럽게 감쇠시키고, 점프가 일어나면 $\tilde L^\mu_t$ 가 상태를 바꿉니다. 그러나 이 형태를 그대로 쓰면 이산 디퓨전의 순진한 시뮬레이션과 같은 이유로 비효율적입니다. 한 스텝에 하나의 토큰 위치 만 바뀌기 때문입니다.

⏩ 2. τ-leaping 풀어내기 (Theorem D.10, Section E.1)

이산 디퓨전의 τ-leaping 샘플러(Eq. 45)에 대응해, 한 스텝에 여러 위치를 갱신하는 풀어내기 $\lvert\psi_{t-\Delta t}\rangle=\tilde U^{\tau\text{-leap}}{t-\Delta t\mid t}\lvert\psi_t\rangle$ 를 구성합니다. $M$ 개 성분의 중첩 $\lvert\psi\rangle=\sum{i=1}^{M}\sqrt{p(i)}\,\lvert m^{(i)}\rangle$ (서로 다른 시퀀스, $\sum_i p(i)=1$)에 대한 한 스텝은 두 단계입니다.

Step 1 (공유 무작위 변수 샘플링) : 각 위치 $p$ 마다 하나의 확률 변수 $\omega_p\in{\varnothing}\cup{(m’,n’)}$ 를 뽑습니다. 전이 $(m’_p,n’_p)$ (원천 토큰 → 목적 토큰)의 확률은 성분 가중 합입니다(Eq. 107).

$$\Pr\big[\omega_p=(m’p,n’_p)\big]=\Delta t\,\sigma(t)\sum_i p(i)\,\tilde Q^{(p)\text{tok}}(n’_p,m^{(i)})\,\mathbb{1}{m’_p m^{(i)}_p},\qquad \Pr[\omega_p=\varnothing]=1-\sum\Pr[\omega_p=(m’_p,n’_p)]$$

같은 샘플된 전이가 모든 성분에 작용 합니다. 점프는 원천 토큰 $m’_p$ 를 $n’_p$ 로 바꾸고, 그 원천과 맞지 않는 성분은 점프 가중치가 0이 됩니다. 서로 다른 위치는 같은 스텝 안에서 동시에 점프할 수 있습니다.

Step 2 (상태와 계수 결정) : 성분 $i$ 의 위치 $p$ 에 대한 계수는(Eq. 108)

$$c(i)p=\begin{cases}\sigma(t)\,\tilde Q^{(p)\text{tok}}(n’_p,m^{(i)})\,\mathbb{1}{m’_pm^{(i)}_p}, & \omega_p=(m’_p,n’_p)\[4pt] 1+\Delta t\,\sigma(t)\,\tilde Q^{(p)\text{tok}}(m^{(i)}_p,m^{(i)}), & \omega_p=\varnothing\end{cases}$$

이며, 대각 항은 열 합이 0이라는 조건 $\tilde Q^{(p)\text{tok}}(m^{(i)}p,m^{(i)})=-\sum{n\neq m^{(i)}_p}\tilde Q^{(p)\text{tok}}(n,m^{(i)})$ 로 정해집니다. 갱신된 가중치는 $p(i)\prod_p c(i)_p$ 를 정규화한 것입니다. 이 절차는 역방향 린블라드 방정식의 해를 $\Delta t$ 의 1차까지 재현합니다(Theorem D.8). 성분이 하나($\lvert\psi\rangle=\lvert m\rangle$)이면 통상의 τ-leaping과 본질적으로 같아집니다(각주 1).

🎲 3. 측정과 고전 과정과의 일치

파동함수 $\lvert\psi_t\rangle$ 는 일반적으로 여러 문장의 중첩이므로 마지막에 사영 측정 이 필요합니다. Born 규칙에 따라 문장 $m^{(i)}$ 가 측정될 확률은 계수의 제곱 $p(i)$ 입니다. $\lvert n\rangle$ 에서 출발해 $t$ 에서 $s$ 까지 풀어내기로 진화시킨 뒤 측정하면, 대응하는 고전 디퓨전 과정과 같은 확률 로 $m$ 을 얻습니다(Section D.3). 순방향과 역방향 모두에서 성립합니다. 즉 단일 성분에서 출발하면 양자 정식화는 고전 샘플링에 아무것도 더하거나 빼지 않으며, 차이는 오직 중첩에서 출발할 때 생깁니다(Figure 2).

🧊 4. 가중치 갱신의 온도 조절 $\beta$ (Eq. 109–110)

실제 구현에서 성분 가중치 $p(i)$ 는 학습된 모델 출력에 따라 매우 빠르게 한 성분으로 쏠릴 수 있어, 중첩 효과가 디노이징 초반에 사라질 수 있습니다. 이를 완화하기 위해 로그 영역에서 지수 $\beta\ge0$ 로 우도 인자를 완화합니다.

$$\ell_i=\log\max{p(i),\delta}+\beta\sum_p\log\max{c(i)_p,\delta},\qquad p(i)^{\text{updated}}=\frac{e^{\ell_i}}{\sum_j e^{\ell_j}},\qquad\delta=10^{-12}$$

$\beta=1$ 은 (수치 바닥을 제외하면) 원래의 갱신이고, $\beta<1$ 은 우도 인자를 부드럽게 해 한 성분으로의 집중을 늦춥니다. 두 성분의 갱신 인자 비는 $\beta\log[c(i)_p/c(j)_p]$ 로 줄어듭니다. 바닥값 $\delta$ 때문에 초기 가중치 0이 정확한 배제가 아니므로, 단일 조건 대조군은 가중치 하나를 0으로 두는 대신 $M=1$ 로 돌립니다. 구현은 정수 토큰 ID를 $(B,M,N)$ 배열, 가중치를 $(B,M)$ 배열로 저장해 위치마다 어휘 크기의 원-핫 벡터를 두지 않습니다.

💡 Key Takeaway τ-leaping 풀어내기의 핵심은 하나의 무작위 전이를 모든 중첩 성분에 공유 하고, 각 성분이 그 전이를 얼마나 잘 설명하는지로 가중치를 갱신하는 것입니다. 성분들은 독립 샘플이 아니라 서로 영향을 주며 함께 진화합니다.

Superposition of Prompts(SoP)와 Superposition of Thoughts(SoT)

SoP 는 서로 다른 프롬프트로 조건화된 문장 상태의 중첩에 확률적 풀어내기를 적용하는 생성 방식이고, SoT 는 프롬프트 자리에 추론(사고) 토큰을 넣은 변형입니다. 이 실험의 목표는 기존 조건부 생성을 능가하는 것이 아니라, 입력 상태의 중첩이 어느 한쪽이 아닌 확률적 혼합 출력으로 이어진다 는 제안 샘플링의 근본 성질을 검증하는 것입니다(Section 4.1).

🧩 1. SoP의 정의 (Eq. 15)

점수 기반 디퓨전에서 조건부 생성은 $m=[\text{Prompt}\cdots]\sim p(\cdots\mid\text{Prompt})$ 입니다. SoP는 그 대응물로 다음 상태의 역방향 동역학을 돌립니다.

$$\lvert\psi_t\rangle=\sqrt{p_t(1)}\,\big\lvert\underbrace{\text{Prompt 1}}{\text{고정}}\ \underbrace{\cdots_t}{\text{생성}}\big\rangle+\sqrt{p_t(2)}\,\big\lvert\underbrace{\text{Prompt 2}}{\text{고정}}\ \underbrace{\cdots_t}{\text{생성}}\big\rangle$$

  1. 생성 부분 $[\cdots_{t=1}]$ 을 종단 분포 $p_{t=1}$ 에서 초기화합니다(마스크 디퓨전이면 전부 마스크).
  2. Theorem D.10의 역방향 풀어내기를 $t=1$ 에서 $t\approx0$ 까지 돌립니다. 각 이산 스텝 전, 최종 성분 선택 전, 최종 디노이징 후에 접두사(와 선택적 접미사)를 복원합니다(Section E.2).
  3. $\lvert\psi_{t\approx0}\rangle$ 에 사영 측정을 적용해 $[p_{t\approx0}(1),p_{t\approx0}(2)]$ 로 한 문장을 고릅니다.
  4. 마스크 디퓨전에서는 마스크 토큰이 남을 수 있어, 선택적으로 통상의 디노이징을 한 번 더 적용합니다(각주 2).

모델은 $(BM,N)$ 으로 평탄화된 시퀀스 모음에 대해 평가되고, 결과 전이율은 성분별로 재구성되어 Eq. 107로 합쳐진 뒤 공유 전이 추출에 쓰입니다. 구성된 시퀀스 길이에는 고정 토큰이 포함되므로 접두사 길이가 다르면 생성 토큰 수도 달라집니다.

🧠 2. SoT: 사고 토큰의 중첩

$$\text{Prompt}\to\sqrt{p_t(1)}\,\big\lvert\langle\text{think}\rangle\text{Thought 1}\langle/\text{think}\rangle\ \cdots_t\big\rangle+\sqrt{p_t(2)}\,\big\lvert\langle\text{think}\rangle\text{Thought 2}\langle/\text{think}\rangle\ \cdots_t\big\rangle$$

샘플링 절차는 SoP와 완전히 같습니다. 사고는 고정되어 공급되고 모델은 닫는 태그 이후를 생성합니다. 태그 배치는 입력 형식을 지정할 뿐 모델이 실제로 추론한다는 것을 보장하지는 않지만, 추론 모드를 지원하는 모델이라면 “혼합된 사고” 출력이 기대됩니다(Section E.3).

🌲❄️ 3. 숲/눈 실험 설정과 결과 (Table 3–5, Figure 3)

항목 SoP SoT
모델 louaaron/sedd-small (마스크 디퓨전) GSAI-ML/iLLaDA-8B-Instruct
프롬프트 쌍 story__forest_snow: “Write a short story. In the forest, the tall trees are everywhere…” / “…In the deep snow, everything is white and cold…” story_reasoning__forest_snow: 〈think〉 안에 “울창한 여름 숲, 넘치는 생명, 습하고 따뜻한 공기” / “황량한 얼어붙은 겨울 툰드라, 절대적 정적, 영하의 추위”
길이 / 스텝 256 토큰, 128 스텝 —
초기 가중치 $p(1)=p(2)=1/2$ 동일
$\beta$ 0.01 0.01
리마스킹 끔 끔
평가 all-MiniLM-L6-v2 임베딩 코사인 유사도 정성적 샘플

SoP는 단일 조건 기준선 각 512개, 중첩 출력 512개(숲 선택 185, 눈 선택 327)를 생성했습니다.

생성 조건 $N$ 숲 참조와의 유사도 눈 참조와의 유사도
숲 단독 512 0.5367 ± 0.0047 0.3898 ± 0.0045
중첩, 숲 선택 $\langle\psi_0\vert\text{forest}\rangle$ 185 0.5053 ± 0.0074 0.4477 ± 0.0082
눈 단독 512 0.3898 ± 0.0045 0.5439 ± 0.0047
중첩, 눈 선택 $\langle\psi_0\vert\text{snow}\rangle$ 327 0.4294 ± 0.0062 0.5252 ± 0.0063

숲이 선택된 중첩 출력은 눈 참조와의 유사도가 0.3898 → 0.4477로, 눈이 선택된 출력은 숲 참조와의 유사도가 0.3898 → 0.4294로 올랐습니다. 선택된 조건과의 유사도는 각각 0.5367 → 0.5053, 0.5439 → 0.5252로 조금 내려갔습니다. Figure 3의 산점도에서 SoP 출력은 두 단일 프롬프트 출력의 중간 영역 을 차지합니다. 이 이동은 선택되지 않은 성분의 정보가 보존된다는 해석과 일치합니다. 다만 저자들은 코사인 유사도만으로는 모든 출력이 두 조건을 결합한다고 단정할 수 없고, 주변 불확실성만으로는 차이의 검정이 되지 않는다고 적습니다(Section F.1).

SoT의 대표 샘플(Table 1)은 “넓게 펼쳐진 숲의 벼랑 위 새벽”으로 시작해 “얼어붙은 세계의 가장자리”, “소나무 향 나는 숲의 흙”, “세상 위로 쌓이는 눈”이 한 서사 안에 섞입니다. 두 상충하는 문체 제약이 하나의 이야기로 융합된 것입니다.

📉 4. 성분 가중치의 동역학 (Section F.3, Figure 4–5)

마스크 SEDD-small과 저자들이 직접 학습한 균일 디퓨전 SEDD에 대해, 숲/도시(key__forest_city)와 과거/미래(package__past_future) 프롬프트 쌍으로 길이 512, 256 스텝, 설정당 120 궤적을 돌리고, 궤적별 두 성분 가중치의 섀넌 엔트로피 $H^{(r)}(t)=-\sum_{i}p^{(r)}_t(i)\log_2 p^{(r)}_t(i)$ 의 평균을 추적했습니다. 1비트는 균등, 0비트는 한 성분으로의 완전 집중입니다.

설정 숲/도시 최종 엔트로피 과거/미래 최종 엔트로피
$\beta=0.01$ (마스크·균일) 약 1비트 유지 약 1비트 유지
$\beta=0.1$, 마스크 SEDD 0.981 ± 0.002 0.355 ± 0.024
$\beta=0.1$, 균일 SEDD 0.975 ± 0.004 0.180 ± 0.026
  • $\beta$ 가 클수록 각 갱신의 불균형이 더 보존되어 한 성분이 더 강하게 축적됩니다. 그러나 숲/도시는 $\beta=0.1$ 에서도 거의 집중되지 않아 효과는 프롬프트 의존적 입니다.
  • 과거/미래에서 균일 SEDD는 마스크 SEDD보다 엔트로피가 더 일찍 떨어집니다. 이 조작적 의미에서 균일 디퓨전 아래의 중첩은 덜 지속적입니다(각주 3). 다만 두 모델은 사전학습 가중치가 다르므로 디퓨전 유형이 유일한 원인이라고 단정할 수 없습니다.
  • 이 엔트로피는 가중치의 균형 을 재는 것이지 결어긋남이나 생성 텍스트의 의미 내용을 재는 것이 아닙니다. 이른 집중은 두 성분이 이후 샘플링에 영향을 줄 기회가 줄어든다는 뜻이지, 억제된 조건의 정보가 최종 출력에 없다는 뜻은 아닙니다.

💡 Key Takeaway SoP/SoT에서 최종 측정에 뽑히지 않은 프롬프트나 사고의 흔적이 출력에 남습니다. 중첩 성분들은 공유 전이를 통해 서로의 생성 과정에 개입 하기 때문이며, 그 지속성은 $\beta$ 와 프롬프트, 디퓨전 유형에 따라 달라집니다.

Quantum-Inspired Remasking(QIR): 섭동이 유도하는 신뢰도 기반 리마스킹

리마스킹(remasking) 은 마스크 디퓨전에서 한 번 드러낸 토큰을 다시 가려 재생성하는 기법입니다. 표준 마스크 디퓨전은 드러낸 토큰을 수정할 수 없으므로, LLaDA는 매 스텝 신뢰도 기준으로 정해진 수의 예측만 유지하고(Nie et al., 2025), WINO는 검증 신뢰도 임계값 아래의 토큰을 다시 가립니다(Hong et al., 2026). QIR은 이런 규칙을 경험적으로 설계하는 대신 섭동된 린블라드 동역학에서 유도 합니다.

🌡️ 1. 리마스킹 = 바닥 상태에 온도를 주는 것

마스크 토큰 $[m]$ (ID 0)을 바닥 상태로 보면, 통상의 순방향 과정은 $i\neq0\to0$ 전이만 가집니다. 여기에 Eq. 13의 작은 역방향 점프 연산자 $\sqrt{\gamma}\lvert i\rangle\langle0\rvert$ ($0<\gamma\ll1$)를 더하는 것이 “온도를 조금 올리는 것”입니다. 이 섭동이 가해진 순방향 과정의 역방향 풀어내기에서는 다음 값을 계산해야 합니다(Eq. 16).

$$\frac{p_t(m^{p\to0})}{p_t(m^{p\to i})}=\left(\frac{p_t(m^{p\to i})}{p_t(m^{p\to0})}\right)^{-1}$$

분모 안의 비율 $p_t(m^{p\to i})/p_t(m^{p\to 0})$ 은 위치 $p$ 를 가렸을 때 모델이 현재 토큰 $i$ 를 복원하기를 얼마나 선호하는지 를 재는 점수입니다. 이 점수를 사전학습 모델을 $m^{p\to0}$ 에 적용해 추정하고 그 역수로 리마스킹 비율을 정합니다. 섭동이 점수 자체에 주는 변화는 $\gamma$ 가 충분히 작다는 가정 아래 무시합니다. 결과적으로 모델이 문맥에서 복원할 확신이 낮은 토큰일수록 더 높은 확률로 다시 가려집니다.

🧮 2. 구현된 리마스킹 비율 (Section E.4, Eq. 111–116)

현재 시퀀스 $m=[m_1,\dots,m_{p-1},i,m_{p+1},\dots,m_N]$ 에서 $i\neq0$ 인 위치 $p$ 가 $0$ 으로 되돌아갈 확률은 Theorem D.9에 의해

$$\tilde Q^{(p)\text{tok}}(0,m)\,\sigma(t)\Delta t=\gamma\,\frac{p_t(m^{p\to0})}{p_t(m^{p\to i})}\,\sigma(t)\Delta t=\gamma\,\Big(s_\theta(m^{p\to0},t)_{p\to i}\Big)^{-1}\sigma(t)\Delta t$$

이며 계산 절차는 세 단계입니다.

  1. 위치 $p$ 의 토큰 $i$ 를 마스크로 바꾼다: $m\to m^{p\to0}$
  2. 모델 출력 $s_\theta(m^{p\to0},t)_{p\to i}$ 를 평가한다
  3. 그 역수를 취한다 (원시 로짓이 아니라 디퓨전 점수로 변환한 뒤 역수)

마스크되지 않은 위치가 $N_{\text{unmask}}$ 개이면 후보도 그만큼이고 각각 별도의 모델 평가가 필요하므로, 비용을 줄이기 위해 $K$ 개의 비마스크 위치를 균일 샘플링 (비복원)해 그 위치에만 절차를 적용합니다. 후보별 입력은 배치로 평가합니다. 유효한 위치가 없으면 리마스킹 갱신을 건너뜁니다. iLLaDA 계열은 점수 기반으로 학습되지 않았지만 Theorem B.5와 Eq. 63으로 점수 추정기로 변환할 수 있습니다.

⏱️ 3. 적용 시점 창

역방향 시간 $t:1\to0$ 에서 임계값 $t\le\tau$ 로 리마스킹 창을 정합니다.

창 조건 1,024 스텝 기준 시작 인덱스 의미
start $t\le0.9$ 102 거의 전체 디노이징 궤적에 적용
middle $t\le0.5$ 512 생성의 후반부에만 적용
end $t\le0.1$ 921 마지막 정제 단계에만 적용
none — — 같은 풀어내기 디코더, 리마스킹 없음 (공유 대조군)

시작 이후에는 활성화된 모든 스텝에서 적용되며, 별도의 주기적 빈도는 두지 않습니다. 유한 스텝에서 목적지 질량 합이 1을 넘으면 무점프 질량을 0으로 자르고 상대 질량으로 추출하며, iLLaDA-Base 실험에서는 $\min{1,\sigma(t)\tilde Q^{(p)\text{tok}}(0,m)\Delta t}$ 로 포화시키고 그 빈도를 기록합니다.

💡 Key Takeaway QIR의 리마스킹 비율은 “가렸을 때 모델이 원래 토큰을 복원할 점수의 역수 × $\gamma$”입니다. 신뢰도 기반 리마스킹이라는 경험적 발상이 섭동된 열린 양자계의 역과정 에서 자연스럽게 유도됩니다.

QIR 실험: 시점에 따라 갈리는 품질

QIR 실험(Section 4.2, Appendix G) 은 사전학습 모델의 가중치를 바꾸지 않고 리마스킹 시작 시점만 바꾸며, 여러 지표로 텍스트 품질을 평가합니다. 핵심 발견은 퍼플렉시티가 낮다고 품질이 좋은 것이 아니다 라는 것입니다.

⚙️ 1. 설정

항목 값
모델 SEDD-medium (Lou et al., 2024), RADD-medium (Ou et al., 2025, lambda-dce 변형), iLLaDA-8B-Base (Nie et al., 2026)
생성 완전 마스크 시퀀스에서 무조건 생성
시퀀스 수 조건당 SEDD·RADD 256개, iLLaDA 128개
길이 / 스텝 1,024 토큰, 1,024 샘플링 스텝
$\gamma$ 0.02
$K$ 리마스킹 계산당 최대 8개 비마스크 위치 샘플링
검증 리마스킹 없이 돌린 구현이 같은 설정의 원 SEDD Euler 샘플러와 일치함을 확인

📏 2. 평가 지표 (Section G.2–G.3)

지표 정의 해석
GenPPL GPT-2-large로 평가한 생성 퍼플렉시티 $\exp[-\frac{1}{N-1}\sum_{i=2}^{N}\log p_{\text{GPT2}}(m_i\mid m_{<i})]$, 시퀀스별 값의 평균 낮을수록 외부 LM이 보기에 유창
토큰 엔트로피 시퀀스 내 토큰 ID 빈도의 엔트로피 토큰 다양성의 과도한 손실을 감시. 최소화할 양이 아님
CoLA 문법 수용성 점수 (Morris et al., 2020) 높을수록 문법적
Qwen (%) Qwen3-32B가 같은 체크포인트·같은 시드의 기준선과 유창성·일관성·전개·반복을 비교. 생성 방법은 알려 주지 않음. 승 1, 무 1/2, 패 0, 제시 순서 양방향 평균 50% 초과이면 리마스킹 선호
$\Delta R_n$ (pp) 같은 시드의 무리마스킹 대비 반복 $n$-gram 비율 차이, 128 토큰 창 평균, 퍼센트포인트 $n=2,\dots,8$ 평가, $n=7$ 대표 보고

📊 3. 결과 (Table 2, $\gamma=0.02$)

모델 지표 none end middle start
SEDD-medium GenPPL 33.12 ± 0.58 32.73 ± 0.57 27.52 ± 0.43 12.24 ± 0.26
  Entropy 7.57 ± 0.02 7.57 ± 0.02 7.52 ± 0.03 6.42 ± 0.05
  CoLA 0.285 ± 0.006 0.285 ± 0.006 0.335 ± 0.006 0.336 ± 0.007
  Qwen (%) – 51.5 ± 0.8 62.0 ± 1.3 53.3 ± 1.9
  $\Delta R_7$ (pp) 0.000 −0.005 ± 0.004 0.025 ± 0.013 1.405 ± 0.210
RADD-medium GenPPL 33.66 ± 0.60 33.34 ± 0.59 28.08 ± 0.44 13.71 ± 0.28
  Entropy 7.59 ± 0.02 7.58 ± 0.02 7.53 ± 0.02 6.55 ± 0.05
  CoLA 0.281 ± 0.005 0.282 ± 0.005 0.316 ± 0.006 0.328 ± 0.007
  Qwen (%) – 49.5 ± 0.8 62.4 ± 1.3 58.0 ± 1.8
  $\Delta R_7$ (pp) 0.000 0.002 ± 0.007 0.007 ± 0.010 1.258 ± 0.333
iLLaDA-8B-Base GenPPL 21.14 ± 1.56 21.25 ± 1.57 19.83 ± 1.48 18.19 ± 6.58
  Entropy 6.46 ± 0.08 6.46 ± 0.08 6.43 ± 0.07 5.70 ± 0.09
  CoLA 0.460 ± 0.019 0.466 ± 0.019 0.487 ± 0.018 0.563 ± 0.019
  Qwen (%) – 50.0 ± 1.4 61.8 ± 1.9 55.7 ± 2.5
  $\Delta R_7$ (pp) 0.000 −0.072 ± 0.054 −0.081 ± 0.113 4.042 ± 0.531

🔍 4. 해석

  • middle이 최적 : 생성 중반부터 QIR을 켜면 세 모델 모두에서 Qwen 선호도가 약 62%로 평가된 시점 중 가장 높습니다. 재학습 없이 심사자 평가 품질이 개선됩니다.
  • start는 퍼플렉시티의 함정 : 더 일찍 켜면 GenPPL이 크게 떨어지고(SEDD 33.12 → 12.24) CoLA도 오르지만, 토큰 엔트로피가 줄고 7-gram 반복이 1.3~4.0 pp 늘며 선호도는 middle보다 낮습니다. 반복 증가는 다른 $n$-gram 길이에서도 관찰됩니다(Appendix G.4, Figure 7). 확신이 낮은 토큰을 계속 다시 가리면 모델은 안전하고 반복적인 토큰으로 수렴하는 것입니다.
  • end는 거의 효과 없음 : 마지막 10%에서만 켜면 모든 지표가 기준선과 비슷합니다.
  • 결론적으로 낮은 생성 퍼플렉시티와 높은 문법 수용성이 더 나은 전체 텍스트 품질로 이어지지 않습니다. 텍스트 품질은 퍼플렉시티 너머에서 평가되어야 합니다.

💡 Key Takeaway QIR은 “언제 켜느냐”가 결정적입니다. 중반 이후에 켜면 심사자 선호도가 약 62%로 오르고, 처음부터 켜면 퍼플렉시티는 1/3로 떨어지지만 반복이 늘어 오히려 선호되지 않습니다.

한계와 열린 방향

한계(Appendix H) 와 결론(Section 5) 에서 저자들이 밝힌 내용에, 관련 연구와의 위치와 이 글의 관점에서 본 논점을 덧붙입니다.

🗂️ 1. 관련 연구 속 위치

계열 대표 연구 본 논문과의 관계
연속시간 이산 디퓨전 Campbell et al.(2022), Sun et al.(2023), Lou et al.(2024) 수학적 토대. 특히 Lou et al.의 점수 추정 정식화 위에 임베딩
마스크 디퓨전 LLM LLaDA (Nie et al., 2025), iLLaDA (Nie et al., 2026), RADD (Ou et al., 2025) 실험 대상. RADD의 시간 독립 모델링, iLLaDA의 점수 변환(Theorem B.5) 활용
리마스킹 LLaDA의 신뢰도 유지, WINO (Hong et al., 2026), ReMDM (Wang et al., 2026) 경험적 규칙 대신 섭동 동역학에서 비율 유도. WINO의 섀도 토큰 기법으로 가속 가능성 언급(각주 7)
디퓨전과 물리 Hirono et al.(2024, 경로적분), Ikeda et al.(2024), Yu & Huang(2024) 비평형 통계역학 관점의 연장선
린블라드와 역확산 Nasu et al.(2025) 준고전 근사로 연결. 본 논문은 정확한 임베딩 이며 샘플링 절차까지 개발
양자 생성 모델 양자 볼츠만 머신, 변분 양자 회로 확률분포를 양자 상태로 표현하고 측정으로 샘플링하는 발상 공유

⚠️ 2. 저자들이 명시한 한계

  • 계산 비용 : QIR은 리마스킹 비율 추정을 위해 후보 위치마다 추가 모델 평가가 필요합니다. $K=8$ 샘플링으로 줄였지만 오버헤드를 줄이는 것은 열린 문제입니다.
  • 평가 범위 : 실험은 여기서 다룬 사전학습 모델과 생성 설정에 한정됩니다. 더 큰 규모와 조건부 생성 에서의 효과는 확립되지 않았습니다.
  • 양자 이점의 부재 : 틀은 양자 동역학으로 정식화되어 있지만, 양자 가속(speedup)을 확립하거나 효율적인 양자 회로 구현을 제시하지는 않습니다.

🔭 3. 저자들이 제시한 전망

  • 리마스킹 비용 절감과 조건부 생성으로의 평가 확장
  • 중첩과 간섭(interference) 이 생성에서 능동적 역할을 하는 양자 네이티브 언어 모델. 여러 후보 시퀀스를 결맞게 진화시키고 간섭이 결과 텍스트의 확률을 형성하는 모델은 고전 디퓨전 너머의 생성 메커니즘이 될 수 있다는 전망
  • 고전 하드웨어 위의 새로운 샘플링 방법과 미래의 양자 컴퓨터 구현 양쪽을 설계 공간으로 제시

🤔 4. 이 글의 관점에서 본 추가 논점

  • “양자”의 실질적 역할 : 임베딩에서 해밀토니안은 0이고 모든 동역학은 소산적이므로, 현재 제안된 SoP/SoT는 사실상 공유 전이를 가진 가중 성분 앙상블 로 고전적으로 기술될 수 있습니다. 비대각 결맞음(coherence)이 생성에 실제로 기여하려면 저자들이 전망한 간섭 항, 즉 0이 아닌 해밀토니안이 필요합니다. 논문도 이를 “열린 설계 공간”으로 솔직히 적고 있습니다.
  • SoP 결과의 통계적 강도 : 유사도 이동은 일관되지만, 저자들 스스로 밝히듯 SEM만으로는 차이의 검정이 되지 않으며 모든 출력이 두 조건을 결합한다는 보장도 없습니다. 선택 비율이 185:327로 비대칭인 이유(눈 프롬프트가 더 자주 지배)도 분석되지 않았습니다.
  • $\beta$ 의 성격 : 가중치 갱신의 완화 지수 $\beta=0.01$ 은 풀어내기의 정확한 Lindblad 재현에서 벗어나는 수정입니다. 중첩이 유지되는 것이 물리적 동역학의 결과인지 이 완화의 결과인지는 분리해서 볼 필요가 있습니다.
  • QIR 평가의 의존성 : 주된 품질 지표가 단일 LLM 심사자(Qwen3-32B)의 쌍대 선호이므로, 심사자 편향과 인간 평가와의 일치도가 확인되면 결론이 더 단단해집니다.
  • 리마스킹의 원리적 설명이라는 가치 : 경험적 리마스킹 규칙들이 “마스크를 바닥 상태로 보고 온도를 조금 올린 것”이라는 하나의 그림으로 통합된다는 점은, 실험 수치와 별개로 디퓨전 언어 모델의 샘플링을 설계하는 데 유용한 직관을 줍니다.

💡 Key Takeaway 이 논문은 디퓨전 언어 모델을 린블라드 동역학의 정확한 특수 경우로 놓음으로써 중첩 샘플링 과 원리에서 유도된 리마스킹 이라는 두 확장을 얻었습니다. 아직 양자 이점은 없고 결맞음도 쓰이지 않지만, 간섭이 생성에 참여하는 모델로 가는 설계 공간을 열어 두었습니다.