LiftDiff: Guided Discrete Diffusion for Quantum Code Construction
0. Summary
- 기본 정보 : ArXiv,2026.10.18, LiftDiff: Guided Discrete Diffusion for Quantum Code Construction
- 연구 배경 : 내결함성 양자 계산(fault-tolerant quantum computation)은 양자 오류 정정 부호(Quantum Error-Correcting Codes, QECC)에 의존하며, 특히 높은 부호화율(encoding rate)과 충분한 거리(distance)를 동시에 갖는 부호가 중요하다. 가장 많이 연구된 surface code는 높은 물리 오류율을 견디고 효율적인 디코더가 있지만, 논리 큐비트 1개를 거리의 제곱에 비례하는 물리 큐비트로 부호화하므로 보호 수준을 높일수록 부호화율이 0으로 수렴한다. 이를 극복하기 위해 희소한 패리티 체크를 유지하면서 많은 논리 큐비트를 담는 qLDPC(quantum low-density parity-check) 부호가 연구되어 왔고, 그중 lifted product(LP) 구성은 고전 base matrix의 이진 원소를 group algebra 원소로 바꿔 높은 부호화율과 거리를 얻는다. 그러나 QECC 설계 공간은 이산적·조합적이고 결과 부호의 평가 비용이 크기 때문에, 특히 큰 구성에서 이 공간을 효율적으로 탐색하는 것은 어렵다.
- 제안 방법 : LiftDiff는 이산 디노이징 확산 모델(discrete denoising diffusion model) 을 group algebra $\mathbb{F}2[\mathbb{Z}\ell]$ 위의 base matrix에 대해 학습하고, 생성된 base matrix를 LP 구성으로 확장해 양자 부호를 만드는 생성적 접근이다. 파이프라인은 세 단계로 구성된다. (i) PEG(progressive-edge-growth) 구성으로 만든 희소·고girth base matrix에 bit-flip 손상을 가하고 이를 복원하도록 D3PM 방식의 확산 모델을 학습하고, (ii) 역확산 과정의 매 스텝에서 모델의 연속 예측을 LP에 통과시켜 girth·차수·희소성·스펙트럼·랭크·디코딩 성능 등을 평가하는 에너지 함수의 그래디언트 방향으로 로짓을 밀어 유리한 부호 쪽으로 샘플링을 유도하며, (iii) 생성된 샘플을 전개해 commutation 조건을 검증하고 거리 상한 도구로 선별한 뒤 최종 후보의 거리를 MILP로 정확히 증명한다.
- 발견 사실 : LiftDiff는 블록 길이 65에서 730, 거리 5에서 14, 부호화율 최대 0.310, 최대 체크 가중치 5에서 12 범위의 32개 부호를 생성했다. $[[169,13,11]]$, $[[143,15,9]]$, $[[260,24,10]]$ 같은 부호와 함께, 체크 가중치 8 이하 기준으로 베이스라인 중 가장 높은 $kd^2/n$ 을 달성한 $[[247,19,14]]$ 부호를 발견했다. 코드 캐패시티 노이즈에서 $[[260,24,10]]$ 과 $[[169,13,11]]$ 은 $p=0.04$ 까지 거의 전 범위에서 Gross code $[[144,12,12]]$ 보다 낮은 논리 오류율을 보였고, $p=0.01$ 에서 $[[260,24,10]]$ 은 약 20배 낮은 LER을 기록했다. 회로 수준 노이즈에서도 $[[247,19,14]]$ 가 $p=0.001$ 부터 $0.003$ 까지 베이스라인 아래에 머물렀다. 모델 분석에서는 가이던스 유무에 따라 디노이징이 진행될수록 두 배치의 행렬이 거의 전부 달라지고, 가이던스가 있는 쪽이 목표 영역(높은 거리, 체크 가중치 6에서 10)을 주로 차지한다는 것을 확인했다.
- 핵심 기여 :
- 저자들이 아는 한 새로운 QECC를 생성적으로 구성하는 최초의 이산 확산 프레임워크를 제안했다. 이진 base matrix를 bit-flip 채널로 손상시키고 복원하는 D3PM 모델을 bipartite cross-attention 구조로 구현했다.
- 역확산 전 과정에 걸쳐 작동하는 에너지 기반 가이던스 메커니즘을 개발했다. 연속 예측을 LP로 밀어 넣어 얻은 실수 체크 행렬 위에서 미분 가능한 부호 속성(unrolled BP 디코딩 손실, 4/6-cycle 억제, 스펙트럼 갭, 랭크, 체크 가중치, 차수, $L_1$)을 계산하고 그 그래디언트로 생성 방향을 조정한다.
- $[[143,15,9]]$, $[[260,24,10]]$, $[[169,13,11]]$ 등 다양한 파라미터 조합의 QECC와, 체크 가중치 $\le 8$ 에서 모든 베이스라인 중 가장 높은 $kd^2/n$ 을 달성하는 $[[247,19,14]]$ 부호를 발견했으며, 여러 부호가 코드 캐패시티와 회로 수준 노이즈 모두에서 Gross code를 능가함을 보였다.
Abstract 쉬운 설명(Gemini)
1. 양자 컴퓨터의 치명적인 약점: “너무 예민해!” 🤫
슈퍼컴퓨터보다 수억 배 빠른 양자 컴퓨터를 만들기 위해 가장 골치 아픈 문제는 양자(큐비트)들이 너무 예민하다는 점입니다.
주변에 미세한 열이 발생하거나, 스마트폰 전파가 스치거나, 심지어 살짝 흔들리기만 해도 양자 컴퓨터 내부의 데이터는 순식간에 오류(Error)를 일으키며 깨져버립니다.
이를 해결하기 위해 과학자들은 “양자 오류 정정”이라는 기술을 씁니다. 쉽게 말해, 중요한 데이터가 깨져도 스스로 복구할 수 있는 ‘안전 보호막’을 씌우는 것이죠.
2. 보호막을 만드는 수학적 설계도: “양자 코드” 🧩
이 안전 보호막을 수학적으로 설계해 놓은 규칙을 ‘양자 코드’라고 합니다.
좋은 양자 보호막을 만들려면 아래의 조건이 필요합니다.
- 효율성: 보호막을 만드느라 정작 계산에 쓸 아까운 양자(큐비트)를 너무 많이 낭비하면 안 됩니다.
- 방어력: 아주 강력한 방어 성능(코드 거리)을 가져서 여러 개의 오류가 동시에 터져도 끄떡없어야 합니다.
하지만 이 두 가지(효율성과 방어력)를 모두 만족하는 설계도를 인간 수학자가 머리를 싸매고 직접 그리는 것은 거의 불가능에 가깝습니다. 가능한 경우의 수가 우주의 모래알 개수보다 많기 때문입니다.
3. 해결사로 등장한 AI: “LiftDiff” 🤖
이 논문에서 연구진은 그림을 그려주는 생성형 AI(예: 미드저니, ChatGPT 이미지 생성 기능)와 똑같은 원리의 AI를 데려왔습니다. 이름은 LiftDiff입니다.
이 AI에게 다음과 같은 임무를 주었습니다.
“너 그림 그리는 실력으로, 가장 완벽한 양자 보호막 설계도를 그려봐!”
AI는 아무것도 없는 무작위 상태(노이즈)에서 시작해, 조금씩 획을 그려나가며 보호막의 씨앗이 되는 작은 설계도(기저 행렬)를 완성해 나갑니다.
4. AI 뒤에서 훈수 두는 “수학적 잔소리꾼” 🧭
그냥 AI에게 마음대로 그리라고 하면 쓸모없는 낙서를 그릴 수도 있겠죠?
그래서 연구진은 AI 바로 옆에 아주 똑똑한 ‘수학적 잔소리꾼(에너지 안내 시스템)’을 붙여두었습니다. AI가 설계도를 그리는 실시간 과정 동안 옆에서 사사건건 훈수를 둡니다.
- “어허, 그쪽 방향으로 그리면 방어력이 약해져!”
- “이쪽 구조로 그려야 나중에 큐비트 낭비를 안 해!”
이 잔소리 덕분에 AI는 결국 최소한의 큐비트만 쓰면서도(고효율), 방어력은 극대화된(고성능) 완벽한 보호막 설계도를 그려내는 데 성공했습니다.
5. 이 논문이 이뤄낸 성과! 🏆
이 AI(LiftDiff) 덕분에 과학자들은 여태까지 그 어떤 천재 수학자도 찾아내지 못했던 압도적인 성능의 새로운 양자 보호막 설계도(코드)들을 무더기로 발견해 냈습니다.
이 새로운 설계도들은 기존에 전 세계 과학계가 표준처럼 쓰던 기존 보호막들보다 방어력이 훨씬 뛰어나고 컴퓨터 리소스를 덜 먹는다는 사실이 실험으로 증명되었습니다.
💡 한 줄 요약 예민해서 쉽게 망가지는 양자 컴퓨터를 보호하기 위해, 생성형 AI와 훈수 두는 수학 프로그램을 결합하여 역대 최고 수준의 ‘양자 오류 방어막’을 자동으로 발명해 냈다는 이야기입니다.
관련 개념
양자 오류 정정 부호(QECC)와 Stabilizer / CSS 형식
양자 오류 정정 부호(Quantum Error-Correcting Code, QECC)는 $k$개의 논리 큐비트를 $n$개의 물리 큐비트에 부호화해 노이즈로부터 보호하는 방법입니다. 큐비트는 환경과 결합해 decoherence를 겪고, 복제가 불가능하며, 오류가 연속적이기 때문에 고전 부호를 그대로 쓸 수 없습니다. Shor의 첫 QEC 방식 이후 stabilizer 형식(stabilizer formalism) 이 이 문제를 체계화했습니다.
🧱 1. Stabilizer 부호
$n$-큐비트 시스템을 서로 가환(commuting)하는 Pauli 연산자 집합의 동시 $+1$ 고유공간으로 제한합니다. $[[n,k,d]]$ 부호는 $m=n-k$ 개의 독립 생성자 ${S_i}_{i=1}^m$ 로 지정되며(생성된 군이 $-I$ 를 포함하지 않아야 함), 논리 코드 공간은 다음과 같습니다.
| $$C_S=\left{\, | \psi\rangle\in\mathcal{H}_2^n\;\middle | \;S_i | \psi\rangle= | \psi\rangle,\ \forall i\in{1,\dots,m}\right}$$ |
생성자를 측정하면 오류 연산자와 stabilizer의 commutation 관계를 반영하는 이진 syndrome이 나오고, 논리 상태를 흐트러뜨리지 않고 오류를 식별할 수 있습니다. 가환하는 생성자 집합은 이진 체크 행렬(check matrix) 로 표현됩니다.
| 기호 | 의미 |
|---|---|
| $n$ | 물리 큐비트 수 (block length) |
| $k$ | 논리 큐비트 수 |
| $d$ | 거리 — 논리 정보를 바꾸는 최소 오류 가중치 |
| $k/n$ | 부호화율 (encoding rate) |
| $kd^2/n$ | 논문이 부호 효율성 비교에 쓰는 지표 |
| $w_{\mathrm{chk}}$ | 최대 체크 가중치 — $H_X, H_Z$ 를 통틀어 가장 무거운 행의 가중치 |
🔀 2. CSS 부호
CSS(Calderbank–Shor–Steane) 부호는 stabilizer 생성자가 $X$-type과 $Z$-type으로 분리된 부분 부류입니다. 두 이진 행렬 $H_X$, $H_Z$ 로 기술되고, 모든 생성자가 가환하려면
$$H_X H_Z^{T}=0$$
을 만족해야 합니다. 이때 논리 큐비트 수는 $k=n-\mathrm{rank}(H_X)-\mathrm{rank}(H_Z)$ 입니다. 구조가 bit-flip 정정과 phase-flip 정정을 분리하므로 설계와 디코딩이 단순해집니다.
📉 3. Surface code의 한계와 qLDPC
| 부호 계열 | 장점 | 단점 |
|---|---|---|
| Surface code | 높은 물리 오류율 허용, 효율적 디코더 | 논리 큐비트 1개당 물리 큐비트가 $d^2$ 에 비례 → 부호화율이 0으로 수렴 |
| qLDPC | 희소 체크 + 많은 논리 큐비트 + 메시지 패싱 디코딩 | 체크가 추가로 가환해야 하므로 구성이 어려움 |
| Hypergraph Product (HGP) | 고전 부호 두 개의 패리티 체크 행렬로 qLDPC 구성 | 거리가 블록 길이의 제곱근에 비례 |
| Lifted Product (LP) | base matrix 원소를 group algebra 원소로 대체 → 높은 부호화율과 거리 | 설계 공간이 거대함 |
| Bivariate Bicycle (BB) | $\mathbb{F}_2[x,y]/(x^\ell-1,y^m-1)$ 의 다항식 쌍으로 정의 | — |
💡 Key Takeaway 논문의 목표는 “희소한 체크(하드웨어 친화)를 유지하면서 $k/n$ 과 $d$ 를 동시에 높이는 CSS 부호”를 찾는 것입니다. 이 균형을 평가하는 핵심 지표가 $kd^2/n$ 과 $w_{\mathrm{chk}}$ 입니다.
Lifted Product(LP) 구성
Lifted Product 구성(Panteleev & Kalachev, 2022) 은 group algebra 위의 행렬로부터 CSS 양자 부호를 체계적으로 만드는 방법입니다. LiftDiff는 패리티 체크 행렬을 직접 생성하지 않고, 이 구성의 입력인 base matrix 를 생성합니다.
🧮 1. 정의 (Eq. 1–2)
$R$ 을 $\mathbb{F}_2$ 위의 group algebra라 하고 두 base matrix를 잡습니다.
$$M_1\in R^{m_1\times n_1},\qquad M_2\in R^{m_2\times n_2}$$
$M_1$, $M_2$ 와 그 involution을 결합해 CSS 체크 행렬을 만듭니다.
| $$H_X=\left[M_1\otimes I_{n_2}\;\middle | \;I_{m_1}\otimes M_2^{\ast}\right],\qquad H_Z=\left[I_{n_1}\otimes M_2\;\middle | \;M_1^{\ast}\otimes I_{m_2}\right]$$ |
여기서 $M^{\ast}$ 는 전치(transpose)와 group algebra 위의 involution을 함께 적용한 것입니다. 구성상 $H_X H_Z^{\ast}=0$ 이 자동으로 성립하므로 항상 CSS 부호가 됩니다.
🔁 2. 순환 group algebra와 “lifting”
순환 group algebra $R=\mathbb{F}_2[x]/(x^\ell-1)$ 을 쓰면 base matrix의 각 원소는 차수 $\ell$ 미만의 다항식이고, lifting은 각 다항식을 대응하는 $\ell\times\ell$ 순환(circulant) 이진 행렬로 바꾸는 작업입니다. 따라서 $m\times n$ base matrix는 $m\ell\times n\ell$ 이진 행렬로 전개됩니다.
| 단계 | 객체 | 크기 |
|---|---|---|
| base matrix | $M\in R^{m\times n}$, 원소는 다항식 | $m\times n$ (셀당 $\ell$ 개 계수) |
| unfold (lift) | 각 다항식 → circulant 블록 | $m\ell\times n\ell$ |
| LP | $H_X$, $H_Z$ 조립 | 양자 부호 $[[n,k,d]]$ |
논문은 self-product $LP(M,M)$ 경우만 다룹니다. 즉 하나의 base matrix $M$ 이 부호 하나를 결정합니다.
💡 Key Takeaway 생성 모델이 다룰 객체를 $H_X, H_Z$ 가 아니라 작은 base matrix $M$ 로 잡은 것이 핵심 설계 선택입니다. commutation 조건은 LP가 보장하므로 모델은 “좋은 base matrix가 어떻게 생겼는지”만 배우면 됩니다.
이산 확산 모델(D3PM)과 이진 손상 과정
이산 확산 모델(discrete diffusion) 은 연속 가우시안 노이즈 대신 이산 상태 공간에서 정의된 손상 과정을 되돌리도록 학습하는 생성 모델입니다. LiftDiff는 base matrix가 이진이라는 점에서 D3PM(Austin et al., 2021)의 대칭 이진 채널 버전을 사용합니다.
🎲 1. 전방 손상 과정 (Eq. 3)
깨끗한 base matrix를 텐서 $M_0\in{0,1}^{m\times n\times\ell}$ 로 씁니다. 마지막 축은 각 셀 다항식의 $\ell$ 개 계수입니다. 스텝 $t$ 에서 모든 비트가 독립적으로 확률 $\beta_t$ 로 뒤집히고, $t$ 스텝을 합성하면 하나의 Bernoulli 채널이 됩니다.
$$M_t=M_0\oplus\varepsilon_t,\qquad \varepsilon_t\sim\mathrm{Bernoulli}(1-\bar{\alpha}t)^{\otimes mn\ell},\qquad \bar{\alpha}_t=\tfrac{1}{2}\Bigl(1+\prod{s\le t}(1-2\beta_s)\Bigr)$$
$\bar{\alpha}_t$ 는 비트가 뒤집히지 않고 살아남을 확률입니다. $t\to T$ 이면 $\bar{\alpha}_t\to\tfrac12$ 가 되어 $M_T$ 는 균일 노이즈가 됩니다.
| 항목 | 설정 |
|---|---|
| 스케줄 | $\beta_t$ 선형 스케줄 또는 $\bar{\alpha}_t$ 코사인 스케줄을 $(\tfrac12,1]$ 로 재조정 (이진 대칭 채널의 도달 가능 범위) |
| 실험 설정 | $T=100$, 코사인 스케줄, $\beta_t\in[10^{-4},\,2\times10^{-2}]$ |
🔄 2. 역과정과 $x_0$-예측
네트워크 $f_\theta$ 는 노이즈 텐서 $M_t$ 와 시간 $t$ 로부터 깨끗한 $M_0$ 를 직접 예측합니다(Eq. 12).
$$z_t=f_\theta(M_t,t),\qquad \widehat{M}0=\mathrm{sigmoid}(z_t),\qquad M{t-1}\sim q\bigl(M_{t-1}\mid M_t,\widehat{M}_0\bigr)$$
예측 $\widehat{M}0$ 로 D3PM posterior $q$ 를 조건화해 다음 상태 $M{t-1}$ 을 샘플링합니다. 모든 원소가 비트이므로 복원 손실은 $mn\ell$ 개 계수 전체에 대한 BCE입니다.
🎯 3. 학습 목적함수 (Eq. 11)
BCE에 차수 항(degree term) 을 더해 최종 구조를 통제합니다. 차수는 계수가 아니라 support(셀이 0이 아닌지) 위에서 계산하며, 다항식 축을 미분 가능한 soft-OR로 접습니다.
$$\widehat{S}{ij}=1-\prod_k\bigl(1-\widehat{M}{0,ijk}\bigr)$$
$$\mathcal{L}=\mathrm{BCE}\bigl(\widehat{M}0,M_0\bigr)+\lambda{\deg}\Bigl(\bigl|\mathrm{col}(\widehat{S})-d_v\bigr|^2{\text{mean}}+\bigl|\mathrm{row}(\widehat{S})-\tfrac{nd_v}{m}\bigr|^2{\text{mean}}\Bigr)$$
$d_v$ 는 목표 열 가중치이고, 행 가중치 목표는 $nd_v/m$ 로 자동 결정됩니다. 실험에서는 $\lambda_{\deg}=3.0$ 을 사용했습니다.
💡 Key Takeaway 이산 확산을 고른 두 가지 이유는 (i) 부호가 이진이라 자연스럽고, (ii) 반복적·미분 가능한 구조 덕분에 매 스텝에서 원하는 부호 속성을 주입할 수 있다는 점입니다. 두 번째 이유가 다음의 가이던스로 이어집니다.
학습 데이터: PEG 기반 base matrix 샘플링
학습 데이터는 실제 부호 데이터셋이 아니라 즉석에서 생성됩니다. 관련 데이터가 없고, 균일 무작위 행렬보다 구조화된 분포를 주기 위해 논문은 두 단계 샘플러를 사용합니다.
🌱 1. 두 단계 생성
| 단계 | 내용 |
|---|---|
| 1. Support 생성 | PEG(progressive-edge-growth, Hu et al., 2005) 절차로 이진 $m\times n$ support를 만듦 → 희소하고 girth가 높은 Tanner 그래프 |
| 2. 다항식 배정 | support의 각 nonzero 원소에 가중치 $w\sim\mathrm{Uniform}{1,\dots,w_{\max}}$ 의 무작위 다항식을 배정 ($w$ 개 위치를 균일하게 선택) |
$w_{\max}$ 는 하이퍼파라미터이며, 모델에 기본적인 희소 구조 사전지식(prior) 을 주는 것이 목적입니다.
⚙️ 2. 학습 설정
| 항목 | 값 |
|---|---|
| 에폭 | 750, 에폭당 PEG 샘플러로 4096개 base matrix 생성 |
| 배치 크기 | 16 |
| 옵티마이저 | AdamW, 최대 lr $10^{-4}$, weight decay $10^{-4}$ |
| 스케줄 | 20 에폭 선형 warmup → 코사인 감쇠 |
| 그래디언트 클리핑 | 최대 norm 1.0 |
| 파라미터 수 | 약 10.7M ($\ell$ 에 따라 약간 변동) |
| 하드웨어 | NVIDIA L40 1장, 에폭당 약 5초 |
💡 Key Takeaway 모델이 배우는 것은 “좋은 양자 부호”가 아니라 “희소하고 girth가 높은 base matrix가 어떻게 생겼는가” 입니다. 양자 부호로서의 품질은 추론 시 가이던스가 담당합니다.
모델 구조: Bipartite Cross-Attention 메시지 패싱
LiftDiff의 백본은 이분 그래프(bipartite graph) 위에서 cross-attention으로 메시지를 주고받는 구조입니다. base matrix를 체크 노드와 변수 노드 사이의 Tanner 그래프로 보고, 노드 표현을 번갈아 갱신합니다.
🧩 1. 입력 처리
- 학습 가능한 노드 임베딩 $Z_C^{(0)}\in\mathbb{R}^{m\times d}$ (체크), $Z_V^{(0)}\in\mathbb{R}^{n\times d}$ (변수)를 초기화합니다.
- 시간 $t$ 는 사인/코사인 위치 인코딩 + MLP로 연속 임베딩 $c\in\mathbb{R}^d$ 가 됩니다.
- 노이즈 텐서 $M_t$ 의 $\ell$ 차원을 학습된 선형층으로 접어 이분 인접 행렬 $\tilde{M}_t\in\mathbb{R}^{m\times n}$ 을 만듭니다(Eq. 4).
$$\tilde{M}{t,i,j}=\mathbf{w}^{T}(M_t){i,j}+b,\qquad \mathbf{w}\in\mathbb{R}^{\ell},\ b\in\mathbb{R}$$
🔁 2. Attention 블록 (Eq. 5–8)
각 블록은 먼저 AdaLN(Adaptive Layer Normalization) 으로 시간 임베딩을 주입합니다.
$$[\gamma_C,\beta_C,\gamma_V,\beta_V]=W_1(\operatorname{SiLU}(c)),\qquad \hat{Z}_C=\operatorname{LayerNorm}(Z_C)\odot(1+\gamma_C)+\beta_C$$
변수→체크($V\to C$) 단계에서 체크 노드가 변수 노드에 attend 합니다. 헤드 $h$ 의 pre-softmax 친화도에 구조 편향 $\tilde{M}_t$ 가 더해지는 것이 특징입니다.
$$U_C^{(h)}=\operatorname{Softmax}\left(\frac{Q_C^{(h)}(K_V^{(h)})^{T}}{\sqrt{d_h}}+\alpha^{(h)}\tilde{M}_t\right)V_V^{(h)},\qquad Z_C^{\text{out}}=Z_C+\operatorname{MLP}_C(U_C)$$
$\alpha^{(h)}>0$ 은 헤드별·시간 의존 학습 스칼라입니다. 체크→변수($C\to V$)는 $\tilde{M}_t^{T}$ 로 대칭적으로 수행됩니다.
📤 3. Edge decoder (Eq. 9–10)
$L$ 번 반복 후 다항식 계수 인덱스 $k\in{1,\dots,\ell}$ 마다 독립적인 bilinear map 으로 로짓을 만들고 sigmoid를 적용합니다.
$$\text{Logits}{i,j,k}=\frac{1}{\sqrt{d}}\bigl(Z{C,i}^{(L)}\bigr)^{T}W^{(k)}Z_{V,j}^{(L)},\qquad \widehat{M}_0=\sigma(\text{Logits})\in(0,1)^{m\times n\times\ell}$$
| 기본 구성 | 값 |
|---|---|
| 폭 $d$ | 256 |
| 헤드 수 | 4 (일부 run은 1) |
| 레이어 수 $L$ | 6 (일부 run은 3) |
💡 Key Takeaway Tanner 그래프의 이분 구조를 attention 편향으로 직접 넣고, 다항식 계수마다 별도 bilinear head를 두어 “어느 셀이 nonzero인가”와 “그 셀의 다항식이 무엇인가” 를 동시에 예측합니다.
에너지 기반 가이던스(Energy-Guided Inference)
가이던스는 역확산의 매 스텝에서 모델의 예측을 에너지 함수의 음의 그래디언트 방향으로 이동시키는 것입니다. 손상 과정, 스케줄, posterior $q$ 는 전혀 바꾸지 않고, posterior가 조건화하는 $\widehat{M}_0$ 만 바뀝니다.
🧭 1. 가이드된 역스텝 (Eq. 13)
$$z_t=f_\theta(M_t,t),\qquad z_t^{g}=z_t-g\,\nabla_{z_t}E\bigl(\mathrm{sigmoid}(z_t)\bigr)$$
$$\widehat{M}0^{g}=\mathrm{sigmoid}\bigl(z_t^{g}\bigr),\qquad M{t-1}\sim q\bigl(M_{t-1}\mid M_t,\widehat{M}_0^{g}\bigr)$$
| 설계 포인트 | 이유 |
|---|---|
| 그래디언트를 로짓 공간에서 적용 | 확률과 달리 로짓은 제약이 없음 |
| 가이던스 스케일 $g$ | run마다 개별 튜닝 |
| 마지막 추가 스텝 | 역루프 종료 후 연속 텐서에 한 번 더 그래디언트 스텝($g_{\mathrm{fin}}$, 별도 스케일) → $[0,1]$ 클리핑 → $\tfrac12$ 기준 반올림 |
🔗 2. 에너지가 평가하는 두 객체
연속 예측 $\widehat{M}_0\in[0,1]^{m\times n\times\ell}$ 을 mod-2 축약을 뺀 LP 에 통과시키면 실수값 체크 행렬 $H_X, H_Z$ 가 나오고, lift만 적용하면 unfold된 base matrix가 나옵니다(Eq. 14).
$$\mathcal{M}=\mathrm{unfold}\bigl(\widehat{M}_0\bigr)\in\mathbb{R}^{\bar{m}\times\bar{n}},\qquad \bar{m}=m\ell,\ \bar{n}=n\ell$$
실수의 패리티는 다음의 매끄러운 함수로 계산해 그래디언트가 끊기지 않게 합니다(Eq. 15).
$$\mathrm{par}(s)=\tfrac12\bigl(1-\cos(\pi s)\bigr)$$
이 함수는 $s$ 가 정수이면 정확히 $s\bmod 2$ 를 돌려주고, 그 사이를 매끄럽게 보간합니다.
🧮 3. 결합 에너지 (Eq. 24)
$$E=\lambda_{\mathrm{LER}}E_{\mathrm{LER}}+\lambda_{\mathrm{girth}4}E{\mathrm{girth}4}+\lambda{\mathrm{girth}6}E{\mathrm{girth}6}+\lambda{\mathrm{spectral}}E_{\mathrm{spectral}}+\lambda_{\mathrm{rank}}E_{\mathrm{rank}}+\lambda_{\mathrm{depth}}E_{\mathrm{depth}}+\lambda_{\deg}E_{\deg}+\lambda_{L_1}E_{L_1}$$
| 그룹 | 항 | 작용 대상 | 목적 |
|---|---|---|---|
| 디코딩 | $E_{\mathrm{LER}}$ | $H_X, H_Z$ | 디코딩하기 쉬운 부호 |
| 기하 | $E_{\mathrm{girth}4}$, $E{\mathrm{girth}_6}$ | $\mathcal{M}$ | 짧은 사이클 억제 |
| 기하 | $E_{\mathrm{spectral}}$ | $\mathcal{M}$ | 거리에 대한 휴리스틱 |
| 기하 | $E_{\mathrm{rank}}$ | $\mathcal{M}$ | 랭크 붕괴 방지 |
| 하드웨어 | $E_{\mathrm{depth}}$ | $\mathcal{M}$ | 체크 가중치 경량화 |
| 구조 | $E_{\deg}$, $E_{L_1}$ | $\widehat{M}_0$ | 목표 차수 유지, 희소성 |
💡 Key Takeaway 가이던스는 classifier-free guidance처럼 조건부 모델을 따로 학습하는 방식이 아니라, 학습 없이 미분 가능한 “부호 품질 점수”를 매 스텝 그래디언트로 주입하는 에너지 기반 방식입니다. 모델은 구조 사전지식, 에너지는 목표 속성을 담당하는 분업 구조입니다.
에너지 항 상세: 디코딩·기하·하드웨어
각 에너지 항이 어떤 부호 속성을 어떻게 미분 가능하게 만드는지가 이 논문의 기술적 핵심입니다.
🛠️ 1. 디코딩 항 $E_{\mathrm{LER}}$ (Eq. 16–17)
코드 캐패시티 노이즈 모델에서 물리 오류율 $p$ 의 depolarizing 오류를 샘플링하고, 오류 성분 $e_X, e_Z\in{0,1}^n$ 에 대해 연속 체크 행렬로 syndrome을 만듭니다.
$$s_Z=\mathrm{par}\bigl(e_X H_Z^{\mathsf{T}}\bigr),\qquad s_X=\mathrm{par}\bigl(e_Z H_X^{\mathsf{T}}\bigr)$$
그 다음 BP 디코더를 고정 반복 수만큼 unroll(Nachmani et al., 2016)해 soft 추정 $\widehat{e}_X=\mathrm{BP}(H_Z,s_Z)$, $\widehat{e}_Z=\mathrm{BP}(H_X,s_X)$ 를 얻습니다. 모든 메시지 갱신이 $H_X, H_Z$ 에 대한 산술 연산이므로 디코더의 오류가 디코딩 동역학 → LP → 모델 로짓까지 역전파됩니다.
$$E_{\mathrm{LER}}=\tfrac12\Bigl[\mathrm{BCE}\bigl(\widehat{e}_X,e_X\bigr)+\mathrm{BCE}\bigl(\widehat{e}_Z,e_Z\bigr)\Bigr]$$
| BP 설정 (Appendix A) | 값 |
|---|---|
| 알고리즘 | sum-product BP, 20회 unroll, 오류 유형별 1회 |
| 조기 종료 | 없음 — 항상 전체 깊이 실행 |
| damping | 새 값 0.8 + 이전 값 0.2 |
| 엣지 가중치 | $H_X$/$H_Z$ 의 해당 원소 (1이면 일반 갱신, 0이면 엣지 제거 → 완화된 행렬에서 동작 가능) |
| 물리 오류율 | $p=0.05$, 채널 LLR $\lambda_{\mathrm{ch}}=\log\frac{1-2p/3}{2p/3}=3.37$ |
| 샘플 수 | 평가당 64개 오류 패턴 평균 |
| 수치 안정화 | $\tanh$/$\operatorname{artanh}$ 인자 $\pm0.9999$, posterior $[10^{-6},1-10^{-6}]$ 클램핑 |
📐 2. 기하 항: 사이클 억제 (Eq. 18–20)
노드 투영 행렬 $A_c=\mathcal{M}\mathcal{M}^{\mathsf{T}}$, $A_v=\mathcal{M}^{\mathsf{T}}\mathcal{M}$ 의 비대각 원소는 두 체크(또는 두 변수)가 공유하는 이웃 수입니다. 4-cycle은 비대각 원소가 1을 넘는 것과 정확히 같으므로
$$E_{\mathrm{girth}4}=\frac{\sum{i\ne j}(A_c){ij}^2+\sum{i\ne j}(A_v)_{ij}^2}{\bar{m}(\bar{m}-1)+\bar{n}(\bar{n}-1)}$$
6-cycle은 대각을 제거한 $B_c=A_c\odot(\mathbf{1}-I)$ 의 $\operatorname{tr}(B_c^3)$ 로 세되, 차수 3 이상인 단일 노드가 만드는 가짜 삼각형을 빼 줍니다. $S_r^v=\sum_i\mathcal{M}_{ij}^{2r}$ (열별), $S_r^c$ (행별)로
$$E_{\mathrm{girth}6}=\frac{\bigl[\operatorname{tr}(B_c^3)-\Sigma_c\bigr]+}{\bar{m}(\bar{m}-1)(\bar{m}-2)}+\frac{\bigl[\operatorname{tr}(B_v^3)-\Sigma_v\bigr]+}{\bar{n}(\bar{n}-1)(\bar{n}-2)},\qquad \Sigma\bullet=\sum\bigl(S_1^3-3S_1S_2+2S_3\bigr)$$
두 항을 모두 낮추면 Tanner girth가 8 이상으로 올라갑니다. 저자들은 이 항들을 $H_X, H_Z$ 위에서도 평가했지만 결과 부호에 차이가 없어 계산이 싼 $\mathcal{M}$ 을 썼습니다.
📊 3. 스펙트럼 항과 랭크 항 (Eq. 21–22)
정규화된 노드 투영의 두 번째로 큰 고유값을 낮춥니다(Tanner, 2001).
$$E_{\mathrm{spectral}}=\mu_2!\left(D_c^{-1/2}A_cD_c^{-1/2}\right)+\mu_2!\left(D_v^{-1/2}A_vD_v^{-1/2}\right)$$
이는 거리에 대한 휴리스틱입니다. 원래 정규 이진 그래프를 가정하는 반면 샘플링 중 $\mathcal{M}$ 은 연속이기 때문입니다. 랭크 붕괴는 특이값의 log-determinant로 막습니다.
$$E_{\mathrm{rank}}=-\frac{1}{\min(\bar{m},\bar{n})}\sum_i\log s_i(\mathcal{M})$$
특이값이 0에 접근하면 발산하므로 랭크를 잃는 방향을 벌점합니다.
🔧 4. 하드웨어 항과 구조 항 (Eq. 23)
체크 가중치를 가볍게 유지하기 위해 행·열 합의 soft maximum을 씁니다.
$$E_{\mathrm{depth}}=\frac{1}{\beta}\log\sum_i e^{\beta r_i}+\frac{1}{\beta}\log\sum_j e^{\beta c_j},\qquad r_i=\sum_j\mathcal{M}{ij},\ c_j=\sum_i\mathcal{M}{ij}$$
그래디언트가 행 합의 지수에 비례해 분배되므로 가장 무거운 행이 지배하되 모든 행이 0이 아닌 기여를 유지합니다. $\beta$ 를 키우면 진짜 최대값에 가까워집니다. 마지막 두 항은 $\widehat{M}0$ 에 직접 작용합니다. $E{\deg}$ 는 학습 시 차수 항(Eq. 11)과 동일하게 support 차수를 목표에 고정하고, $E_{L_1}=\sum_{i,j,k}\widehat{M}_{0,ijk}$ 는 1의 기대 개수를 눌러 희소성을 유지합니다.
💡 Key Takeaway “디코딩이 쉬운가”를 BP 디코더 자체를 미분 가능하게 unroll 해서 묻고, “거리가 큰가”는 girth·스펙트럼 갭이라는 그래프 이론적 대리 지표로 묻습니다. 정확한 거리는 NP-hard라 가이던스에 넣을 수 없기 때문에 이런 대리 지표가 필요합니다.
선별과 거리 인증(Screening & Certification)
생성된 후보는 그대로 결과가 되지 않고, 전개·검증·거리 추정·정확한 인증의 파이프라인을 거칩니다. 양자 부호의 거리 계산은 일반적으로 NP-hard(Kapshikar & Kundu, 2023)이기 때문에 싼 추정과 비싼 증명을 단계적으로 씁니다.
🔍 1. 파이프라인
| 단계 | 내용 | 도구 |
|---|---|---|
|
각 샘플을 $H_X$, $H_Z$ 로 확장 | LP |
|
$H_X H_Z^{\mathsf{T}}=0$ 확인 | — |
|
$n$ 과 $k=n-\operatorname{rank}H_X-\operatorname{rank}H_Z$ 계산 | — |
|
비교적 싼 거리 상한 추정 | QDistRnd (Pryadko et al., 2022) |
|
$n$, $k$, 거리 상한, 최대 체크 가중치 기준 | — |
|
최종 후보의 거리를 MILP로 증명 | Cruz-Benito et al. (2026) 구현 |
📦 2. 추론 설정
| 항목 | 값 |
|---|---|
| run당 샘플 수 | 64 |
| run별 지정 | base 기하 $(m,n,\ell)$, 목표 열 가중치 $d_v$, 최대 다항식 가중치 $w_{\max}$ |
| 튜닝 | 가이던스 스케일 $g$, $g_{\mathrm{fin}}$, 모든 에너지 가중치 $\lambda_i$ 를 run마다 개별 조정 (Appendix C, Table 2에 전체 기록) |
💡 Key Takeaway Table 1의 모든 거리는 MILP로 정확히 증명된 값입니다. 반면 Figure 3(c)의 모델 분석에 쓰인 거리는 상한입니다. 두 수치의 성격이 다르다는 점을 읽을 때 구분해야 합니다.
생성된 부호와 베이스라인 비교
LiftDiff는 총 32개 부호를 보고했으며(Table 1), 블록 길이 65에서 730, 거리 5에서 14, 부호화율 최대 0.310, 최대 체크 가중치 5에서 12 범위를 커버합니다.
📋 1. 대표 부호 (Table 1 발췌)
| # | $[[n,k,d]]$ | $k/n$ | $w_{\mathrm{chk}}$ |
|---|---|---|---|
| 3 | $[[260,20,11]]$ | 0.077 | 7 |
| 4 | $[[182,14,11]]$ | 0.077 | 7 |
| 6 | $[[169,13,11]]$ | 0.077 | 7 |
| 7 | $[[592,32,13]]$ | 0.054 | 7 |
| 11 | $[[592,32,14]]$ | 0.054 | 8 |
| 13 | $[[260,52,7]]$ | 0.200 | 8 |
| 14 | $[[260,20,12]]$ | 0.077 | 8 |
| 15 | $[[260,24,10]]$ | 0.092 | 8 |
| 16 | $[[143,15,9]]$ | 0.105 | 8 |
| 18 | $[[247,19,14]]$ | 0.077 | 8 |
| 24 | $[[340,68,9]]$ | 0.200 | 9 |
| 29 | $[[730,180,7]]$ | 0.247 | 11 |
| 30 | $[[260,20,14]]$ | 0.077 | 11 |
| 32 | $[[493,153,8]]$ | 0.310 | 12 |
저자들은 특히 6, 13–16, 18번이 부호화율·거리·하드웨어 친화적 체크 가중치 사이의 균형이 좋다고 지목합니다.
🆚 2. 베이스라인
| 계열 | 부호 |
|---|---|
| BB codes (Bravyi et al., 2024) | B1 $[[288,12,18]]$, B2 $[[144,12,12]]$ (Gross code), B3 $[[108,8,10]]$, B4 $[[72,12,6]]$ |
| LLM-guided evolutionary CSS (Cruz-Benito et al., 2026) | C1 $[[360,20,\le14]]$, C2 $[[360,16,\le14]]$, C3 $[[288,24,12]]$, C4 $[[288,16,12]]$, C5 $[[144,8,12]]$, C6 $[[288,50,8]]$, C7 $[[288,32,6]]$, C8 $[[144,24,6]]$ |
📈 3. Figure 2의 비교 결과
- (a) $k/n$ vs $d$ : LiftDiff 부호는 부호화율이 0.30을 넘는 영역까지 확장됩니다. 18번 $[[247,19,14]]$ 은 C1, C2와 같은 거리 14에서 더 높은 부호화율과 $w_{\mathrm{chk}}=8$ 을 달성합니다.
- (b) $n$ vs $kd^2/n$ : 24번 $[[340,68,9]]$ 은 $kd^2/n$ 이 17에 근접해 C1, C2를 크게 앞서면서 $w_{\mathrm{chk}}$ 는 1만 증가합니다. 18번은 $w_{\mathrm{chk}}\le8$ 조건에서 가장 높은 $kd^2/n$ 을 베이스라인 범위 안의 블록 길이로 달성합니다.
💡 Key Takeaway 성과의 핵심은 단일 최고 부호가 아니라 체크 가중치를 고정했을 때 $kd^2/n$ 프런티어를 밀어 올렸다는 점입니다. 하드웨어 제약(가벼운 체크)과 부호 효율을 동시에 평가하는 틀에서 비교했습니다.
논리 오류율(LER) 평가: 코드 캐패시티와 회로 수준
부호 파라미터가 좋아도 실제 디코딩 성능은 별개의 문제이므로, 논문은 두 노이즈 모델에서 논리 오류율을 측정합니다.
🎯 1. 코드 캐패시티 노이즈 (Figure 3a)
| 항목 | 설정 |
|---|---|
| 노이즈 | 각 큐비트에 독립적으로 확률 $p$ 의 $X$ 오류 |
| 디코더 | BP-OSD — product-sum BP 20회 + OSD(CS order 7), Cruz-Benito et al. (2026) 절차 |
| 샘플 수 | $p$ 값당 $10^6$ 개 |
| 지표 | 블록 오류율 — $k$ 개 논리 큐비트 중 하나라도 뒤집히면 실패 |
| 부호 | $[[144,12,12]]$ 대비 결과 |
|---|---|
| $[[260,24,10]]$ | $p=0.04$ 까지 거의 전 범위에서 아래, $p=0.05$ 에서 만남. $p=0.01$ 에서 약 20배 낮은 LER |
| $[[169,13,11]]$ | $p=0.04$ 까지 아래, $p=0.01$ 에서 약 4배 낮음 |
| $[[143,15,9]]$ | $p\le0.02$ 에서 아래, $p=0.03$ 에서 일치, 그 이상에서 위. $p=0.01$ 에서 약 9배 낮음 |
| $[[247,19,14]]$ | 전 범위에서 $[[144,12,12]]$ 곡선을 거의 그대로 따라감 |
$[[260,24,10]]$ 의 결과가 특히 주목할 만한 이유는 블록 오류율 기준인데도 $[[144,12,12]]$ 의 두 배인 논리 큐비트를 부호화하면서 가장 낮은 곡선에 도달했기 때문입니다.
⚡ 2. 회로 수준 노이즈 (Appendix B, Figure 4)
| 항목 | 설정 |
|---|---|
| 대상 | $[[247,19,14]]$, $[[260,24,10]]$, 베이스라인 $[[144,12,12]]$ |
| 컴파일 | 동일 프로토콜(qLDPC 라이브러리, Perlin 2023)로 syndrome 추출 회로와 detector error model 생성 |
| 라운드 수 | 각 부호의 거리와 동일 (14, 10, 12), $X$ 기저와 $Z$ 기저 각 1회 측정 |
| 디코더 | relay BP (Müller et al., 2025), 첫 수렴 해에서 정지 |
| 노이즈 | circuit-level depolarizing, $p\in{0.001,0.002,0.003,0.004}$ |
| 샷 | 기저당 최대 $10^5$, 실패 200회 기록 시 정지 |
| 지표 | 논리 큐비트당·라운드당 LER |
- $[[247,19,14]]$ : $p=0.001$ 부터 $0.003$ 까지 베이스라인 아래. $p=0.001$ 에서는 실패가 관측되지 않음(95% 상한으로 표시). $p=0.004$ 에서 베이스라인이 근소하게 앞섬.
- $[[260,24,10]]$ : 전 범위에서 $[[144,12,12]]$ 곡선을 가깝게 따르며 모든 점에서 신뢰구간 안에 머무름.
💡 Key Takeaway 코드 캐패시티에서 가장 강했던 $[[260,24,10]]$ 은 회로 수준에서는 베이스라인과 동급이고, 코드 캐패시티에서 평범했던 $[[247,19,14]]$ 는 회로 수준 저오류 영역에서 베이스라인을 앞섭니다. 노이즈 모델에 따라 부호의 상대 순위가 바뀐다는 점이 두 평가를 모두 보고한 이유입니다.
모델 분석: 가이던스는 무엇을 바꾸는가
가이던스가 실제로 생성 결과를 바꾸는지, 어느 방향으로 바꾸는지를 같은 시드의 두 run을 짝지어 직접 측정했습니다.
🔬 1. 샘플 수준 발산 (Figure 3b)
같은 시드로 초기화한 가이던스 없는 run과 있는 run은 다른 조건이 모두 동일하므로, 두 배치의 행렬을 1:1로 대응시켜 가이던스가 각 샘플에 미친 효과를 측정할 수 있습니다. 디노이징이 진행될수록 서로 다른 행렬의 비율이 증가하고, 과정이 끝날 때는 두 배치 사이에 동일한 행렬이 거의 남지 않습니다.
🗺️ 2. 거리–체크 가중치 분포 (Figure 3c)
목표 영역은 높은 거리 + 최대 체크 가중치 6에서 10 입니다. 여러 무작위 시드를 합산했을 때,
| 생성 방식 | 분포 특성 |
|---|---|
| 가이던스 없음 | 낮은 체크 가중치에 집중되지만 거리도 낮음 |
| 가이던스 있음 | 목표 영역을 주로 차지 — 체크 가중치를 원하는 범위로 유지하면서 더 높은 거리에 도달 |
💡 Key Takeaway 가이던스 없는 모델은 학습 분포(PEG 희소 행렬)의 성질대로 “가벼운 체크”만 잘 만듭니다. 가이던스는 그 희소 사전지식을 유지한 채 탐색 공간의 다른 영역(높은 거리)으로 생성을 옮기는 역할을 합니다.
관련 연구와 한계
QEC 연구의 두 축은 부호 구성과 디코더 개발이며, 최근 둘 모두에 기계학습이 적용되고 있습니다. LiftDiff는 부호 구성 쪽에서 생성 모델을 쓴 사례입니다.
🧭 1. 기존 ML 기반 부호 설계 접근
| 접근 | 대표 연구 |
|---|---|
| 강화학습 | Olle et al. (2024), Nautrup et al. (2019), Su et al. (2025), Sella et al. (2026) |
| 베이지안 최적화 | Chengyu et al. (2026) |
| LLM 기반 탐색 | Cruz-Benito et al. (2026, LLM-guided evolutionary BB), Yan et al. (2026b, OmniQEC), Liu & Marquardt (2026) |
| 이산 확산 (본 논문) | 학습된 구조 사전지식 + 미분 가능한 에너지 가이던스 |
디코더 쪽에서는 MWPM, Union Find, BP-OSD와 그 변형들, 그리고 CNN·GNN·Transformer 기반 신경 디코더가 발전해 왔습니다. LiftDiff의 $E_{\mathrm{LER}}$ 은 이 중 unrolled BP(Nachmani et al., 2016) 아이디어를 “디코더 학습”이 아니라 “부호 설계를 위한 미분 가능한 평가기” 로 재활용한 것입니다.
⚠️ 2. 본문에서 드러나는 제약
- 거리 휴리스틱의 간극 : $E_{\mathrm{spectral}}$ 은 정규 이진 그래프를 가정하지만 샘플링 중 $\mathcal{M}$ 은 연속입니다. 거리는 가이던스에서 직접 최적화되지 않고 대리 지표를 통해서만 유도됩니다.
- run별 튜닝 부담 : 가이던스 스케일과 8개 에너지 가중치를 run마다 개별 조정해야 하며(Appendix C), 일부 run은 헤드 수·레이어 수·학습률까지 다릅니다.
- self-product 한정 : $LP(M,M)$ 만 다루므로 $M_1\ne M_2$ 인 일반 LP 구성은 탐색 범위 밖입니다.
- 평가 범위 : 회로 수준 평가는 두 부호에 대해서만 수행되었고, 디코더(relay BP)와 라운드 수가 고정되어 있습니다.
- 학습 데이터의 합성성 : 실제 부호 데이터가 아니라 PEG 합성 분포에서 학습하므로, 모델이 가진 사전지식은 PEG가 만들 수 있는 구조에 한정됩니다.
💡 Key Takeaway 논문의 결론은 “생성 모델이 QECC의 거대한 탐색 공간을 항해하는 효과적인 전략”이라는 것입니다. 다만 거리 자체를 최적화하지 못하고 대리 지표에 의존한다는 점, 그리고 run별 하이퍼파라미터 튜닝이 많다는 점은 후속 연구에서 다룰 여지가 있습니다.