You know maize mean?
world2vec: Mechanistic world models through latent dynamics learning
0. Summary
- 기본 정보 : ArXiv,2026.10.29, world2vec: Mechanistic world models through latent dynamics learning
- 연구 배경 : 세계 모델(world model)은 환경의 동역학을 충실히(faithfully) 포착하지 않고도 높은 제어 성능을 낼 수 있다. 보상 기반 모델(DreamerV3, TD-MPC2)은 과제를 풀지만 잠재 공간에서의 예측은 빈약하고, 보상 없는 JEPA 계열(LeWM)은 표현은 일관되지만 자율 동역학이 있는 환경을 제어하지 못했다. 저자들은 관측과 행동만으로 (i) 오프라인 데이터만 학습해 SOTA 제어 성능을 내고, (ii) 장기 롤아웃에서 환경을 충실히 재현하며, (iii) 지배 방정식을 읽어낼 수 있을 만큼 기계론적으로 해석 가능한 “기계론적 세계 모델(mechanistic world model)”을 목표로 한다.
- 제안 방법 : world2vec 은 인코더 $\mathbf{h}$ 와 행동 조건부 신경 ODE $\hat{\mathbf{f} }$ 를 공동 학습한다. 핵심 원리는 잠재 동역학 매칭(latent dynamics matching) 으로, 학습된 속도장을 오일러 적분해 $K$ 단계 롤아웃한 잠재 상태가 미래 관측의 인코딩과 일치하도록 제곱 오차를 최소화하고, 표현 붕괴를 막는 정규화로 SIGReg(LeJEPA 계열, world2vec-sigreg) 또는 동역학 대조 학습(DCL, world2vec-dcl)을 붙인다. 하이퍼파라미터는 식별가능성 이론에 근거한 비지도 지표(Consistency, LRC, EQA)로 고른다. 제어는 보상 모델과 디코더 없이 목표 프레임의 인코딩까지의 잠재 거리를 CEM으로 최소화하는 MPC로 수행하고, 해석을 위해 동역학을 SINDy 다항식 라이브러리로 파라미터화할 수 있다.
- 발견 사실 : (1) 다단계 예측($K\in{10,20,40}$)과 오일러 적분 속도장을 결합하면 1초 LRC가 단일 단계 기준선의 37–51%에서 96–98%로 오르고, 30단계 지평에서는 0% 대 73–86%다. (2) MPC 보상은 Pendulum 434–826, Reacher 570–895로 LeWM(5, 69)보다 800점 이상 높고, world2vec-dcl은 두 환경에서 DreamerV3를, Reacher에서 TD-MPC2를 앞선다. CartPole(221–232)은 미해결이다. (3) 파라미터는 약 300k로 DreamerV3(17M)·TD-MPC2(5M)·LeWM(18M)보다 한 자릿수 이상 적고, Reacher 계획 시간은 LeWM의 8.64 s/ep 대비 1.00–2.61 s/ep다. (4) 세 환경 평균 Consistency는 world2vec 95.5–96.9%, LeWM 99.5%, TD-MPC2 87.5%, DreamerV3 43.4%다. (5) 71개 dysts 카오스 끌개 벤치마크에서 world2vec-SINDy는 항등 기준선을 크게 앞서고 MLP 속도장과 대등하며, 과정 잡음 $\alpha$ 가 0에서 1.0으로 커지면 중앙값 아핀 복원 $R^{2}$ 가 SINDy 0.7→0.97, MLP 0.8→0.98로 오른다.
- 핵심 기여 :
- 잠재 동역학 매칭 프레임워크 : 다단계 롤아웃 + 연속시간(오일러 적분) 속도장 + 식별가능 정규화기를 결합해, 보상·재구성 없이 표현과 명시적 동역학을 함께 추정하면서 자율 동역학 환경을 픽셀에서 제어한 첫 알고리즘이라고 주장한다.
- 식별가능성 지표 기반 모델 선택 : Consistency(시드 간 아핀 $R^{2}$), LRC(잠재 롤아웃 일관성), EQA(등변성 정확도)로 검증 EQA 기준 하이퍼파라미터를 고르고, 이 지표들이 MPC 성능과 함께 움직임을 보였다(LeWM에서는 둘이 분리된다).
- 기호 회귀로의 확장 : SINDy 파라미터화로 비선형 혼합된 50차원 관측에서 잠재 지배 방정식을 복원하고, 71개 끌개·4개 잡음 수준에서 Consistency, LRC${50}$, 아핀 $R^{2}$, iDynR$^{2}{50}$ 으로 평가했다.
Abstract 쉬운 설명(Gemini)
관련 개념
잠재 세계 모델과 “충실한” 동역학
세계 모델은 상태 $\mathbf{s}$ 가 행동 $\mathbf{a}$ 아래 동역학 $\mathbf{f}$ 를 따라 변하고, 그 상태를 비선형 혼합 함수 $\mathbf{g}$ 를 통해서만 관측하는 상황을 다룹니다.
$$\dot{\mathbf{s} }=\mathbf{f}(\mathbf{s},\mathbf{a}),\qquad \mathbf{x}=\mathbf{g}(\mathbf{s})$$
잠재 세계 모델링(latent world modeling) 은 관측과 행동만으로 인코더 $\mathbf{z}=\mathbf{h}(\mathbf{x})$ 와 잠재 동역학 $\dot{\mathbf{z} }=\hat{\mathbf{f} }(\mathbf{z},\mathbf{a})$ 를 함께 추정하는 문제입니다. 이상적으로는 $\mathbf{r}=\mathbf{h}\circ\mathbf{g}$ 가 가역이어서 표현이 상태의 좌표 변환이 되고, 잠재 동역학이 그 좌표에서 참 진화를 재현해야 합니다.
🧭 1. 충실성(faithfulness) 조건
Gonzalez Laiz & Schneider(2026)의 정의를 따르면, 모델이 충실하다는 것은 진화한 물리 상태를 인코딩한 것과 인코딩한 상태를 잠재 공간에서 진화시킨 것이 같은 궤적이라는 뜻입니다. 지평 $T$ 에 대해 적분하면
$$\hat{\mathbf{z} }{t}(T):=\mathbf{z}(t)+\int{0}^{T}\hat{\mathbf{f} }\big(\hat{\mathbf{z} }_{t}(\tau),\mathbf{a}(t+\tau)\big)\,d\tau \overset{!}{=} \mathbf{h}\big(\mathbf{x}(t+T)\big)\quad\text{for all } t,\ T\geq 0$$
입니다. 이 조건의 양변은 관측과 행동만으로 계산할 수 있습니다. 상태 $\mathbf{s}$ 나 참 동역학 $\mathbf{f}$ 에 접근할 필요가 없다는 점이 비지도 학습 목적 함수로 쓸 수 있는 근거입니다.
🗺️ 2. 기존 접근과의 위치
| 접근 | 대표 | 학습 신호 | 논문이 지적하는 한계 |
|---|---|---|---|
| 재구성 기반 예측 | DreamerV3 | 보상 + 픽셀 재구성 | 높은 보상, 낮은 잠재 예측·일관성(Consistency 43.4%) |
| 보상 기반 잠재 계획 | TD-MPC2 | 보상 | 높은 보상, 1초 LRC 15.5% |
| 보상 없는 JEPA | LeWM, DINO-WM | 잠재 예측 + 붕괴 방지 | 표현은 일관되지만 자율 동역학 환경 제어 실패 |
저자들은 Posner 등(2026)이 기계론적 세계 모델 이라 부른 성질, 즉 통계적 의미에서 세계를 정확히 반영하고 적절한 파라미터화로 동역학을 읽어낼 수 있는 모델을 목표로 합니다. 비선형 ICA(Hyvärinen et al. 2019)와 대조 학습 역변환 이론(Zimmermann et al. 2021), DCL(González Laiz et al. 2025), LeJEPA 식별가능성(Klindt et al. 2026), 잠재 분포 매칭(Mikulasch & Zenke 2026)이 이론적 근거이고, 이 보장을 어려운 제어 문제까지 확장되는 알고리즘 으로 옮기는 것이 이 논문의 목표입니다.
💡 Key Takeaway “제어가 되는가”와 “환경을 충실히 모델링하는가”는 다른 질문입니다. 보상 기반 모델은 전자만, 기존 JEPA는 후자 중 표현 일관성만 만족했고, world2vec은 둘을 함께 겨냥합니다.
world2vec 목적 함수: 잠재 동역학 매칭
데이터셋 $\mathcal{D}$ 는 간격 $\Delta t$ 로 샘플링된 관측과 기록된 행동입니다. 한 프레임만으로는 속도를 알 수 없으므로(부분 관측), 인코더는 길이 $H$ 의 짧은 이력 $\mathbf{X}{n}=(\mathbf{x}{n-H+1},\ldots,\mathbf{x}{n})$ 을 입력받습니다. $H$ 는 $\mathbf{s}(t{n})\mapsto\mathbf{X}_{n}$ 이 단사가 되도록 고르며, 실험에서는 $H=3$ 입니다.
🔁 1. 잠재 롤아웃과 오일러 적분
동역학 모델 $\hat{\mathbf{f} }(\mathbf{z},\mathbf{a})$ 는 잠재 변화율을 예측하고, 수치 적분 단계 $\mathbf{\Phi}$ 가 상태를 $\Delta t$ 만큼 전진시킵니다. 행동은 샘플링 간격 안에서 일정하다고 둡니다.
$$\hat{\mathbf{z} }{n,0}=\mathbf{h}(\mathbf{X}{n}),\qquad \hat{\mathbf{z} }{n,j+1}=\mathbf{\Phi}(\hat{\mathbf{z} }{n,j},\mathbf{a}_{n+j})$$
주 실험은 명시적 오일러 적분을 씁니다.
$$\mathbf{\Phi}(\mathbf{z},\mathbf{a})=\mathbf{z}+\Delta t\,\hat{\mathbf{f} }(\mathbf{z},\mathbf{a})$$
🎯 2. world2vec 목적 함수 (Eq. 6)
충실성 조건을 $T=j\Delta t$, $j=1,\ldots,K$ 에서 평가하면 학습 목적이 됩니다.
$$\min_{\mathbf{h},\hat{\mathbf{f} } }\;\mathbb{E}{n\sim p{\mathcal{D} } }\left[\sum_{j=1}^{K}w_{j}\left|\mathbf{h}(\mathbf{X}{n+j})-\hat{\mathbf{z} }{n,j}\right|_{2}^{2}\right]+\lambda\,\mathcal{R}(\mathbf{h},\hat{\mathbf{f} })$$
| 기호 | 의미 | 기본값 |
|---|---|---|
| $K$ | 학습 롤아웃 단계 수 | 10·20·40 (환경별 선택) |
| $w_{j}$ | 단계별 가중 | 균일, $w_{j}=1/K$ |
| $\mathcal{R}$ | 표현 붕괴 방지 정규화기 | SIGReg 또는 DCL |
| $\lambda$ | 정규화 가중 | 검증 EQA로 선택 |
정규화기가 필요한 이유는 상수 인코더가 충실성 조건을 자명하게 만족 하기 때문입니다.
📐 3. 단일 단계에서 다단계로: “속도 매칭”의 의미
$K=1$ 이면 목적 함수는 유한 차분 근사 아래 잠재 속도를 직접 맞춥니다.
$$\left|\dot{\mathbf{z} }(t_{n})-\hat{\mathbf{f} }(\mathbf{z}{n},\mathbf{a}{n})\right|{2}^{2}\approx\left|\frac{\mathbf{z}{n+1}-\mathbf{z}{n} }{\Delta t}-\hat{\mathbf{f} }(\mathbf{z}{n},\mathbf{a}{n})\right|{2}^{2}\propto\left|\big[\mathbf{z}{n}+\Delta t\,\hat{\mathbf{f} }(\mathbf{z}{n},\mathbf{a}{n})\big]-\mathbf{z}{n+1}\right|_{2}^{2}$$
이는 Neural ODE(Chen et al. 2018)의 잔차 예측기와 같은 형태입니다. 다단계에서는 인코딩된 변위를 예측 궤적을 따라 누적한 속도 와 맞춥니다.
$$\left|\frac{\mathbf{z}{n+j}-\mathbf{z}{n} }{\Delta t}-\sum_{\ell=0}^{j-1}\hat{\mathbf{f} }(\hat{\mathbf{z} }{n,\ell},\mathbf{a}{n+\ell})\right|{2}^{2}\propto\left|\hat{\mathbf{z} }{n,j}-\mathbf{z}{n+j}\right|{2}^{2}$$
이 잔차로 학습하면 작은 1단계 오차가 긴 롤아웃에서 어떻게 누적되는지가 손실에 드러납니다. 저자들은 상태 자체가 아니라 학습된 속도장으로 상태 변화를 모델링하는 것 이 세계 모델링에 유용한 귀납 편향이라고 가설을 세웁니다.
💡 Key Takeaway world2vec의 새로움은 손실의 모양보다 조합에 있습니다. (a) 이산 전이 MLP 대신 속도장 + 오일러 적분, (b) 1단계가 아닌 $K$ 단계 누적 오차, (c) 식별가능성이 알려진 정규화기. 이 셋 중 (a)·(b)의 효과는 뒤의 Table 3·4 ablation이 분리해 보여줍니다.
붕괴 방지 정규화: SIGReg vs DCL (Appendix A)
두 변형은 인코더를 정규화하는 방식, 곧 임베딩 공간의 분포에 어떤 사전(prior)을 두는가 에서 갈립니다. world2vec-sigreg는 가우시안 사전, world2vec-dcl은 데이터 지지집합 위의 균일 분포 사전입니다. 저자들은 둘 중 무엇을 고를지는 환경에 어느 사전이 맞는지의 문제라고 봅니다.
📊 1. SIGReg (world2vec-sigreg)
LeJEPA의 SIGReg는 임베딩 분포를 등방 가우시안 $\mathcal{N}(0,I)$ 쪽으로 밉니다. 단위구에서 균일하게 뽑은 방향 집합 $A$ 로 임베딩을 투영하고, 각 1차원 투영을 Epps–Pulley 검정 통계량으로 $\mathcal{N}(0,1)$ 과 비교합니다.
| $$\mathrm{SIGReg}\big({\mathbf{z}{b}}{b=1}^{B}\big)=\frac{1}{ | A | }\sum_{u\in A}B\int_{-\infty}^{\infty}w(t)\,\big | \hat{\varphi}_{u}(t)-e^{-t^{2}/2}\big | ^{2}\,dt,\qquad \hat{\varphi}{u}(t)=\frac{1}{B}\sum{b=1}^{B}e^{\,i t\,u^{\top}\mathbf{z}_{b} }$$ |
Cramér–Wold 정리에 의해 모든 1차원 투영이 맞으면 결합 분포가 맞습니다. 다단계 롤아웃에서는 시작점과 $K$ 개 예측 목표 각 단계의 임베딩 배치에 SIGReg를 독립적으로 적용하고 평균합니다.
$$\mathcal{R}{\mathrm{SIG} }(\mathbf{h})=\frac{1}{K+1}\sum{j=0}^{K}\mathrm{SIGReg}\big({\mathbf{h}(\mathbf{X}{n{b}+j})}_{b=1}^{B}\big)$$
| 설정 | 값 |
|---|---|
| 가중 $w(t)$ | $e^{-t^{2}/2}$, $[-3,3]$ 에서 사다리꼴 적분(짝함수이므로 $[0,3]$ 의 17개 노드 × 2) |
| 방향 수 $\lvert A\rvert$ | 1024 (비선형 혼합 관측은 64), 매 반복 재샘플 |
| $\lambda$ 탐색 | 픽셀 ${0.01,0.1,1}$, 비선형 혼합 ${0.001,0.01}$ |
🧲 2. DCL 변형 (world2vec-dcl)
학습 집합에서 균일하게 $M$ 개 음성 표본 $m_{1},\ldots,m_{M}$ 을 뽑아(배치당 한 집합을 모든 시작점이 공유) 인코딩된 시작 상태와의 근접도를 잽니다.
$$S_{n}=\sum_{i=1}^{M}e^{-|\mathbf{h}(\mathbf{X}{n})-\mathbf{h}(\mathbf{X}{m_{i} })|_{2}^{2} }$$
예측 오차 $d_{n,j}=|\hat{\mathbf{z} }{n,j}-\mathbf{h}(\mathbf{X}{n+j})|_{2}^{2}$ 에 대해 정규화기는
$$\mathcal{R}{\mathrm{DCL} }(\mathbf{h},\hat{\mathbf{f} })=\mathbb{E}\left[\sum{j=1}^{K}w_{j}\log\big(e^{-d_{n,j} }+S_{n}\big)\right]=\underbrace{\mathbb{E}[\log S_{n}]}{\text{균일성(인코더만)} }+\underbrace{\mathbb{E}\left[\sum{j=1}^{K}w_{j}\log\Big(1+\frac{e^{-d_{n,j} } }{S_{n} }\Big)\right]}_{\geq 0}$$
입니다(둘째 등호는 $\sum_{j}w_{j}=1$ 을 씁니다).
- 첫 항 은 대조 학습의 균일성(uniformity) 항(Wang & Isola 2020)으로, 인코딩된 상태가 음성 표본(특히 가까운 것)에 가까워지는 것을 벌해 임베딩을 퍼뜨립니다. 이것이 붕괴를 막는 핵심이며 인코더에만 작용합니다.
- 둘째 항 은 목적 함수를 아래로 유계로 만듭니다(각 지평이 $d_{n,j}+\log(e^{-d_{n,j} }+S_{n})\geq 0$ 을 기여). 동역학 모델이 정규화기에 들어오는 유일한 곳이지만, 예측 항의 기울기를 $1-e^{-d_{n,j} }/(e^{-d_{n,j} }+S_{n})\in(0,1)$ 배로 재조정할 뿐이어서 동역학 모델은 항상 예측 오차를 줄이는 방향으로 학습됩니다.
원래 DCL은 음성 표본을 동역학 모델의 예측 과 비교하지만 여기서는 인코딩된 시작 상태 와 비교합니다. $M\in{128,512,1024}$ (픽셀), $M=1024$ (비선형 혼합)입니다.
💡 Key Takeaway 두 정규화기 모두 “동역학이 잘 맞는가”에는 관여하지 않고 인코더가 무너지지 않게만 합니다. 그래서 Consistency·LRC·EQA 차이는 사전의 적합성 차이로 읽어야 하고, 실제로 Table 1에서 dcl이 보상, sigreg가 Consistency에서 조금 앞섭니다.
경험적 식별가능성 지표
world2vec이 구현하는 학습 원리들은 이론적으로 적어도 아핀 변환까지 일관된 표현 을 낸다고 알려져 있습니다. 문제는 이 보장을 수치 추정에서 실제로 얻는 것이므로, 저자들은 보장이 성립하는지 재는 비지도 지표를 모델 선택에 씁니다.
📏 1. 지표 정의 (Section 2, Appendix B)
| 지표 | 정의 | 무엇을 재는가 | 주의점 |
|---|---|---|---|
| Consistency (Cons.) | 독립 학습된 인코더 $\mathbf{h}{1},\mathbf{h}{2}$ 에 대해 $\max_{\mathbf{L},\mathbf{b} }R^{2}[{\mathbf{h}{2}(\mathbf{X}{n})},{\mathbf{L}\mathbf{h}{1}(\mathbf{X}{n})+\mathbf{b}}]$ 를 모든 시드 쌍에 대해 평균 | 식별가능성의 경험적 대리(CEBRA의 consistency) | 동역학은 보지 않음 |
| LRC$_{j}$ | $R^{2}[{\mathbf{h}(\mathbf{X}{n+j})},{\hat{\mathbf{z} }{n,j}}]$ | 같은 인코더–동역학 쌍 안에서 예측이 인코딩된 미래와 맞는가 | 자명한 임베딩도 높을 수 있음(붕괴에 취약) |
| EQA$_{j}$ | 예측 $\hat{\mathbf{z} }_{n,j}$ 에 가장 가까운 임베딩을 KNN으로 찾았을 때 정답 미래 관측이 top-1인 비율. 후보는 학습 집합에서 뽑은 $N=512$ 개 + 평가 관측 | 붕괴에 강건한 검색 기반 등변성 정확도(Schmidt et al. 2025) | 하이퍼파라미터 선택 기준 |
| State $R^{2}$ | 검증 집합을 둘로 나눠 선형 또는 MLP 디코더를 학습·평가 | 환경 상태를 얼마나 복호할 수 있는가 | 지도 지표(분석용) |
| iLatR$^{2}$ | 아핀 사상으로 참 잠재를 복원한 $R^{2}$ | DCL의 식별가능 잠재 지표 | 기호 회귀 실험에서 “affine recovery $R^{2}$” |
| iDynR$^{2}_{k}$ | 임베딩→참 잠재 아핀 사상을 고정하고, $k$ 단계 미래 임베딩이 참 동역학과 맞는 $R^{2}$ | 동역학 자체의 복원 | DCL의 DynR$^{2}$ |
⚠️ 2. 두 개의 평가 파이프라인
Table 1과 STab 1·4는 모든 기준선과 공유하는 별도 평가 파이프라인 을, Table 3·4의 ablation은 world2vec 학습 파이프라인 을 씁니다. 후자는 LRC $R^{2}$ 를 분산 가중 대신 잠재 차원에 균일 평균하고, 8.3 Hz Reacher 모델을 25 Hz 테스트 분할의 매 3번째 프레임(행동 평균)이 아니라 8.3 Hz 테스트 분할로 평가합니다. 따라서 LRC와 Reacher EQA는 같은 표 안에서만 비교 해야 합니다.
💡 Key Takeaway 모델 선택에 보상을 전혀 쓰지 않고 EQA만 쓴다는 점이 “보상 없는 세계 모델”의 일관된 구현입니다. 다만 Consistency는 동역학을, LRC는 붕괴를 못 보므로 세 지표를 같이 봐야 합니다.
동역학 파라미터화와 보상 없는 MPC
🧩 1. MLP 속도장과 SINDy 구조 모델
제어 실험에서 $\hat{\mathbf{f} }$ 는 잠재 상태와 행동을 변화율로 보내는 MLP입니다. 해석 가능한 대안으로 SINDy(Brunton et al. 2016)와 DYSCO(Muratore & Mathis 2026)를 따라 구조화된 모델을 적합합니다.
$$\hat{\mathbf{f} }(\mathbf{z},\mathbf{a})=\mathbf{\Xi}\,\boldsymbol{\theta}(\mathbf{z},\mathbf{a})$$
$\boldsymbol{\theta}(\mathbf{z},\mathbf{a})\in\mathbb{R}^{p}$ 는 고정된 라이브러리 특징 벡터, $\mathbf{\Xi}\in\mathbb{R}^{d\times p}$ 는 $d$ 차원 잠재 공간에 대한 학습 계수입니다. SINDy 구현은 다항식 특징과 $\mathbf{\Xi}$ 에 대한 $L_{1}$ 벌점을 씁니다.
🕹️ 2. 목표 프레임 기반 MPC (Eq. 12)
목표 프레임 시퀀스 $\mathbf{X}^{\star}$ 를 인코딩한 $\mathbf{z}^{\star}=\mathbf{h}(\mathbf{X}^{\star})$ 가 목표 상태입니다. 현재 이력 $\mathbf{X}_{n}$ 에서 계획 지평 $P$ 의 후보 행동열을 교차 엔트로피 방법(CEM)으로 샘플링하고 롤아웃해
$$\min_{\mathbf{a}{n:n+P-1} }\sum{j=1}^{P}\beta_{j}|\hat{\mathbf{z} }{n,j}-\mathbf{z}^{\star}|{2}^{2},\qquad \beta_{j}\geq 0,\ \sum_{j=1}^{P}\beta_{j}=1$$
을 행동 범위 제약 아래 최소화합니다. 선택된 계획의 앞부분만 실행하고 새 관측에서 재계획하며, 학습된 보상 모델도 상태 디코더도 쓰지 않습니다.
| 환경 | 목표 정의 |
|---|---|
| Pendulum, CartPole | 막대·진자가 위로 정지하고 카트가 중앙에 있는 프레임 시퀀스 |
| Reacher | 매 에피소드 목표가 바뀌고 두 팔 구성이 같은 끝점을 만들어 과소 결정됨. 역기구학으로 끝점을 목표에 두는 팔 구성을 계산·렌더링해 인코딩. 두 팔꿈치 구성을 모두 계획하고 평균을 보고 |
연속시간 동역학은 다른 적분 간격으로도 적분할 수 있으므로 학습과 테스트의 샘플링 주파수를 다르게 할 수 있습니다.
💡 Key Takeaway 보상 대신 “원하는 모습의 프레임”만 있으면 됩니다. 잠재 거리가 과제 목표를 대신하려면 잠재 공간이 상태의 좋은 좌표계여야 하므로, 이 설정은 표현의 질을 제어 성능으로 직접 시험하는 셈입니다.
실험 설정: 환경, 데이터, 모델, 기준선
🏟️ 1. 환경과 데이터 (Appendix D, STab 3)
DeepMind Control Suite(MuJoCo)의 Pendulum(swingup), Reacher(hard), CartPole(swingup)에서 무작위 정책만으로 64×64 RGB 프레임 200k장을 모읍니다. 전문가 궤적은 없습니다.
| 환경 | 프레임 | 에피소드 × 길이 | 샘플링 | 분할(train/val/test) | 행동 정책 |
|---|---|---|---|---|---|
| cartpole | 200,000 | 2000 × 100 | 50 Hz | 1400/300/300 | OU 잡음($\theta=0.2,\sigma=0.35$), $[-1,1]$ 클리핑, 카트가 ±1.6 m 넘으면 밀어 되돌림 |
| pendulum | 200,000 | 2000 × 100 | 25 Hz | 1400/300/300 | OU 잡음($\theta=0.2,\sigma=0.35$), $[-1,1]$ 클리핑 |
| reacher | 200,000 | 2000 × 100 | 8.3 Hz | 1400/300/300 | $[-1,1]$ 균일 토크 |
| reacher | 200,000 | 2000 × 100 | 25 Hz | 1400/300/300 | $[-1,1]$ 균일 토크 |
초기 상태는 cartpole(위치 ±1.8 m, 임의 각도, 속도 ±5 m/s·±10 rad/s), pendulum(균일 각도, 각속도 ±7 rad/s), reacher(환경 기본값, 목표 미렌더링)입니다. 식별가능성 분석용으로는 위치·각도 좌표(속도 제외)를 무작위 초기화된 단사 MLP(깊이 가변)에 통과시켜 50차원으로 투영한 비시각·비선형 관측 변형을 만듭니다.
🏗️ 2. 모델 구조와 학습
| 구성요소 | 설정 |
|---|---|
| 인코더 입력 | $H=3$ 프레임 |
| 픽셀 인코더 | 소형 ViT(16×16 패치, 폭 64·2층·4헤드, keypoint readout) + MLP 헤드(128 × 2) |
| 비선형 혼합 인코더 | 관측 시퀀스 연결 → MLP(128 × 3) |
| 동역학 | MLP(128 × 3)가 속도장 $\hat{\mathbf{f} }$ 를 파라미터화, $\mathbf{\Phi}$ 는 오일러 1단계 |
| 이산시간 기준선 | $\mathbf{\Phi}(\mathbf{z},\mathbf{a})=\mathrm{MLP}(\mathbf{z},\mathbf{a})$ 가 다음 잠재를 직접 예측 |
| 파라미터 | $d=32$ 에서 263k(인코더 221k, 동역학 42k) |
| 최적화 | Adam, lr $10^{-3}$, 코사인 감쇠, 20k 반복 |
| 학습 시간(A100 1장) | 1단계 2–6분, 20단계 약 10분, 40단계 약 30분 |
| 제어 비용 | 시뮬레이션·렌더링 포함 단계당 20–50 ms |
⚖️ 3. 기준선 (Appendix E)
| 기준선 | 학습 | 입력 | 비고 |
|---|---|---|---|
| TD-MPC2 | 온라인, 최대 100만 환경 단계, 과제별 튜닝 없음 | 64×64 | 학습된 제어기로 평가, 4시드 |
| DreamerV3 | 동상 | 64×64 | 동상 |
| LeWM | 오프라인 40 에폭, SIGReg 가중 환경별(CartPole 0.001, Pendulum·Reacher 0.1) | 224×224, 3프레임, frameskip 5 → 25 Hz 데이터에서 5 Hz | 자체 CEM 계획기. Reacher는 “원 데이터”(LeWM 공개 데이터, 25 Hz, 목표 미렌더링)와 “우리 데이터” 두 버전 |
| Baseline (SIGReg ≈ LeWM) | world2vec 프레임워크 안에서 이산 동역학 + 1단계 예측 + SIGReg | 64×64 | LeWM과 LRC·EQA 유사, 훨씬 빠름 |
| Baseline (DCL) | 동상, DCL 정규화 | 64×64 |
모든 모델은 저자들의 데이터셋의 같은 held-out 테스트 에피소드에서 평가합니다. 보상은 에피소드 길이·제어 주파수를 LeWM 설정에 맞추고 에피소드당 0–1000으로 제한합니다.
💡 Key Takeaway 비교 조건이 완전히 같지는 않습니다. 보상 기반 기준선은 온라인 학습이고, LeWM은 224×224 입력에 Reacher는 다른 데이터로 학습되었으며, Reacher 제어 주파수도 모델마다 다릅니다(8.3/25/5 Hz). 결과를 읽을 때 이 조건을 함께 봐야 합니다.
주 결과: Table 1
세 환경 평균의 Consistency·LRC${1\,s}$·EQA${1\,s}$(%)와 환경별 보상(최대 1000, 환경별 최적 계획기)입니다. 모델 시드에 대한 평균 ± 부트스트랩 표준오차입니다. Reacher에서 기준선과 world2vec은 8.3 Hz, TD-MPC2·DreamerV3는 25 Hz, LeWM(원 데이터)은 5 Hz로 동작합니다.
| 방법 |
params |
Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | Pendulum | Reacher | CartPole |
|---|---|---|---|---|---|---|---|
| DreamerV3 | 17M | 43.4 | 52.3 ± 1.4 | 52.7 ± 0.5 | 668 ± 140 | 792 ± 25 | 899 ± 6 |
| TD-MPC2 | 5M | 87.5 | 15.5 ± 2.4 | 12.1 ± 0.5 | 911 ± 2 | 744 ± 41 | 894 ± 9 |
| LeWM | 18M | 99.5 | 0.0 ± 0.0 | 1.7 ± 0.4 | 5 ± 0 | 69 ± 4 | 171 ± 5 |
| Baseline (SIGReg ≈ LeWM) | 300k | 77.4 | 37.4 ± 1.7 | 20.3 ± 1.2 | 12 ± 10 | 87 ± 6 | 201 ± 4 |
| Baseline (DCL) | 300k | 88.3 | 51.2 ± 0.8 | 11.1 ± 0.2 | 3 ± 3 | 104 ± 8 | 154 ± 8 |
| world2vec-sigreg | 300k | 96.9 | 96.1 ± 0.0 | 67.9 ± 1.0 | 434 ± 142 | 570 ± 20 | 221 ± 1 |
| world2vec-dcl | 300k | 95.5 | 97.7 ± 0.1 | 70.7 ± 0.7 | 826 ± 0 | 895 ± 16 | 232 ± 5 |
📈 1. 동역학 충실성
다단계 예측($K\in{10,20,40}$)과 오일러 적분 속도장을 결합하면 1초 LRC가 단일 단계 기준선의 37–51%에서 96–98%로 오릅니다. 30단계 지평에서는 0% 대 73–86% 입니다(Fig. 3). 이득은 고유 동역학이 큰 Pendulum·CartPole에서 가장 뚜렷합니다. 보상 기반 모델은 세 과제 모두 높은 보상을 내지만 Reacher를 제외하면 잠재 예측이 빈약합니다.
🎮 2. 제어
world2vec MPC는 Reacher와 Pendulum을 풉니다. world2vec-dcl은 두 환경에서 DreamerV3를, Reacher에서 TD-MPC2를 앞서고, LeWM보다 각 과제에서 800점 이상 높습니다. world2vec-sigreg도 두 과제를 풀되 보상이 조금 낮습니다. CartPole은 보상 없는 세계 모델에게 여전히 열린 문제 입니다(221–232 대 DreamerV3 899).
🔗 3. 일관성
선형 식별가능성 이론(Roeder et al. 2021)이 예측하듯 잠재 세계 모델은 학습 실행 간 일관된 표현을 배웁니다. world2vec과 LeWM은 평균 Consistency 95% 이상, TD-MPC2 87.5%, DreamerV3 43.4%입니다.
🔍 4. 환경별 구성 (STab 1)
Table 1의 행은 환경별로 다른 구성의 평균입니다. 25 Hz Reacher 결과도 함께 보고됩니다.
| 방법 | 환경 | $d$ | $\lambda$ | $K$ (s) | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | Reward |
|---|---|---|---|---|---|---|---|---|
| world2vec-sigreg | Pendulum | 32 | 1 | 20 (0.8 s) | 95.8 | 98.5 ± 0.1 | 85.6 ± 1.4 | 434 ± 141 |
| Reacher 25 Hz | 32 | 1 | 20 (0.8 s) | 96.3 | 99.0 ± 0.1 | 96.3 ± 0.4 | 759 ± 10 | |
| Reacher 8.3 Hz | 32 | 1 | 20 (2.4 s) | 97.6 | 95.6 ± 0.2 | 77.6 ± 1.8 | 570 ± 20 | |
| CartPole | 32 | 1 | 40 (0.8 s) | 97.4 | 94.1 ± 0.1 | 40.4 ± 1.3 | 221 ± 1 | |
| world2vec-dcl | Pendulum | 128 | – | 20 (0.8 s) | 99.7 | 99.8 ± 0.0 | 87.5 ± 0.8 | 826 ± 0 |
| Reacher 25 Hz | 32 | – | 20 (0.8 s) | 98.5 | 99.0 ± 0.0 | 97.3 ± 0.2 | 618 ± 4 | |
| Reacher 8.3 Hz | 128 | – | 10 (1.2 s) | 95.1 | 95.7 ± 0.1 | 85.4 ± 1.4 | 895 ± 16 | |
| CartPole | 128 | – | 40 (0.8 s) | 91.8 | 97.7 ± 0.1 | 39.0 ± 0.1 | 232 ± 5 |
CEM 계획기(STab 2)는 반복 6회(Reacher 25 Hz는 12회), 지평 4–24 모델 단계, 행동 유지 2–4단계, 전방 주시 0.48–1.92 s이며 Pendulum·CartPole은 Ramp, Reacher는 Flat 비용 가중을 씁니다.
💡 Key Takeaway Table 1에서 “best planner per environment”라고 했지만 Reacher 행은 8.3 Hz 구성입니다. world2vec-sigreg는 25 Hz 구성(759)이 8.3 Hz(570)보다 높아 표 선택 기준에 따라 수치가 달라집니다. Pendulum sigreg의 ±141·±142는 시드 분산이 매우 크다는 뜻이고, 같은 값이 Table 1에는 ±142, STab 1에는 ±141로 적혀 있습니다.
Reacher 목표 도달 프로토콜과 LeWM의 지표–계획 분리
Table 1 설정에서 LeWM 보상이 낮으므로, 저자들은 LeWM 자체의 목표 도달 프로토콜(Reacher)로도 비교합니다. 25 또는 200 데이터셋 단계 앞의 목표에 대한 성공률(%)과 에피소드당 계획 시간(25단계 목표 기준)입니다. 예산은 50단계로 고정됩니다(STab 4 설명에는 “2 s budget”).
| 방법 | 성공 25 steps | 성공 200 steps | s/ep. |
|---|---|---|---|
| LeWM | 81.6 ± 2.4 | 52.9 ± 3.8 | 8.64 ± 0.12 |
| world2vec-sigreg 25 Hz | 85.8 ± 1.0 | 72.4 ± 0.2 | 2.61 ± 0.06 |
| world2vec-dcl 25 Hz | 86.2 ± 1.1 | 80.2 ± 1.6 | 2.55 ± 0.03 |
| world2vec-sigreg 8.3 Hz | 78.9 ± 1.4 | 76.0 ± 2.2 | 1.08 ± 0.07 |
| world2vec-dcl 8.3 Hz | 75.8 ± 2.7 | 77.6 ± 2.8 | 1.00 ± 0.01 |
25단계 목표에서는 대등하고, 200단계 장기 계획에서는 world2vec이 확실히 앞서며, 계획은 3–8배 빠릅니다.
🧪 1. LeWM 두 버전의 비교 (STab 4)
| 방법 | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | Reward | 성공 25 | 성공 200 | s/ep |
|---|---|---|---|---|---|---|---|
| LeWM (원 데이터) | 99.4 | 0.0 | 4.7 ± 1.0 | 69 ± 4 | 81.6 ± 2.4 | 52.9 ± 3.8 | 8.64 ± 0.12 |
| LeWM (우리 데이터) | 99.7 | 95.2 ± 0.3 | 85.6 ± 0.6 | 21 ± 4 | 14.7 ± 1.4 | 2.4 ± 0.2 | 8.32 ± 0.03 |
| world2vec-sigreg 25 Hz | 96.3 | 99.0 ± 0.1 | 96.3 ± 0.4 | 759 ± 10 | 85.8 ± 1.0 | 72.4 ± 0.2 | 2.61 ± 0.06 |
| world2vec-sigreg 8.3 Hz | 97.6 | 95.6 ± 0.2 | 77.6 ± 1.8 | 570 ± 20 | 78.9 ± 1.4 | 76.0 ± 2.2 | 1.08 ± 0.07 |
| world2vec-dcl 25 Hz | 98.5 | 99.0 ± 0.0 | 97.3 ± 0.2 | 618 ± 4 | 86.2 ± 1.1 | 80.2 ± 1.6 | 2.55 ± 0.03 |
| world2vec-dcl 8.3 Hz | 95.1 | 95.7 ± 0.1 | 85.4 ± 1.4 | 895 ± 16 | 75.8 ± 2.7 | 77.6 ± 2.8 | 1.00 ± 0.01 |
🔀 2. 롤아웃 지표와 계획이 분리되는 현상
world2vec과 같은 Reacher 데이터로 학습한 LeWM(우리 데이터)은 1초 LRC 95.2%, EQA 85.6%에 이르지만 보상은 21, 25단계 목표 성공률은 14.7%에 그칩니다. 반대로 LeWM(원 데이터)은 저자들의 테스트 분할로의 전이가 나빠 LRC 0.0%이지만 원 프로토콜에서는 81.6% 성공합니다. 두 버전이 데이터 수집 정책·모델 단계·구성을 공유하므로 저자들은 이 격차를 일반화 문제로 봅니다. LRC·EQA는 held-out 무작위 행동 에피소드에서 재지만, CEM은 그 분포에서 드문 상태에 도달하는 행동열을 평가하므로 예측기가 외삽을 못 하면 무너진다는 것입니다. world2vec에서는 롤아웃 지표와 계획이 일치하며, 저자들은 속도장 파라미터화와 다단계 학습 덕이라고 가설을 세웁니다.
💡 Key Takeaway “LRC·EQA가 높으면 제어가 된다”는 world2vec에서만 성립했고 LeWM에서는 깨졌습니다. 비지도 지표를 모델 선택에 쓰려면 이 결합이 성립하는 모델 계열인지가 전제 조건입니다.
Ablation: 학습 지평 $K$ 와 연속시간 동역학
⏱️ 1. 학습 지평 (Table 3)
오일러 ODE 동역학의 world2vec에 대해 $K$ 를 1·10·20·40으로 바꾼 결과입니다. 잠재 폭(과 sigreg의 SIGReg 가중)은 셀별로 검증 EQA에서 선택했고, 3시드 평균 ± 부트스트랩 SE, 모두 %입니다. 굵은 행이 Table 1에 쓰인 구성입니다. 평가 파이프라인이 Table 1과 다르므로 LRC와 Reacher EQA는 표 안에서만 비교해야 합니다.
(a) world2vec-dcl
| 환경 | $K$ (s) | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | State $R^{2}$ |
|---|---|---|---|---|---|
| pendulum | 1 (0.04 s) | 99.9 | 85.7 ± 1.2 | 37.2 ± 3.3 | 97.4 ± 0.1 |
| 10 (0.4 s) | 100.0 | 95.3 ± 0.1 | 84.6 ± 0.2 | 98.0 ± 0.1 | |
| 20 (0.8 s) | 99.7 | 93.6 ± 0.9 | 87.7 ± 0.6 | 97.7 ± 0.2 | |
| 40 (1.6 s) | 99.1 | 92.1 ± 0.3 | 85.3 ± 0.3 | 97.0 ± 0.1 | |
| reacher | 1 (0.12 s) | 96.0 | 90.1 ± 2.8 | 16.0 ± 5.4 | 70.0 ± 1.8 |
| 10 (1.2 s) | 98.2 | 97.8 ± 0.0 | 98.6 ± 0.0 | 96.3 ± 0.3 | |
| 20 (2.4 s) | 97.3 | 97.6 ± 0.1 | 98.2 ± 0.1 | 94.6 ± 0.4 | |
| 40 (4.8 s) | 82.1 | 98.0 ± 0.0 | 95.8 ± 0.5 | 91.9 ± 1.2 | |
| cartpole | 1 (0.02 s) | 95.7 | 0.0 | 0.6 ± 0.0 | 64.4 ± 0.5 |
| 10 (0.2 s) | 95.3 | 89.8 ± 0.1 | 18.2 ± 0.1 | 67.7 ± 0.2 | |
| 20 (0.4 s) | 98.5 | 93.2 ± 0.2 | 29.3 ± 0.5 | 86.6 ± 0.2 | |
| 40 (0.8 s) | 93.2 | 95.2 ± 0.1 | 38.7 ± 0.3 | 79.8 ± 0.8 |
(b) world2vec-sigreg
| 환경 | $K$ (s) | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | State $R^{2}$ |
|---|---|---|---|---|---|
| pendulum | 1 (0.04 s) | 99.7 | 59.3 ± 3.7 | 32.5 ± 0.1 | 98.3 ± 0.1 |
| 10 (0.4 s) | 92.3 | 84.3 ± 1.1 | 77.6 ± 0.7 | 98.3 ± 0.0 | |
| 20 (0.8 s) | 95.4 | 90.2 ± 0.7 | 85.5 ± 0.5 | 98.3 ± 0.0 | |
| 40 (1.6 s) | 96.2 | 92.8 ± 0.2 | 84.6 ± 0.8 | 98.0 ± 0.0 | |
| reacher | 1 (0.12 s) | 93.7 | 61.5 ± 0.2 | 24.3 ± 0.2 | 74.5 ± 0.4 |
| 10 (1.2 s) | 92.1 | 98.2 ± 0.2 | 97.9 ± 0.2 | 91.5 ± 0.4 | |
| 20 (2.4 s) | 96.9 | 98.7 ± 0.0 | 98.1 ± 0.1 | 94.7 ± 0.2 | |
| 40 (4.8 s) | 94.9 | 98.5 ± 0.0 | 97.9 ± 0.0 | 94.0 ± 0.1 | |
| cartpole | 1 (0.02 s) | 95.5 | 0.0 | 3.1 ± 0.2 | 38.4 ± 0.0 |
| 10 (0.2 s) | 80.5 | 83.5 ± 0.8 | 20.3 ± 0.6 | 38.2 ± 0.0 | |
| 20 (0.4 s) | 71.1 | 86.4 ± 0.4 | 28.3 ± 0.4 | 38.3 ± 0.1 | |
| 40 (0.8 s) | 97.2 | 88.9 ± 0.2 | 37.0 ± 0.3 | 38.9 ± 0.0 |
world2vec-sigreg에서 지평을 1단계에서 20단계로 늘리면 LRC가 Pendulum 59.3→90.2%, Reacher 61.5→98.7%, CartPole 0.0→86.4%로 오릅니다. 단일 단계를 충분히 벗어나기만 하면 특정 $K$ 값에 민감하지 않습니다. 반면 CartPole sigreg의 State $R^{2}$ 는 $K$ 와 무관하게 38–39%에 머물러, dcl(64–87%)과 뚜렷이 다릅니다.
🔄 2. 이산시간 vs 연속시간 (Table 4)
$K=20$, 3프레임 인코더로, 이산 MLP 전이 $\mathbf{\Phi}(\mathbf{z},\mathbf{a})=\mathrm{MLP}(\mathbf{z},\mathbf{a})$ 와 오일러 적분 ODE를 잠재 폭 $d\in{\text{state dim},32,128}$ 에서 비교합니다. 세 환경 평균 후 3시드 평균 ± SE, 모두 %, State $R^{2}$ 는 MLP 복호입니다.
(a) world2vec-dcl
| 동역학 | $d$ | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | State $R^{2}$ |
|---|---|---|---|---|---|
| 이산시간 | state dim | 88.2 | 95.1 ± 0.1 | 67.6 ± 0.5 | 70.5 ± 0.5 |
| 32 | 37.3 | 50.9 ± 1.7 | 10.6 ± 1.3 | 39.0 ± 2.2 | |
| 128 | 2.2 | 0.8 ± 0.2 | 0.3 ± 0.0 | 9.7 ± 1.5 | |
| 연속시간 | state dim | 90.0 | 95.7 ± 0.1 | 69.2 ± 0.5 | 83.8 ± 0.4 |
| 32 | 98.5 | 94.3 ± 0.1 | 71.1 ± 0.3 | 92.8 ± 0.3 | |
| 128 | 97.3 | 94.0 ± 0.3 | 71.7 ± 0.2 | 93.0 ± 0.0 |
(b) world2vec-sigreg
| 동역학 | $d$ | Cons. | LRC$_{1\,s}$ | EQA$_{1\,s}$ | State $R^{2}$ |
|---|---|---|---|---|---|
| 이산시간 | state dim | 63.3 | 93.7 ± 0.1 | 62.3 ± 0.9 | 62.3 ± 0.8 |
| 32 | 95.1 | 90.0 ± 0.7 | 65.2 ± 0.9 | 64.8 ± 0.2 | |
| 128 | 75.2 | 60.1 ± 2.8 | 28.7 ± 1.5 | 69.0 ± 1.4 | |
| 연속시간 | state dim | 82.4 | 92.5 ± 0.2 | 64.2 ± 0.9 | 69.9 ± 1.8 |
| 32 | 97.3 | 92.4 ± 0.3 | 70.4 ± 0.2 | 77.1 ± 0.1 | |
| 128 | 95.8 | 76.9 ± 7.1 | 42.3 ± 7.5 | 72.2 ± 0.6 |
저차원 잠재에서는 이산 MLP 동역학도 SOTA 기준선을 넘는 LRC를 냅니다(dcl state dim 95.1%, sigreg $d=32$ 90.0%). 그러나 이산 dcl은 $d$ 가 커지면 붕괴 합니다($d=128$ 에서 Consistency 2.2%, LRC 0.8%). 오일러 ODE는 잠재 폭 전반에서 최고 모델 기준으로 더 높은 Consistency, 같거나 높은 LRC, 높은 EQA, 나은 상태 복호를 줍니다. 이는 표준 예측기를 쓰는 잠재 세계 모델이 속도 정보를 모델링하지 못한다 는 Gonzalez Laiz & Schneider(2026)의 분석과 일치하며, 상태 $\mathbf{z}$ 대신 상태 변화 $\dot{\mathbf{z} }$ 를 모델링하는 것이 이 실패를 상쇄합니다.
💡 Key Takeaway 두 ablation의 메시지는 “다단계는 필수, 연속시간은 폭에 대한 강건성”입니다. 다만 Table 3의 LRC·EQA는 Table 1과 다른 파이프라인이므로(예: dcl pendulum $K=20$ LRC 93.6 vs STab 1의 98.5) 표 간 수치를 직접 잇지 않아야 합니다.
임베딩 기하, 시간 척도 재조정, 비선형 혼합에서의 식별가능성
🌀 1. 임베딩 기하가 환경 구조를 반영 (Fig. 4)
Reacher는 두 팔 각도 $(\theta_{0},\theta_{1})$ 로 표현됩니다. 데이터 수집 중 $\theta_{0}$ 는 360도 회전을 모두 수행하지만 $\theta_{1}$ 은 첫 팔에 대해 좌우로만 회전하고 완전한 원운동은 관측되지 않습니다. PCA 투영에서 $\theta_{0}$ 는 원형 경계 로, $\theta_{1}$ 은 열린 경계의 선형 으로 인코딩되어 이 구조가 그대로 드러납니다.
⏩ 2. ODE 파라미터화의 유연한 샘플링 (Fig. 5)
Reacher에서 10 Hz로 학습한 world2vec-dcl($K=20$) 모델을 같은 시작 상태·목표에 대해 (a) 학습한 10 Hz로, (b) 오일러 적분 간격을 줄여 50 Hz로(행동을 2단계 유지해 제어율 25 Hz) 계획합니다.
| 설정 | 적분 간격 | 재계획 | 에피소드 보상 |
|---|---|---|---|
| native | 0.1 s | 10 Hz | 903 |
| retimed | 0.02 s | 25 Hz | 952 |
재조정된 제어기가 원래 제어기 이상으로 동작합니다. 이산 전이 MLP로는 불가능한, 연속시간 모델링의 직접적 이점입니다.
🧬 3. CartPole 비선형 혼합 관측에서의 식별가능성 (Fig. 6)
저자들은 식별가능성 분석을 어떤 보상 없는 세계 모델도 픽셀에서 풀지 못한 CartPole 에 집중합니다. 픽셀 대신 상태를 점점 깊은 비선형 혼합 함수(1–5층)에 통과시킨 관측을 씁니다. 이 설정에서는 아핀까지의 표현 일관성과 시간에 따른 충실한 동역학을 기대하되, 잡음 없는 계에서 일부 차원의 변동성이 부족하므로 상태의 선형 복원은 기대하지 않습니다.
| 혼합 깊이 | LRC | EQA | 보상 (world2vec) | 보상 (기준선) |
|---|---|---|---|---|
| 1층 | 약 90% | 75–85% | 약 850 | 200–300 |
| 5층 | 60–75% | 35–50% | 약 700 | 200–300 |
1단계 기준선은 2층 이상에서 붕괴하고, world2vec-dcl이 가장 덜 열화해 5층에서도 LRC 75% 이상을 유지합니다. 두 world2vec 변형 모두 비선형 혼합 관측에서 CartPole을 풉니다. 저자들은 이 과제의 EQA와 픽셀 관측의 EQA 격차가 크지 않으므로, 동역학 추정을 더 개선하면 픽셀로 전이할 수 있으리라 전망합니다.
💡 Key Takeaway CartPole 실패는 표현 학습 원리의 실패가 아니라 픽셀 인코딩의 문제라는 것이 저자들의 해석입니다. 비선형 혼합 50차원 관측에서는 같은 목적 함수로 약 850의 보상이 나옵니다.
기호 회귀: world2vec-SINDy와 71개 카오스 끌개
🔬 1. 설정 (Section 4.1, Appendix F)
해석 가능한 잠재 동역학을 위해 SINDy와 결합한 world2vec-SINDy 는 행동 없는 형태 $\dot{\mathbf{z} }=\mathbf{\Xi}\,\boldsymbol{\theta}(\mathbf{z})\in\mathbb{R}^{d}$ 를 씁니다. $\boldsymbol{\theta}(\mathbf{z})\in\mathbb{R}^{p}$ 는 상수를 포함해 차수 $q$ 까지의 모든 단항식이고, 희소 계수 행렬 $\mathbf{\Xi}\in\mathbb{R}^{d\times p}$ 의 $i$ 번째 행이 $z_{i}$ 의 지배 방정식입니다.
| 항목 | 설정 |
|---|---|
| 벤치마크 | dysts 데이터베이스의 71개 strange chaotic attractor(Gilpin 2021; SINDy 벤치마크에 쓰인 바 있음) |
| 궤적 | 시스템당 1,000개 × 1,000단계, RK4, 단계 크기 $\Delta t_{s}$ = Gilpin의 시스템별 값 × 10 |
| 초기 조건 | 정준 초기 상태에서 1,000단계 참조 궤적 → 앞 100단계 버림 → 좌표별 최소·최대 사이 균일 샘플. 비유한 또는 $\lvert\cdot\rvert>10^{6}$ 궤적은 재샘플 |
| 과정 잡음 | 매 RK4 단계 후 $\mathbf{s}{t+1}=\mathbf{\Phi}{\mathrm{RK4} }(\mathbf{s}{t})+\boldsymbol{\epsilon}{t}$, 변수 $i$ 의 표준편차 $\alpha\,\sigma_{s,i}\sqrt{\Delta t_{s}/T_{s} }$ ($\sigma_{s,i}$ 끌개 표준편차, $T_{s}$ 참조 주기), $\alpha\in{0,0.1,0.5,1.0}$ |
| 혼합 | 고정 4층 MLP + 선형 투영 → $n=50$ 차원(Zimmermann et al. 2021 방식) |
| 분할 | 궤적 단위 70:15:15 |
| 인코더 | 3층 MLP(128), 1단계 world2vec 목적($K=1$), 오일러 대신 RK4 적분 |
| 동역학 모델 | 항등($\hat{\mathbf{z} }{t+1}=\mathbf{z}{t}$), MLP 속도장(RK4), SINDy(차수 $q\in{2,3}$ 는 알려진 것으로 가정, $\lambda_{\mathrm{SINDy} }|\mathbf{\Xi}|{1}$ 에 $\lambda{\mathrm{SINDy} }=10^{-5}$, 학습 중 계수 임계화 없음) |
| 학습 | 10,000 반복, DCL 정규화 가중만 $\lambda\in{0.01,0.1,0.5,1.0}$ 에서 튜닝, 검증 LRC$_{50}$ 최고 앙상블 선택 후 검증 집합 결과 보고 |
$K>1$ 로 늘리면 추가 개선이 기대되지만 후속 연구로 남겼습니다.
📊 2. 결과 (Fig. 7)
(a) $\alpha=0.1$ 에서 71개 시스템. world2vec-SINDy는 잠재 상태·동역학 복원 지표 전반에서 항등 예측기를 크게 앞서고 MLP와 대등합니다. 세 동역학 모델 계열 모두 높은 Consistency 앙상블을 얻고, SINDy·MLP에서는 많은 시스템에서 높은 아핀 복원 $R^{2}$ 가 동반됩니다. 여러 시스템에서 SINDy·MLP 롤아웃이 인코더의 미래 임베딩(LRC${50}$)과 정렬된 참 롤아웃(iDynR$^{2}{50}$) 모두와 일치합니다.
(b) 과정 잡음이 선형 상태 복원을 가능케 함. 참 상태에 과정 잡음을 더하면 모든 차원에 변동이 생겨 상태 정보의 선형 복원이 가능해져야 합니다(DCL·잠재 분포 매칭 이론). 네 잡음 수준에서 시스템 간 중앙값과 사분위 범위는 다음과 같습니다.
| 지표 | 항등 | MLP | SINDy |
|---|---|---|---|
| 중앙값 아핀 복원 $R^{2}$, $\alpha=0\to 1.0$ | 0.4 → 0.8 | 0.8 → 0.98 | 0.7 → 0.97 |
| Consistency, $\alpha=1.0$ | 약 0.99 | 약 0.99 | 약 0.99 |
| LRC$_{50}$ | 잡음이 상한을 정해 $\alpha$ 와 함께 감소 | 동상 | 동상 |
| iDynR$^{2}_{50}$ (고잡음) | 크게 뒤처짐 | 100%에 근접 | 100%에 근접 |
과정 잡음은 최적 잠재 예측을 불가능하게 만들어 LRC의 상한을 낮춥니다. 선형 상태 발견이 이루어지는 영역($\alpha>0.5$)에서는 LRC 대신 iDynR$^{2}_{50}$ 이 동역학 충실성의 의미 있는 지표가 되고, 고잡음에서 100%에 가깝습니다.
✍️ 3. 잠재 지배 방정식의 복원 (Fig. 7c)
MLP의 “블랙박스” 흐름장과 달리 SINDy 파라미터화는 비선형 혼합된 고차원 관측에서 해석 가능한 방정식 을 복원합니다. 절차는 다음과 같습니다.
- 검증 LRC$_{50}$ 상위 10개 시스템을 고릅니다.
- 시드마다 잠재 좌표계가 다르므로, 검증 LRC${50}$ 이 가장 높은 시드 $r$ 을 참조로 삼고 각 시드 $j\neq r$ 에 대해 $\mathbf{z}^{(r)}\approx\mathbf{L}{j\to r}\mathbf{z}^{(j)}+\mathbf{b}{j\to r}$ 를 최소제곱으로 적합합니다. $\dot{\mathbf{z} }^{(r)}=\mathbf{L}{j\to r}\dot{\mathbf{z} }^{(j)}$ 이므로 계수 행렬은 $\mathbf{\Xi}{j\to r}=\mathbf{L}{j\to r}\mathbf{\Xi}{j}\mathbf{M}{j\to r}$ 로 변환되며, $\mathbf{M}_{j\to r}\in\mathbb{R}^{p\times p}$ 는 아핀 좌표 변환 아래 다항식 특징의 변환입니다.
- 공통 좌표계에서 세 모델의 평균 쌍별 Frobenius 거리 $D=\frac{1}{3}\sum_{1\leq j<k\leq 3}|\mathbf{\Xi}{j\to r}-\mathbf{\Xi}{k\to r}|_{F}$ 가 가장 작은 시스템(SprottA)을 선택합니다. 정렬과 거리 기준 모두 참 잠재 상태나 동역학 없이 학습된 임베딩과 계수만 씁니다.
- 시각화를 위해서만 임베딩→참 상태 최소제곱 회귀로 아핀 부정성을 추정해 계수를 참 좌표계로 변환하고 0.1에서 임계화합니다.
저자들은 후속으로 Muratore & Mathis(2026)의 비지도 기호 회귀 기법과, 고정 라이브러리를 기계론적 해석가능성 도구(SAE, 희소 코딩 기반 개념 발견)로 종단간 학습하는 방향을 제안합니다.
💡 Key Takeaway 기호 회귀 실험은 제어 실험과 설정이 다릅니다($K=1$, RK4, 행동 없음, 다항식 차수를 아는 것으로 가정). “71개 끌개에서 방정식을 복원했다”가 아니라, 지표상 MLP와 대등하고 선택된 한 시스템 에서 방정식을 시각화했다는 것이 정확한 서술입니다.
한계와 읽을 때 주의할 점
⚠️ 1. 저자가 밝힌 한계
- 고려한 환경이 비교적 단순 합니다. 데이터 수집 개선·확장(온라인 수집 포함), 다중 환경 학습, 덜 이상적인 조건에서의 목적 함수 식별가능성 연구를 후속 방향으로 듭니다.
- CartPole은 픽셀에서 보상 없는 세계 모델에게 미해결입니다(Fig. 6은 비선형 혼합 관측에서는 풀림을 보임).
- 기호 회귀는 $K=1$ 에 머물렀고 다항식 최대 차수를 아는 것으로 가정했습니다.
- 원고 작성·실험 코드·플롯 코드에 생성형 AI 도구를 썼음을 명시합니다(저자 검토 후 책임은 저자에게).
🔍 2. 표를 대조하면 보이는 점
- SOTA 주장의 범위 : 초록은 “픽셀에서 연속 환경 제어의 SOTA”라고 하지만 Table 1에서 Pendulum 최고는 TD-MPC2(911 vs 826), CartPole 최고는 DreamerV3(899 vs 232)입니다. world2vec이 앞서는 것은 Reacher(895)와 보상 없는·오프라인 범주 안에서입니다.
- 파라미터 수 표기 : 본문은 $d=32$ 주 모델을 263k라 하고 Table 1은 “300k”로 적습니다. 또 Table 1의 dcl 행은 Pendulum·Reacher 8.3 Hz·CartPole에서 $d=128$ 구성이므로(STab 1) 실제 파라미터 수는 263k와 다를 것입니다.
- Reacher 행 선택 : Table 1은 “환경별 최적 계획기”라면서 Reacher는 8.3 Hz 행을 씁니다. sigreg는 25 Hz(759)가 8.3 Hz(570)보다 높습니다. 표준오차도 Pendulum sigreg가 Table 1 ±142, STab 1·2 ±141로 다릅니다.
- 비교 조건의 비대칭 : 보상 기반 기준선은 온라인 100만 단계, LeWM은 224×224 입력과 5 Hz, Reacher는 다른 학습 데이터입니다. 저자들도 LeWM(원 데이터)의 낮은 LRC·EQA가 분포 이동 때문이라고 인정합니다.
- 목표 도달 예산 : Table 2 캡션은 “budget kept at 50 steps”, STab 4 캡션은 “2 s budget”입니다. 25 Hz에서 50단계 = 2 s이므로 같은 뜻일 수 있으나 8.3 Hz 모델에 대한 해석은 명시되지 않습니다.
- 시드 수 : ablation은 3시드, 기준선은 4시드이며 Table 1의 world2vec 시드 수는 본문에 명시되지 않습니다. Pendulum sigreg의 ±141은 시드 간 변동이 매우 크다는 뜻입니다.
- Fig. 6 수치의 폭 : 본문은 5층에서 LRC “60–75%”라 하면서 dcl은 “75% 이상”이라고 적어 경계가 겹칩니다. 그림 기반 서술이므로 정확한 수치는 보고되지 않습니다.
- 참고문헌 중복 : Wang & Isola(2020)가 36·37번에 두 번 실려 있습니다.
💡 Key Takeaway 견고한 결과는 (1) 다단계·연속시간 조합이 잠재 롤아웃 충실성을 극적으로 올린다는 것, (2) 그 모델이 Reacher·Pendulum을 보상 없이 푼다는 것, (3) 300k급 모델로 LeWM보다 3–8배 빠르게 계획한다는 것입니다. “SOTA 제어”와 “71개 끌개 시스템 식별”은 범위를 좁혀 인용해야 합니다.