You know maize mean?
ULIFlow: Unified Latent Human-Object Interaction Flow
0. Summary
기본 정보 : ArXiv,2026.10.16, ULIFlow: Unified Latent Human-Object Interaction Flow
연구 배경
텍스트 조건 3D 인간–물체 상호작용(Human–Object Interaction, HOI) 생성은 사람의 움직임과 물체의 궤적을 언어 설명으로부터 동시에 합성하는 과제다. 문제는 사람 동작과 물체 동작이 각각 그럴듯해도 둘을 합치면 일관된 상호작용이 되지 않는다는 점이다. 공간적으로 어긋나거나 몸이 물체를 뚫고 들어가는(interpenetration) 현상이 흔하며, 논문은 이를 “조정(coordination)의 부재”라고 부른다. 기존 연구는 손으로 만든 접촉 규칙이나 운동학 제약, affordance 예측 모델, 이진 접촉 라벨 기반 contact loss 같은 접촉 전용 정규화로 이를 보완해 왔다. 저자들은 근본 원인이 골격(skeleton) 기반 표현에만 의존하는 관행에 있다고 본다. 골격은 몸 내부 구조를 압축적으로 잘 설명하지만, 실제 접촉이 일어나는 몸 표면의 기하 정보는 암묵적으로만 담기기 때문에 잠재 공간에 접촉 정보가 약하게 인코딩되고, 결국 별도의 접촉 모델링이 필요해진다는 진단이다.
제안 방법
ULIFlow는 사람 동작·물체 동작·그리고 둘 사이의 연속적인 기하 관계(continuous relation) 를 하나의 통합 잠재 공간에서 함께 모델링한다. 먼저 사람을 골격 대신 희소한 몸 표면 마커(body-surface markers, 77개) 로 표현하고, 각 마커에서 가장 가까운 물체 표면점까지의 오프셋·거리·1차/2차 시간 변화·정준 좌표계상의 접촉 위치를 묶어 관계(relation) 모달리티를 명시적으로 만든다. 이 세 스트림(human, object, relation)은 Mixture-of-Transformers(MoT) 오토인코더로 인코딩되는데, 모달리티별 정규화·FFN은 분리하고 어텐션만 공유하여 각 스트림의 구조를 보존하면서 교차 정보를 교환한다. 특히 디코더에서 관계 스트림이 사람·물체 복원에 직접 참여하도록(relation-coupled decoding) 설계해, 관계가 단순 보조 타깃이 아니라 궤적 재구성을 안내하는 신호가 되게 한다. 생성은 이 잠재 공간에서 Flow Matching + DiT로 수행하며, 가변 길이 생성을 위해 Diffusion Forcing을 블록 단위로 변형한 blockwise Flow Forcing과 전체 시퀀스 내 위치를 알려주는 sequence-progress 조건 $p\in[0,1]$ 을 도입한다.
발견 사실
InterAct 벤치마크에서 ULIFlow는 FID 0.812로 기존 최고 방법인 InterAct(1.768)와 LIGHT(8.054)를 크게 앞서고, R-Precision·MModality에서도 최고 수준을 기록했다. 물리적 조정 측면에서는 몸–물체 관통 비율이 실측 데이터와 같은 0.003까지 내려갔고(InterAct·LIGHT는 0.006), 사람·물체의 jerk 통계도 실제 동작에 가장 가까웠다. 학습 윈도(128프레임)를 넘어 256·384프레임을 생성해도 하위 시퀀스 품질과 연속 경계의 매끄러움이 유지되었으며, 고정 크기 컨텍스트 덕분에 길이가 늘어도 메모리가 거의 증가하지 않았다(512프레임에서도 약 3.28 GiB). 어블레이션에서는 MoT를 평범한 평면 Transformer로 바꿨을 때 가장 큰 성능 저하가 나타났고, 관계 경로를 제거하면 접촉 recall이 69.7%에서 51.1%로 떨어지고 물체가 접촉 없이 이동하는 비율이 28.6%에서 50.8%로 급증했다. 즉 관계 모달리티가 “물체를 몸에서 떼어놓는” 식이 아니라 실제 접촉을 재현하는 방식으로 조정을 개선한다.
핵심 기여
- ULIFlow 프레임워크 : 연속적인 인간–물체 기하 관계를 명시적 모달리티로 모델링하여, 접촉 전용 정규화나 휴리스틱 상호작용 설계 없이 데이터로부터 조정된 동역학을 직접 학습하는 텍스트 조건 HOI 생성 프레임워크를 제안했다. 요청된 어떤 길이로도 생성이 가능하다.
- Mixture-of-Transformers 오토인코더 : 모달리티별 변환과 공유 어텐션으로 human·object·relation 스트림을 함께 인코딩하고, 관계 인식 디코딩(relation-aware decoding)으로 세 스트림을 하나의 잠재 필드에서 복원하는 구조를 설계했다.
- Blockwise Flow Forcing : 유한 윈도 학습과 점진적 롤아웃을 정렬하는 블록 단위 플로우 시간 스케줄을 설계하여, 학습 지평선을 넘어선 안정적인 HOI 생성을 가능하게 했다.
관련 개념
텍스트 조건 인간–물체 상호작용(HOI) 생성
인간–물체 상호작용(Human–Object Interaction, HOI) 생성은 “의자를 들어 올린다”, “상자를 밀어 옮긴다” 같은 텍스트 설명과 물체 기하가 주어졌을 때, 사람의 전신 동작 $H$ 와 강체(rigid) 물체의 궤적 $O$ 를 함께 합성하는 문제입니다. 단일 주체의 텍스트-투-모션(text-to-motion)과 달리 두 개의 서로 다른 운동학 구조가 정밀하게 맞물려야 한다는 점이 어렵습니다.
🧩 1. 문제 정의
| 입력 | 출력 |
|---|---|
| 텍스트 프롬프트 $c$ | 사람 동작 $H={h_t}{t=1}^{T}$, $h_t={\bm{p}^H{t,j}}_{j=1}^{N}$ (마커 위치) |
| 물체 기하 $G$ | 물체 궤적 $O=(\bm{p}^O, \bm{r}^O)$ — 평행이동 $\mathbb{R}^{T\times 3}$ + 연속 6D 회전 $\mathbb{R}^{T\times 6}$ |
| 요청 길이 $T$ | 프레임 $t$ 의 결합 상태 $x_t=(\bm{p}^H_t,\bm{p}^O_t,\bm{r}^O_t)$ |
⚠️ 2. 왜 어려운가: “개별 그럴듯함 ≠ 상호작용 일관성”
| 증상 | 설명 |
|---|---|
| 공간 불일치(misalignment) | 손은 잡는 동작을 하는데 물체는 다른 위치에 떠 있음 |
| 관통(interpenetration) | 몸 표면이 물체 메시 안으로 들어감 |
| 물체 표류(drift) | 접촉 없이 물체가 혼자 움직임 |
기존 해법은 크게 두 갈래였습니다.
| 계열 | 대표 | 한계 |
|---|---|---|
| 규칙·제약 기반 | CG-HOI, CHOIS, HOI-Diff(affordance 모델) | 과제별 가정과 수작업이 필요 |
| 공동 모델링 | 상호작용 토크나이제이션, 모달리티 인식 융합, LIGHT(비동기 디노이징 가이던스) | 여전히 관통 아티팩트가 남고, LIGHT는 기하 임계값으로 만든 이진 접촉 라벨 손실을 사용 |
사람–사람 동작 생성에서는 공동 모델링이 잘 통했지만, HOI에서는 사람과 물체의 운동학 구조가 달라 기하적 결합이 훨씬 까다롭습니다.
💡 Key Takeaway 논문의 진단은 “공동 모델링 자체가 틀린 것이 아니라, 골격만으로는 접촉이 일어나는 표면 기하를 표현할 수 없어서 잠재 공간에 조정 정보가 약하게 담긴다”는 것입니다. 해법은 표현을 바꾸는 데서 시작합니다.
인간 동작 표현: 관절 vs 표면 마커
인간 동작 표현(human motion representation) 은 생성 모델이 사람 몸을 어떤 변수로 기술하느냐의 문제입니다. ULIFlow는 관행적인 관절(joint) 기반 표현 대신 몸 표면 마커(body-surface markers) 를 채택합니다.
🦴 1. 세 가지 표현의 비교
| 표현 | 설명 | 장점 | 단점 |
|---|---|---|---|
| 관절/골격 (HumanML3D류, 22·52 joint) | 관절 위치·회전 | 압축적, 운동학 기술에 적합 | 몸 표면 정보 부재 → 접촉 단서가 암묵적 |
| 파라메트릭 바디 모델 (SMPL, SMPL-X) | 포즈·형상 파라미터로 표면 메시 복원 | 풍부한 표면 기하 | 메시 전체는 무겁고 생성 타깃으로 쓰기 번거로움 |
| 표면 마커 (MOJO, InterAct) | 표면에 분포한 희소 점(여기서는 77개) | 표면 정보를 압축적으로 유지, 골격에 없는 동작 정보 포착 | 관절 표현보다 차원이 큼 |
📍 2. 논문에서 마커가 하는 역할
- InterAct 데이터셋이 제공하는 77-마커 레이아웃을 그대로 사용합니다.
- 마커 위치에서 관계 표현(다음 절) 을 직접 유도합니다. 접촉은 표면에서 일어나므로, 표면 점이 있어야 “어디가 물체에 얼마나 가까운가”를 계산할 수 있습니다.
- 평가도 마커 공간에서 합니다. 베이스라인들(SMPL-X 출력, 22/52 관절 출력)은 공식 변환 절차로 SMPL-H/SMPL-X에 피팅한 뒤 같은 77개 정점 인덱스로 마커를 추출합니다. Text2HOI는 손만 생성하므로 중립 SMPL-X 몸체에 손 포즈만 구동합니다.
💡 Key Takeaway 마커 표현은 “관절의 압축성”과 “메시의 표면 정보” 사이의 절충입니다. ULIFlow에서 마커는 생성 타깃이자 관계 모달리티를 계산하는 재료입니다.
연속 관계 표현(Continuous Relation Representation)
연속 관계 표현은 ULIFlow의 핵심 아이디어로, 사람과 물체 사이의 기하적 관계를 이진 접촉 라벨이 아닌 연속 값으로 매 프레임·매 마커마다 계산하여 별도의 모달리티 $R$ 로 취급하는 것입니다. 사람 동작 $H$ 와 물체 궤적 $O$ 로부터 결정론적으로 유도되므로 접촉 주석이나 의사 라벨이 전혀 필요 없습니다.
📐 1. 국소 관계(local relation): 마커–물체
매 프레임 $t$, 마커 $j$ 에 대해 가장 가까운 물체 표면점 $\bm{s}^O_{t,j}$ 를 찾고 상대 오프셋을 정의합니다.
\[\bm{\delta}_{t,j} = \bm{s}^O_{t,j} - \bm{p}^H_{t,j}, \qquad d_{t,j} = \lVert \bm{\delta}_{t,j} \rVert_2\]순간적인 근접도만으로는 상호작용이 어떻게 변해 가는지 알 수 없으므로 1차·2차 시간 변화 $\nabla\bm{\delta}{t,j}$, $\nabla^2\bm{\delta}{t,j}$ 를 추가하고, 물체의 어느 부위에 닿는지 기억하기 위해 정준(canonical) 물체 좌표계의 표면점 $\bar{\bm{s}}^O_{t,j}$ 도 포함합니다.
\[\bm{r}_{t,j} = \left(\bm{\delta}_{t,j},\; d_{t,j},\; \nabla\bm{\delta}_{t,j},\; \nabla^2\bm{\delta}_{t,j},\; \bar{\bm{s}}^O_{t,j}\right)\]같은 구성을 물체–지면 쌍에도 적용합니다. 물체 중심을 지면에 투영한 $\bm{q}^{\mathrm{gnd}}t=\Pi{\mathrm{gnd}}(\bm{p}^O_t)$ 를 써서 $\bm{r}^{\mathrm{gnd}}_t$ 를 얻습니다.
🌐 2. 전역 관계(global relation): 루트–물체
마커 평균을 사람의 루트 대리값으로 삼아 $\bm{p}^{\mathrm{root}}t = N^{-1}\sum_j \bm{p}^H{t,j}$, 물체까지의 벡터 $\bm{\gamma}_t=\bm{p}^O_t-\bm{p}^{\mathrm{root}}_t$, 거리 $\rho_t=\lVert\bm{\gamma}_t\rVert_2$ 와 그 시간 변화를 묶습니다.
\[\bm{r}^{\mathrm{global}}_t = (\bm{\gamma}_t,\; \rho_t,\; \nabla\bm{\gamma}_t,\; \nabla^2\bm{\gamma}_t)\]최종 관계 표현은 $R=(R^{\mathrm{local}}, R^{\mathrm{global}})$ 입니다. 국소·지면·전역 세 그룹은 수치 스케일이 달라 각각 독립적으로 정규화한 뒤 토큰화합니다.
🆚 3. 이진 접촉 라벨과의 차이
| 이진 접촉 라벨 (예: LIGHT의 contact loss) | 연속 관계 표현 (ULIFlow) | |
|---|---|---|
| 정보량 | 닿았다/안 닿았다 | 방향·거리·속도·가속도·접촉 부위 |
| 임계값 의존 | 있음 (기하 threshold) | 없음 |
| 역할 | 손실 항(정규화) | 생성·복원되는 모달리티 |
💡 Key Takeaway 관계 표현은 “접촉을 벌점으로 가르치는” 대신 “상호작용 기하 자체를 학습 타깃으로 승격“시킵니다. 그래서 논문은 contact-specific regularization 없이도 조정이 학습된다고 주장합니다.
토크나이제이션과 Mixture-of-Transformers(MoT) 오토인코더
MoT 오토인코더는 서로 구조가 다른 human·object·relation 스트림을 하나의 잠재 필드 $Z$ 로 압축했다가 세 스트림을 모두 복원하는 1단계 모델입니다. 핵심은 “모달리티를 섞되 뭉개지 않는다”입니다.
🎫 1. 토큰 구성 (프레임당)
마커 수준의 사람·관계 필드는 강체 물체 상태보다 훨씬 조밀하므로, 학습된 쿼리로 먼저 비슷한 크기의 토큰 집합으로 줄입니다(Perceiver식 쿼리 집계).
| 스트림 | 토큰 | 개수 |
|---|---|---|
| Human | 8개 몸 부위 쿼리가 77 마커 집계 + 루트 토큰 + 발 토큰 | 11 |
| Object (동적) | 프레임당 포즈 토큰 | 1 |
| Object (정적 기하) | Basis Point Set(BPS) 디스크립터를 4개 기하 쿼리로 요약 | 4 (시퀀스 전체) |
| Relation | 8개 관계 쿼리 + 물체–지면 토큰 + 루트–물체 토큰 | 10 |
학습된 identity 인코딩이 마커 부위·관계 유형·엔티티·모달리티를 구분하고, 마커–부위 할당과 마커–물체 근접도가 쿼리 집계를 안내합니다.
🔀 2. MoT 블록: 공유 어텐션 + 라우트별 변환
세 입력 스트림은 실제로는 4개의 계산 라우트(human dynamics, object pose, static geometry, relation dynamics)로 구현됩니다. 라우트 $s$ 의 한 블록은 다음과 같습니다.
\[\widetilde{X}^s = X^s + \operatorname{Attn}\!\left(\operatorname{LN}_s(X^s),\; \{\operatorname{LN}_{s'}(X^{s'})\}_{s'}\right)\] \[Y^s = \widetilde{X}^s + \operatorname{FFN}_s\!\left(\operatorname{LN}'_s(\widetilde{X}^s)\right)\]- 쿼리는 자기 라우트, 키·값은 모든 라우트의 연결(concatenation) → 교차 모달 정보 교환
- LayerNorm과 FFN은 라우트별로 분리 → 모달리티 고유 구조 보존
- 시간 RoPE는 물리적 시간을 갖는 동적 토큰에만 적용, 정적 기하 토큰은 identity만 유지
⏱️ 3. 시간 압축과 잠재 필드
모든 프레임을 유지하면 잠재 필드가 길이에 비례해 커지므로, 동적 라우트를 공유 시간 앵커로 압축합니다. 앵커 수는 $K=\min(32,\lceil T/4\rceil)$ 이고, 앵커 선택은 균일 커버리지 0.5 · 관계 돌출도(relation saliency) 0.3 · 운동 에너지 0.2 비율의 하이브리드 기준을 씁니다. 앵커 토큰은 게이트 어텐션으로 전체 시간 스트림의 정보를 보강합니다.
\[\bar{x}_{k,s} = x_{a_k,s} + g_{k,s}\odot\sum_{t=1}^{T}\alpha_{k,s,t}V_s x_{t,s}, \qquad \sum_t \alpha_{k,s,t}=1\]128프레임 윈도 기준으로 32 앵커 × (11 + 1 + 10) 토큰 + 4 정적 기하 토큰 = 708 토큰, 각 토큰은 $d_z=16$ 차원으로 투영됩니다.
\[Z = \mathcal{N}_{\mathrm{EMA}}\!\left(\mathcal{E}_{\mathrm{MoT}}(X^H, X^O, X^R)\right), \qquad (\hat H,\hat O,\hat R) = \mathcal{D}_{\mathrm{MoT}}(Z)\]🔗 4. 관계 결합 디코딩(relation-coupled decoding)
디코더(8개 MoT 블록 + 시간 조밀화 4층)는 매 프레임에서 관계 쿼리가 human·object-pose·geometry·relation 특징을 모은 뒤, human 마커 쿼리와 object 포즈 쿼리가 디코딩된 관계 항목을 함께 읽어 궤적을 복원합니다. 마지막에 프레임별 결합 블록이 세 집합을 한 번 더 갱신한 뒤 예측 헤드가 $(\hat H,\hat O,\hat R)$ 를 내놓습니다. 관계가 “복원해야 할 추가 타깃”에 그치지 않고 사람·물체 복원을 직접 안내하게 만드는 장치입니다.
💡 Key Takeaway 같은 잠재 필드 $Z$ 로 세 스트림을 모두 복원하도록 강제하면, $Z$ 는 개별 동역학과 둘을 조정하는 기하를 함께 담을 수밖에 없습니다. 어블레이션에서 MoT를 평면 Transformer로 바꾸면 비슷한 파라미터 수(약 60.4M)에도 마커 오차가 1.35cm → 3.81cm로 나빠지고 유효 랭크가 82% → 7%로 붕괴합니다.
잠재 정규화와 화이트닝(Whitening)
잠재 정규화는 2단계 플로우 모델이 학습하기 좋은 고정되고 잘 조건화된 타깃 공간을 만드는 절차입니다. 모달리티별 라우트는 스케일이 제각각인 채널을 만들기 쉬우므로 세 단계로 다듬습니다.
🧮 1. 세 단계
| 단계 | 내용 |
|---|---|
| EMA 정규화 $\mathcal{N}_{\mathrm{EMA}}$ | 채널별 이동 평균·분산(모멘텀 0.99)으로 $z^{\mathrm{rec}}{i,c}=(z^{\mathrm{raw}}{i,c}-m_c)/\sqrt{v_c+\epsilon}$, 통계는 그래디언트 없이 갱신 |
| 공분산 정규화 $\mathcal{L}_{\mathrm{cov}}$ | 0이 아닌 평균, 비대각 공분산, 대각 공분산의 1 이탈에 벌점 (가중치 $10^{-2}$, 10k 스텝 후 켜서 30k 스텝에 완전 적용) |
| ZCA 화이트닝 | 오토인코더 학습 후 유효 잠재의 공분산 $C=U\operatorname{diag}(\lambda)U^\top$ 로 $W=U\operatorname{diag}(\tilde\lambda^{-1/2})U^\top$, $z^{\mathrm{white}}=(z^{\mathrm{rec}}-\mu)W^\top$ |
플로우 모델은 $z^{\mathrm{white}}$ 공간에서 학습하고, 디코딩 전에 고정 역변환 $z^{\mathrm{rec}} = z^{\mathrm{white}}(W^{-1})^\top+\mu$ 로 되돌립니다.
🛡️ 2. 잡음 강건 디코더 미세조정
생성된 잠재는 인코딩된 학습 매니폴드 위에 정확히 놓이지 않습니다. 그래서 토크나이저·인코더를 고정하고 디코더만 화이트닝 공간의 가우시안 섭동(최대 $\sigma_{\max}=0.125$, 2k→20k 스텝 동안 선형 증가, 25%는 무섭동 유지)에 노출시켜 30k 스텝 추가 학습합니다. 디코딩된 마커·물체 평행이동의 유한차분 속도·가속도 손실(계수 0.5, 0.25)도 더합니다.
| $\sigma$ | 원본 디코더 마커 오차(cm) | 강건 디코더 마커 오차(cm) | 원본 jerk | 강건 jerk |
|---|---|---|---|---|
| 0.00 | 1.348 | 1.344 | 1.328 | 0.682 |
| 0.10 | 3.530 | 2.688 | 2.370 | 0.856 |
| 0.20 | 6.550 | 4.753 | 4.017 | 1.234 |
💡 Key Takeaway 유효 랭크(entropy-based effective rank) 82.15%라는 수치가 보여 주듯, 이 절차들은 분산을 잠재 방향 전반에 고르게 분배합니다. 논문은 재구성 품질 못지않게 잠재 공간의 “활용도”가 하류 생성 학습에 중요하다는 최근 연구 흐름을 따릅니다.
Flow Matching과 조건부 잠재 DiT
Flow Matching(FM) 은 잡음 분포에서 데이터 분포로 가는 속도장(velocity field) 을 직접 회귀하는 생성 모델링 기법으로, rectified flow와 같은 계열입니다. 확산 모델과 달리 노이즈 스케줄 대신 직선 보간 경로를 쓰기 때문에 목적함수와 샘플링이 단순합니다.
🧮 1. 기본 수식 (논문의 표기)
유효 잠재 토큰 $z_i$ 마다 잡음 $\epsilon_i\sim\mathcal{N}(0,I)$ 를 뽑고, 플로우 시간 $\tau_i\in[0,1]$ ($0$=잡음, $1$=데이터)에 대해
\[z_i(\tau_i) = (1-\tau_i)\,\epsilon_i + \tau_i\, z_i, \qquad u_i = z_i - \epsilon_i\]타깃 속도 $u_i$ 는 직선 경로의 기울기입니다. 모델 $v_\psi$ 는 이를 회귀합니다.
\[\mathcal{L}_{\mathrm{FM}} = \mathbb{E}_{Z,\epsilon,\bm{\tau}}\left[\frac{1}{|\Omega|\,d_z}\sum_{i\in\Omega}\left\lVert v_{\psi,i}(Z_{\bm\tau},\bm\tau\mid c,G,p) - u_i\right\rVert_2^2\right]\]$\Omega$ 는 유효 토큰 집합, $d_z=16$ 은 잠재 채널 수입니다. 샘플링은 Euler 적분 $Z^{(k+1)} = Z^{(k)} + \tfrac{1}{S}v_\psi(\cdot)$ 로 $S=32$ 스텝을 돕니다.
🏗️ 2. 조건부 DiT 구조
\[v_\psi(Z_{\bm\tau},\bm\tau\mid c,G,p) = \mathcal{F}_\psi(Z_{\bm\tau};\, c,\, G,\, \bm\tau,\, p)\]| 요소 | 설정 |
|---|---|
| 백본 | DiT, 너비 384, 12층, 6 헤드, 라우트별 adaptive normalization·FFN + 공유 어텐션 |
| 텍스트 조건 $c$ | 고정 FLAN-T5-XL 인코더 |
| 기하 조건 $G$ | BPS 디스크립터를 16개 학습 쿼리로 집계 |
| 진행 조건 $p$ | 윈도 중심의 정규화 위치, 텍스트·기하 라우트를 통해 주입 후 공유 어텐션으로 잠재 라우트에 전달 |
| CFG | 두 조건 유지 0.7, 텍스트만·기하만·무조건 각 0.1 |
| 학습 | 110k 스텝 AdamW, EMA 0.9999, bf16, 유효 배치 96 (RTX 5080 ×3) |
생성 타깃에는 동적 토큰뿐 아니라 4개의 정적 잠재 기하 토큰도 포함되며, 이는 입력 $G$ 에서 계산되는 기하 조건과는 별개입니다.
💡 Key Takeaway 플로우 시간 $\bm\tau$ 는 “얼마나 디노이즈됐는가”만 말해 줄 뿐 “이 윈도가 전체 상호작용의 어디쯤인가”는 말해 주지 않습니다. 그 빈칸을 채우는 것이 sequence-progress 조건 $p$ 입니다.
Blockwise Flow Forcing과 가변 길이 롤아웃
Blockwise Flow Forcing은 Diffusion Forcing(토큰마다 독립적인 노이즈 레벨을 부여해 “부분적으로 디노이즈된 과거”로부터 이어 생성하는 법을 배우는 기법)을 블록 단위 Flow Matching으로 옮긴 것입니다. 128프레임 고정 윈도로만 학습하면서도 요청된 임의 길이 $T$ 를 생성하기 위한 장치입니다.
🧱 1. 학습 스케줄
- 동적 토큰을 시간 앵커 기준으로 묶어 연속 8개 앵커 = 1 블록으로 만듭니다.
- 블록 $b$ 마다 공유 플로우 시간 $\tau_b\sim\mathcal{U}(0,1)$ 을 독립 샘플링합니다(Diffusion Forcing의 토큰 단위와 다름). 정적 기하 토큰은 별도 플로우 시간, 조건 토큰은 무섭동.
- 블록 인과 마스크로 뒤 블록 정보가 앞 블록 예측에 새지 않게 합니다. 블록 내부는 양방향.
($\mathcal{C}$ 는 텍스트·기하 조건 토큰 집합)
이렇게 하면 모델은 “앞 블록은 거의 깨끗하고 뒤 블록은 잡음인” 상황, 즉 인과적 이어 생성을 학습 중에 반복 경험합니다.
🎞️ 2. 엇갈린(staggered) 롤아웃 추론
윈도는 $w$ 개 블록을 담고 그중 $h$ 개는 완전히 디노이즈된 이력(history) 으로 유지합니다(기본 $w=4$, $h=1$, $S=32$). 블록 간 스케줄 오프셋 $\Delta=\lceil S/(w-h)\rceil$ 로 앞 블록이 먼저 데이터 끝점에 도달하게 합니다.
\[\tau_b(k) = \operatorname{clip}\!\left(\frac{k-(b-1)\Delta}{S},\,0,\,1\right), \qquad Z_b^{(k+1)} = Z_b^{(k)} + \frac{1}{S}\,v_{\psi,b}\!\left(Z^{(k)},\bm\tau^{(k)}\mid c,G,p\right)\]가장 이른 활성 블록이 $\tau=1$ 에 도달하면 고정 컨텍스트가 되고 윈도가 한 칸 전진하며 새 잡음 블록이 들어옵니다. $p$ 는 윈도의 전역 위치에 따라 갱신됩니다. 정적 기하 토큰은 첫 블록 스케줄에서 적분한 뒤 고정합니다. 디코딩은 겹치는 잠재 윈도 단위로 하고 마지막 경계만 잘라 정확히 $T$ 프레임을 맞춥니다.
📈 3. 효율: 길이가 늘어도 메모리는 그대로
| 프레임 | 블록 | 속도 평가 횟수 | 시간(s) | 최대 VRAM(GiB) |
|---|---|---|---|---|
| 128 | 4 | 65 | 2.817 | 3.267 |
| 256 | 8 | 109 | 4.827 | 3.270 |
| 384 | 12 | 153 | 6.927 | 3.274 |
| 512 | 16 | 197 | 9.367 | 3.277 |
고정 크기 컨텍스트 덕분에 런타임은 속도 평가 횟수에 비례해 늘지만 메모리는 거의 일정합니다.
💡 Key Takeaway 블록 단위 포싱은 “이어 생성하는 법”을, 진행 조건 $p$ 는 “지금이 상호작용의 어느 단계인지”를 가르칩니다. 둘 중 하나만 빼도 초반 동작은 멀쩡하지만 후반 롤아웃에서 사람–물체 조정이 서서히 무너집니다(Fig. 5, Table C·D).
실험 설정: InterAct 벤치마크와 평가 지표
InterAct는 7개 기존 데이터셋을 통합한 21.81시간 분량의 텍스트 주석 3D 전신 HOI 벤치마크로, 몸 표면 마커 표현을 기본 제공합니다. ULIFlow는 공식 분할을 따르고 학습 시 128프레임 마스킹 윈도를 샘플링합니다.
📏 1. 지표 체계
| 범주 | 지표 | 의미 |
|---|---|---|
| 생성 품질 (InterAct 고정 평가기, 77마커 + 128 BPS = 615차원 → 256차원 특징) | FID ↓, R-Precision(Top-1/2/3) ↑, MM-Dist ↓, Diversity →, MModality ↑ | 텍스트-투-모션 표준 지표 |
| 물리적 타당성 | 관통 비율 ↓, 평균/P95/최대 관통 깊이(cm) ↓ | 마커의 물체 메시 내부 부호 거리 $q_{t,j}=\max(\operatorname{sdf}{O_t}(\bm p^H{t,j}),0)$ |
| 관계 조정 | 접촉 recall/precision/F1, 손 접촉, 접촉 거리, 비지지 이동(unsupported travel), 관계 속도 갭 | 생성된 사람–물체 쌍끼리 거리 $d_t=\min_{j,k}\lVert\bm p^H_{t,j}-\bm s^O_{t,k}\rVert_2$, 임계값 2cm |
| 운동 안정성 | 사람/물체 jerk의 평균·Peak·AUJ → | 3차 유한차분 $\Delta^3\bm x_t=\bm x_t-3\bm x_{t-1}+3\bm x_{t-2}-\bm x_{t-3}$ |
| 장기 생성 | 128프레임 비중첩 하위 시퀀스 품질, 경계 중심 64프레임 윈도의 FID·Peak jerk·AUJ | 연속 경계의 매끄러움 |
“→” 표시 지표는 실측 통계에 가까울수록 좋음을 뜻합니다(현실 동작이 jerk를 최소화하지는 않기 때문).
🥊 2. 베이스라인
Text2HOI, CHOIS, HOI-Diff, InterAct, LIGHT 다섯 가지. 표현이 달라 모두 77마커로 변환한 뒤 같은 고정 평가기로 채점하며, 각 방법은 공개 체크포인트가 지원하는 하위 집합에서만 평가합니다. 월드 프레임이 다르면 초기 상태로 추정한 단일 강체 변환만 적용하고 미래 GT는 쓰지 않습니다. 결과는 3개 시드의 평균±표준편차입니다.
💡 Key Takeaway 조정 지표를 설계할 때 논문은 “관통이 줄어든 게 물체를 몸에서 멀리 떼어놓아서는 아닌지”를 확인하기 위해 접촉 recall과 비지지 이동 비율을 함께 봅니다. 이 쌍이 있어야 관통 감소가 진짜 조정 개선인지 판별할 수 있습니다.
주요 결과
ULIFlow는 InterAct 전체와 BEHAVE·OMOMO 하위 집합 모두에서 분포 품질(FID) 1위를 기록했고, 물리적 조정과 장기 생성에서도 일관된 우위를 보였습니다.
🏆 1. 생성 품질 (Table 1, InterAct 전체)
| 방법 | FID ↓ | R-Prec Top-1 ↑ | Top-3 ↑ | MM-Dist ↓ | Diversity → (GT 11.939) | MModality ↑ |
|---|---|---|---|---|---|---|
| InterAct | 1.768 | 0.749 | 0.968 | 4.507 | 11.416 | 3.253 |
| LIGHT | 8.054 | 0.584 | 0.807 | 7.280 | 11.042 | 3.019 |
| ULIFlow w/o MoT | 3.113 | 0.841 | 0.971 | 5.457 | 11.458 | 3.361 |
| ULIFlow w/o relation | 1.244 | 0.861 | 0.976 | 4.890 | 11.677 | 3.253 |
| ULIFlow | 0.812 | 0.852 | 0.972 | 4.852 | 11.833 | 3.617 |
관계 경로를 뺀 변형이 R-Precision에서는 근소하게 높지만, 완전 모델이 FID·Diversity·MModality에서 가장 좋습니다. 하위 집합(BEHAVE FID 3.396 vs InterAct 5.080, OMOMO FID 1.367 vs 2.356)에서도 같은 경향이며, 하위 집합 전용 미세조정 없이 동일 모델을 썼습니다.
🧲 2. 물리적 조정
| 방법 | 관통 비율 ↓ | 평균 깊이(cm) ↓ | P95 ↓ | 최대 ↓ |
|---|---|---|---|---|
| Ground Truth | 0.003 | 0.622 | 1.366 | 1.585 |
| InterAct | 0.006 | 0.905 | 2.002 | 2.421 |
| LIGHT | 0.006 | 0.905 | 2.037 | 2.513 |
| ULIFlow | 0.003 | 0.845 | 1.805 | 2.163 |
Jerk에서도 사람 평균 jerk 0.608(GT 0.546), 물체 평균 jerk 0.846(GT 0.796)으로 실측에 가장 가깝습니다. InterAct(0.216)와 LIGHT(0.342)는 오히려 과하게 매끄러운 쪽으로 치우칩니다.
🔭 3. 장기 생성 (Table 2)
128프레임 하위 시퀀스에서 FID 2.686(InterAct 3.097, LIGHT 5.658), R-Prec Top-1 0.753(0.698, 0.583). 경계 중심 64프레임 윈도에서 FID 3.415, Peak jerk 1.203(GT 1.530)으로 InterAct(1.734)보다 실측에 가깝습니다.
💡 Key Takeaway 가장 눈에 띄는 숫자는 관통 비율이 실측과 같은 0.003이라는 점입니다. 접촉 손실 없이 관계 모달리티만으로 여기까지 도달했다는 것이 논문의 핵심 주장을 뒷받침합니다.
어블레이션: 무엇이 효과를 내는가
어블레이션은 (1) 오토인코더 구조, (2) 관계 경로, (3) 롤아웃 설계 세 축으로 진행됩니다.
🏗️ 1. 오토인코더 설계 (Table 5, 파라미터 약 60.4–60.7M으로 맞춤)
| MoT | 잠재 정규화 | 관계 분기 | 마커 오차(cm) ↓ | 물체 평행이동(cm) ↓ | 물체 회전(deg) ↓ | 유효 랭크(%) ↑ |
|---|---|---|---|---|---|---|
| ✗ | ✓ | ✓ | 3.805 | 3.174 | 10.393 | 6.96 |
| ✓ | ✓ | ✗ | 1.297 | 1.757 | 1.512 | 72.73 |
| ✓ | ✗ | ✓ | 1.367 | 1.148 | 1.516 | 47.80 |
| ✓ | ✓ | ✓ | 1.348 | 1.263 | 1.520 | 82.15 |
- 평면 Transformer로 바꾸면 모든 항목이 급격히 악화됩니다. 같은 파라미터 예산에서도 모달리티 인식 처리가 결정적입니다.
- 관계 분기를 추가해도 사람·물체 재구성 오차는 거의 그대로입니다. 즉 관계 모델링이 재구성 용량을 잠식하지 않습니다.
- 잠재 정규화를 빼면 재구성은 비슷하지만 유효 랭크가 47.8%로 떨어집니다.
🤝 2. 관계 경로가 조정에 미치는 효과 (Table G·H, 1,189개 공통 조건)
| 지표 | w/o relation | ULIFlow | GT |
|---|---|---|---|
| 접촉 recall (%) ↑ | 51.128 | 69.680 | 100 |
| 손 접촉 recall (%) ↑ | 46.176 | 68.850 | 100 |
| 접촉 거리 (cm) ↓ | 4.042 | 2.697 | 1.130 |
| 비지지 이동 (%) ↓ | 50.839 | 28.624 | 27.764 |
| 관계 속도 갭 (cm/frame) ↓ | 0.144 | 0.030 | 0 |
| 관통 비율 (%) ↓ | 0.583 | 0.379 | 0.295 |
접촉 임계값을 1·2·5cm로 바꿔도 precision·recall·F1 모두 완전 모델이 앞서며(2cm F1: 55.9% → 67.2%), 비지지 이동이 GT 수준(27.8%)까지 내려온 것은 관통 감소가 “물체를 떼어놓아서”가 아님을 보여 줍니다.
🎞️ 3. 롤아웃 설계 (Table C·D)
| 프레임 | 진행 조건 | 블록 포싱 | FID ↓ (128프레임 하위 시퀀스) | 경계 Peak jerk → (GT ≈0.85) |
|---|---|---|---|---|
| 256 | ✗ | ✓ | 4.888 | 1.275 |
| 256 | ✓ | ✗ | 3.862 | 1.322 |
| 256 | ✓ | ✓ | 3.789 | 1.192 |
| 384 | ✗ | ✓ | 4.383 | 1.263 |
| 384 | ✓ | ✗ | 3.639 | 1.299 |
| 384 | ✓ | ✓ | 3.367 | 1.176 |
학습 지평선(128) 안에서는 세 변형이 비슷하지만, 길이가 늘수록 완전 설계의 우위가 커집니다. 진행 조건은 시퀀스 수준 품질에, 블록 포싱은 경계의 급격한 변화 억제에 상보적으로 기여합니다.
💡 Key Takeaway 세 어블레이션이 가리키는 바는 일관됩니다. 모달리티를 분리해 처리하는 구조가 토대이고, 관계 모달리티가 조정을 만들며, 블록 포싱 + 진행 조건이 그 조정을 긴 길이까지 유지시킵니다.
한계와 남는 질문
논문에 별도의 한계 절은 없지만, 본문과 표에서 읽히는 제약과 저자들이 명시한 사항을 정리하면 다음과 같습니다.
🔍 1. 결과에서 보이는 트레이드오프
| 관찰 | 내용 |
|---|---|
| R-Precision | 관계 분기를 뺀 변형(Top-1 0.861)이 완전 모델(0.852)보다 근소하게 높음. 관계 모달리티가 텍스트 정합성 자체를 올리지는 않음 |
| MM-Dist | InterAct(4.507)가 ULIFlow(4.852)보다 좋음 |
| 하위 집합 R-Precision | OMOMO에서 InterAct가 R-Precision 전 구간에서 앞섬(0.838 vs 0.796) |
| 베이스라인 비교의 비대칭 | 베이스라인은 각자 지원하는 하위 집합에서만 평가되고, 관절·SMPL 출력을 마커로 변환하는 과정이 개입함 |
🧭 2. 설정상의 제약
- 강체 물체만 다룹니다(평행이동 + 6D 회전). 관절이 있거나 변형되는 물체는 범위 밖입니다.
- 관계 표현은 “가장 가까운 물체 표면점”에 의존하므로 물체 메시가 필요하며, 관통 지표도 유효 메시가 있는 시퀀스(공통 125개)에서만 계산됩니다.
- 학습 윈도는 128프레임이고 추론 컨텍스트도 $w=4$ 블록으로 고정되어 있어, 아주 긴 상호작용에서 1블록 이력($h=1$)만으로 장기 의존성을 얼마나 유지하는지는 384프레임까지만 검증되었습니다.
- 저자들은 윤리 진술에서 생성 결과가 데이터셋의 편향과 커버리지 한계를 물려받을 수 있음을 밝힙니다.
💡 Key Takeaway ULIFlow의 강점은 분포 품질과 물리적 조정에 집중되어 있고, 텍스트 정합성(R-Precision, MM-Dist)에서는 InterAct와 엎치락뒤치락합니다. “관계 모달리티가 무엇을 개선하고 무엇은 개선하지 않는지”를 표가 비교적 정직하게 보여 줍니다.