0. Summary

  • 기본 정보 : ArXiv,2026.10.23, Detecting Temporal Concepts in Video Transformers via a No-False-Positives Test
  • 연구 배경 : 비디오 모델은 구조상 여러 프레임에 걸쳐 정의되는 시간 개념(temporal concept, 예: 물체의 움직임)을 인코딩할 수 있다. 그러나 움직임과 외형 변화는 물리적으로 결합되어 있어, “왼쪽으로 움직임”을 인코딩하는 것처럼 보이는 피처가 실제로는 “물체가 위치 $x$에 있음”, “물체가 위치 $x-\delta$에 있음” 같은 정적(static) 개념들의 조합일 수 있다. 저자들은 이를 결합 문제(coupling problem) 라 부르고, 본질적으로 거짓 양성(false positive) 문제로 본다. 기존의 벤치마크 평가, 선형 프로빙, SAE 분석 모두 이 가능성을 배제하지 못한다.
  • 제안 방법 : 균일한 회색 배경 위에서 흰 공 하나만 움직이는 합성 비디오를 자극(stimulus)으로 쓰고, 모든 시각 $t$에서 공의 위치 분포가 화면 전체를 균일하게 덮도록(coverage condition) 시작 위치를 화면 밖까지 샘플링한다. 그러면 현재 위치에만 의존하는 정적 피처의 기대 활성은 $t$에 무관한 상수가 되어, 어떤 시간 개념 프로파일 $\tau$와도 기대 공분산이 정확히 0이 된다. 따라서 비디오 내 공분산의 표본 평균이 유의하게 0이 아니면 그 방향은 정적일 수 없다는 No-False-Positives(NFP) 검정을 정리로 증명한다. 이 검정을 VideoMAE, V-JEPA2, TimeSformer의 최종 레이어 차원 축과 L1 SAE 피처에 적용하고, 교차 프레임 어텐션이 없는 DINOv2를 음성 대조군으로 쓴다.
  • 발견 사실 : 세 비디오 모델 모두에서 시간 피처가 발견되며, 차원 축의 28.7~92.1%가 플래그되고 대부분이 가속도 크기 $ a $와 공변한다. DINOv2에서는 축·SAE 피처 모두 0개가 플래그되어 검정이 거짓 양성을 내지 않음을 경험적으로 확인한다. 평면 시간 부분공간을 심은 합성 표현 공간에서는 시간 성분 비율 $\beta^{2}$가 $6.3\times10^{-5}$만 돼도 20/20 방향이 검출되고, 플래그된 SAE 피처는 노름의 0.582를 시간 부분공간에 두어 비플래그 피처(0.003)의 198배였다. 반면 플래그된 시간 SAE 피처의 스팬을 지우는 개입은 SSv2 정확도에 모델마다 다른 효과를 내며, 비시간 피처 기준선보다 일관되게 크지 않았다.
  • 핵심 기여 :
    1. 형식적 특이도 보장이 있는 NFP 검정 : 합성 자극과 커버리지 조건 아래 정적 피처의 기대 공분산이 0임을 증명해(Theorem 1), 플래그된 피처가 “증명 가능하게 비정적”이라는 성질을 제공한다. Pearson 상관으로는 이 성질이 깨짐을 반례로 보이고(Appendix D), 임의의 교란 변수에 적용되는 일반 프레임워크(Theorem 2)와 다중 교란 변수 확장을 제시한다.
    2. 세 비디오 모델의 시간 피처 존재 확인과 합성 검증 : 차원 축과 SAE 피처 수준에서 시간 피처를 검출하고, 통제된 합성 표현 공간에서 검출률이 방향의 시간 투영 비율에 따라 단조 증가하며 SAE를 거쳐도 검정의 의도된 동작이 유지됨을 보인다. 얽힌 자극 세트가 어떤 오해를 낳는지도 실증한다(Appendix N).
    3. 개입 결과의 솔직한 보고와 이론적 한계의 명시 : 시간 피처 소거·증폭·클램핑이 비시간 기준선보다 일관되게 나은 효과를 내지 못함을 보고하고, NFP 프레임워크 안에서는 “이 방향이 특정 개념 $\tau$를 인코딩한다”는 주장이 근거를 가질 수 없음을 보인다(Theorem 3, 보편 용매 부재).

Abstract 쉬운 설명(Claude)

한마디로 이 논문은 AI가 영상 속 ‘움직임’을 정말 이해하는지, 아니면 이해하는 척만 하는지 가려내는 시험을 만든 연구입니다.

문제: 움직임을 아는 것처럼 보여도 착각일 수 있습니다. 공이 왼쪽에서 오른쪽으로 굴러가는 영상을 AI에게 보여 준다고 해 봅시다. AI 내부에 공이 움직일 때마다 반응하는 부분(논문의 ‘특징’)이 있다면, 움직임을 감지한다고 생각하기 쉽습니다.

하지만 실제로는 사진 한 장씩만 보면서 “왼쪽에 공이 있네”, “오른쪽에 공이 있네”라고 위치만 확인하고 있을 수도 있습니다. 공이 움직이면 위치도 바뀌니 겉보기에는 움직임에 반응하는 것과 구별하기 어렵습니다. 말하자면 시험 답은 맞혔는데, 원리를 이해했는지 요령으로 맞혔는지 알 수 없는 상황입니다.

해결책: 함부로 ‘합격’ 판정을 내리지 않는 시험 연구진은 NFP(No-False-Positives, 거짓 양성 없음) 검정을 만들었습니다. 이 시험에서 “시간의 흐름을 담고 있다”고 판정되면, 단순한 위치나 생김새 정보를 잘못 짚은 결과가 아니라고 통계적으로 보장됩니다. 대신 진짜 시간 정보를 담은 특징을 모두 찾아낸다는 보장은 아닙니다. 까다로운 심사처럼 합격자는 믿을 수 있지만, 놓치는 경우는 있을 수 있습니다.

결과: 영상 AI는 실제로 시간 정보를 담고 있었습니다. 특별히 설계한 영상으로 VideoMAE, V-JEPA2, TimeSformer라는 영상 AI 3종을 시험했더니, 모두에서 시간 정보를 담은 특징이 발견되었습니다.

시험 자체도 믿을 만한지 확인했습니다.

  • 사진 전용 AI로 확인: 사진만 보도록 만들어진 DINOv2를 시험하자 시간 특징이 하나도 나오지 않았습니다. 시간 개념을 다룰 구조가 없는 AI를 잘못 합격시키지 않은 것입니다.
  • 정답을 아는 인공 환경으로 확인: 시간 정보가 많이 담긴 특징일수록 더 잘 검출되었습니다.
  • 모델 내부 분석으로 확인: 모델 내부를 분석하기 쉬운 단위로 나눠 보니, 시간 특징으로 판정된 것들이 실제로 시간 정보를 훨씬 많이 담고 있었습니다.

한계: 찾았다고 곧바로 활용할 수 있는 것은 아닙니다. 찾아낸 시간 특징을 직접 조작해 모델의 동작을 바꿔 보는 실험도 했지만, 결과는 모델마다 달랐습니다. 시간과 무관한 특징을 조작했을 때보다 낫다고 하기 어려울 수 있다는 뜻입니다.

관련 개념

결합 문제(Coupling Problem)와 시간 피처의 정의

이 논문은 피처(feature) 를 표현 공간의 한 방향 $w\in\mathbb{R}^{d}$로 정의하고 두 용어를 같은 뜻으로 씁니다. 피처의 내용이 반드시 여러 프레임에서 유도되어야 하면 시간(temporal) 피처, 한 프레임만으로 평가할 수 있으면 정적(static) 피처입니다. 질문은 단순합니다. 현대 비디오 모델의 표현 공간에 시간 피처가 존재하는가?

🔗 1. 왜 답하기 어려운가

물체가 $x$에서 $x-\delta$로 움직이면 프레임은 반드시 달라집니다. 그래서 “왼쪽 움직임”을 이해하는 것처럼 보이는 모델은 두 가지 중 어느 쪽이어도 같은 활성 패턴과 하류 효과를 낼 수 있습니다.

가설 내용
시간 피처 “왼쪽으로 움직임”을 직접 인코딩하는 방향이 있다
정적 피처의 조합 “물체가 $x$에 있음”, “물체가 $x-\delta$에 있음” 같은 비시간 개념들이 함께 작동해 같은 결과를 낸다

어떤 후보 시간 피처에 대해서도, 움직임과 상관만 있는 정적 속성에 기대는 설명을 항상 그럴듯하게 구성할 수 있습니다. 저자들은 선행 연구 중 이 질문을 명시적으로 던지거나 두 가능성을 엄밀하게 구분하는 방법을 제시한 것이 없다고 말합니다.

🚨 2. 거짓 양성 문제로의 재정식화

저자들은 결합 문제의 핵심을 거짓 양성 문제로 봅니다. 검정이 “활성이나 하류 효과가 우연히 맞아떨어지는 정적 피처 집합”을 시간 피처로 잘못 식별할 위험입니다. 필요한 것은 플래그된 피처가 증명 가능하게 정적이 아닌 성질, 즉 No-False-Positives(NFP) 성질을 가진 검정입니다.

두 가지 통찰이 이를 가능하게 합니다.

통찰 내용
합성 비디오 균일한 회색 배경 위의 흰 공(원반) 하나. 프레임 간에 변하는 것은 공의 위치뿐이므로, 피처 활성이 프레임마다 다르면 그 원인은 공의 현재 위치 아니면 움직임뿐
위치 분포의 시간 불변성 모든 $t\in[1,T]$에서 공 위치 분포를 화면 전체에 균일하게 유지하면, 현재 위치에만 의존하는 피처의 기대 활성은 모든 $t$에서 같다. 기대값이 시간에 대해 상수인 양은 어떤 것과도 공변할 수 없으므로, 정적 피처와 임의의 시간 개념 $\tau$의 기대 공분산은 정확히 0

대우(contrapositive)로, $\tau$와 0이 아닌 기대 공분산을 갖는 피처는 비정적입니다.

📚 3. 선행 연구의 두 수준

수준 질문 한계
모델 수준 모델 전체가 시간 정보를 활용하는가 (벤치마크, 시간 프로빙 과제, 행동 방향·순서 과제) 시간 정보가 내부에서 어떻게 조직되는지 답하지 않음. 예: Sun et al. (2023)은 프레임 셔플 사전학습에서 선형 프로브 성능이 변하지 않는다는 이유로 VideoMAE가 시간 정보에 거의 주의하지 않는다고 했지만, 시간 개념을 배웠는데 안 쓴 것인지 아예 못 배운 것인지는 구분 못 함
표현 수준 속도 같은 시간 개념이 어떤 레이어의 전체 비디오 표현에서 복호 가능한가 (Joseph et al. (2026)의 합성 공 데이터셋과 V-JEPA2·VideoMAE-v2 프로빙 등) 선형 복호 가능성은 결합 문제를 풀지 못함. 속도를 복원하는 선형 프로브가 “물체가 $x$에 있음” 같은 공간 위치 패턴을 읽고 있을 수 있음
피처 수준 (이 논문) 시간 피처가 존재하는가 SAE는 응용 사례로만 사용. 비선형 인코딩은 범위 밖

이 논문은 VideoMAE가 표현 공간에 시간 개념을 인코딩한다는 것을 보여, Sun et al.의 해석을 뒤집습니다.

💡 Key Takeaway 움직임과 외형 변화는 분리할 수 없기 때문에, “움직임을 인코딩하는 것처럼 보이는 피처”에는 항상 정적 설명이 따라붙습니다. 이 논문은 이를 거짓 양성 문제로 재정의하고, 플래그된 피처가 정적일 수 없음을 증명하는 검정을 목표로 삼습니다.

합성 자극 설계: 공 비디오와 조건 (S1)~(S5)

비디오는 $T$개 프레임 $V=(f_{1},\ldots,f_{T})$이고, 각 프레임은 균일 회색 배경에 반지름 $r$의 흰 원이 $(x_{t}(V),y_{t}(V))$에 놓인 것입니다. 프레임 내용은 공 위치로 완전히 결정됩니다.

🎯 1. 파라미터화

요소 정의
시작 위치 $(x_{0}(V),y_{0}(V))\in\mathbb{R}^{2}$
운동 프로파일 속도 프로파일 $v_{x}(V,\cdot)=(v_{x}(V,1),\ldots,v_{x}(V,T))$, $v_{y}(V,\cdot)$
위치 $x_{t}(V)=x_{0}(V)+\sum_{j=1}^{t}v_{x}(V,j)$, $y_{t}(V)=y_{0}(V)+\sum_{j=1}^{t}v_{y}(V,j)$ (Eq. 1)

비디오는 겹치지 않는 시공간 패치(tubelet)로 토큰화됩니다. 토큰 $j$는 $h\times w$ 픽셀 영역을 $\ell_{p}$개 연속 프레임에 걸쳐 덮습니다. 본문은 $\ell_{p}=1$을 가정하고, $\ell_{p}>1$은 Appendix B에서 다룹니다.

📐 2. 공 추적 활성과 정적 피처의 정의

$L$개 레이어를 가진 비디오 트랜스포머에서 레이어 $l$ 이후 토큰 $j$의 표현을 $r_{j}^{l}(V)\in\mathbb{R}^{d}$라 합니다. 시공간 어텐션 때문에 이것은 비디오 전체의 함수입니다. 방향 $w$의 활성은 $\phi_{w}(V,j)=w\cdot r_{j}^{l}(V)$이고, 프레임 $t$에서 공의 중심을 포함하는 토큰 인덱스를 $b(V,t)$라 하면 공 추적 활성 은 $\phi_{w}(V,b(V,t))$입니다. 임의의 함수 $F:\mathbb{R}\to\mathbb{R}$에 대해

$$ \psi_{w}(V,t)=F(\phi_{w}(V,b(V,t))) $$

를 정의하고(Eq. 2), 시계열 $(\psi_{w}(V,1),\ldots,\psi_{w}(V,T))$를 시간 개념과 비교합니다. 차원 축에는 $F$를 항등함수로, SAE에는 ReLU 기반 함수로 둡니다.

정의 1 (정적 피처). 방향 $w$가 정적이라는 것은 어떤 $g:\mathbb{R}^{2}\to\mathbb{R}$가 있어 자극 세트의 모든 $V$와 모든 $t$에 대해

$$ \phi_{w}(V,b(V,t))=g(x_{t}(V),y_{t}(V)) $$

가 성립하는 것입니다(Eq. 3). 교차 프레임 어텐션 때문에 일반적으로 $V,t$의 함수인 활성이 현재 위치만의 함수로 환원되는가 를 묻는 정의입니다. 어떤 $F$에 대해서도 $G=F\circ g$로 두면 정적 방향의 $\psi_{w}(V,t)=G(x_{t},y_{t})$입니다.

정의 2 (시간 개념 프로파일). 비디오의 프레임별 시간 속성을 기술하는 수열 $(\tau(V,1),\ldots,\tau(V,T))$입니다.

개념 $\tau(V,t)$
순간 속력(speed) $\sqrt{v_{x}(V,t)^{2}+v_{y}(V,t)^{2} }$
수평 속도 $v_{x}(V,t)$
가속도 크기 $|v(V,t+1)-v(V,t)|$
운동 방향 $\mathrm{atan2}(v_{y}(V,t),v_{x}(V,t))$

$\tau$는 운동 프로파일로 결정되지만, 일반적으로 운동 프로파일 그 자체는 아닙니다.

🧱 3. 자극 세트 조건 (S1)~(S5)

조건 내용
(S1) 시작 위치 $x_{0}\sim\mathrm{Uniform}[a_{x},b_{x}]$, $y_{0}\sim\mathrm{Uniform}[a_{y},b_{y}]$, 비디오 간 독립. 구간은 (S5)를 만족해야 함
(S2) 운동 프로파일 각 비디오에 프로파일 분포에서 하나를 배정. 시간 개념의 존재 를 증명하는 데는 단일 프로파일로 충분하지만, 특정 방향과 특정 개념의 연관을 보이려면 서로 다른 프로파일(탈상관 자극, Appendix E)이 필요
(S3) 독립성 시작 위치와 운동 프로파일이 서로 독립. 따라서 $\tau(V,t)$도 $(x_{0},y_{0})$와 독립
(S4) 화면 밖 영점화·컴팩트 지지 공 중심이 화면 $[0,H]^{2}$ 밖이면 공 포함 토큰이 없으므로 모든 $w$에 대해 $\psi_{w}(V,t)=0$으로 둠. 정적 피처에는 $G(x,y)=0$ (화면 밖)이라는 컴팩트 지지를 의미. 시간 피처에는 신호 손실이 있을 수 있으나 검출력만 줄고 NFP 보장은 유지
(S5) 커버리지 조건 모든 비디오의 모든 프레임 $t$에서 가능한 공 위치 집합이 화면 $[0,H]^{2}$를 포함해야 함
(S5)를 구체화하면, 누적 변위 $s_{x}(V,t)=\sum_{j=1}^{t}v_{x}(V,j)$의 최대 절대값 $s_{x}^{\max}=\max_{V,t} s_{x}(V,t) $(및 $s_{y}^{\max}$)에 대해 스폰 영역이

$$ a_{x}\leq 0-s_{x}^{\max},\quad a_{y}\leq 0-s_{y}^{\max},\quad b_{x}\geq H+s_{x}^{\max},\quad b_{y}\geq H+s_{y}^{\max} $$

를 만족해야 합니다(Eq. 4). 즉 공은 화면 밖에서 스폰될 수 있어야 하고, 공이 한 번도 화면에 들어오지 않는 비디오까지 자극 세트에 포함 되어야 합니다. (S4)와 (S5)가 합쳐져 정적 피처의 기대 활성 $\mathbb{E}{x{0},y_{0} }[G(x_{t},y_{t})]$가 운동 프로파일과 무관하게 모든 $t$에서 같아집니다.

🛠️ 4. 실제 구현 절차 (Appendix C.2)

  1. 속도 프로파일 집합을 고르고, 커버리지를 만족하는 스폰 영역을 수학 좌표에서 계산한 뒤 $N$개 공 운동을 시뮬레이션해 비디오로 렌더링. 네 종류(화면 안에서 시작해 머무름 / 밖에서 시작해 진입 / 안에서 시작해 퇴장 / 밖에서 시작해 끝까지 진입 안 함)가 모두 생기며 전부 유지
  2. 고정된 비디오 트랜스포머에 통과시켜 각 $w$, $V$에 대해 $\psi_{w}(V,t)$ 추출. 공 중심이 화면 밖인 프레임은 0으로 설정
  3. 시간 개념 프로파일 $\tau$를 선택하고 시뮬레이션 데이터(정답)에서 계산
  4. 비디오별 $C_{w}(V)=\mathrm{Cov}{t}(\psi{w}(V,t),\tau(V,t))$ 계산
  5. ${C_{w}(V_{1}),\ldots,C_{w}(V_{N})}$에 대해 0에 대한 일표본 $t$-검정. 유의하면 $w$를 비정적으로 플래그

Appendix C.1은 두 가지 일반화를 덧붙입니다. 지지 영역은 화면 전체가 아니라 임의의 유계 영역 $\Omega\subseteq[0,H]^{2}$여도 되고, 화면 밖 값은 0이 아니라 임의의 상수 $c$여도 증명이 통과합니다. 컴팩트 지지는 $c=0$인 특수 경우이며 가장 자연스럽기 때문에 채택했을 뿐입니다.

💡 Key Takeaway 자극 설계의 핵심은 공이 화면 밖에서도 스폰되도록 스폰 영역을 넓히는 것 입니다. 이렇게 해야 어떤 운동 프로파일이든 모든 시각에서 “화면 안에 있을 확률”과 “화면 안에 있을 때의 위치 분포”가 같아지고, 정적 피처의 기대 활성이 시간에 대해 상수가 됩니다.

검정 통계량과 NFP 정리

🧮 1. 비디오 내 공분산

각 비디오 $V$에 대해 공 추적 활성과 시간 개념 프로파일의 비디오 내 공분산 은

$$ C_{w}(V)=\mathrm{Cov}{t}(\psi{w}(V,t),\tau(V,t))=\frac{1}{T}\sum_{t=1}^{T}(\psi_{w}(V,t)-\bar{\psi}_{w}(V))(\tau(V,t)-\bar{\tau}(V)) $$

입니다(Eq. 5). 저자들은 Pearson 상관이 아니라 공분산 을 씁니다. Pearson 상관에 대해서는 NFP 성질이 거짓이기 때문입니다(아래 4항).

📜 2. Theorem 1 (No False Positives)

방향 $w$가 정적이어서 컴팩트 지지를 갖는 $G$에 대해 $\psi_{w}(V,t)=G(x_{t}(V),y_{t}(V))$이고, 자극 세트가 (S1)~(S5)를 만족하면, $(x_{0},y_{0})$와 독립인 임의의 시간 개념 프로파일 $\tau$에 대해 고정된 속도 프로파일 $\pi$마다

$$ \mathbb{E}{x{0},y_{0} }[C_{w}(V)\mid\text{Velocity Profile }\pi]=0 $$

입니다(Eq. 6). 큰 수의 법칙에 의해 $\frac{1}{N}\sum_{V\in S}C_{w}(V)\to 0$ (Eq. 7). 서로 다른 프로파일이 섞인 자극 세트(S2)에는 전체 기대값의 법칙을 적용해 $\mathbb{E}[C_{w}(V)]=\mathbb{E}{\pi}[\mathbb{E}{x_{0},y_{0} }[C_{w}(V)\mid\pi]]=\mathbb{E}_{\pi}[0]=0$ (Eq. 8).

사용 가능한 형태(대우): 표본 평균 $\bar{C}{w}=\frac{1}{N}\sum{V}C_{w}(V)$가 (예: 일표본 $t$-검정으로) 유의하게 0이 아니면, $w$는 정적이 아닙니다.

✏️ 3. 증명의 네 단계

단계 내용
  1. 단순화
 $\sum_{t}(\tau(V,t)-\bar{\tau}(V))=0$을 이용해 $C_{w}(V)=\frac{1}{T}\sum_{t}\psi_{w}(V,t)(\tau(V,t)-\bar{\tau}(V))$
  1. 시작 위치에 대한 기대
 속도 프로파일을 고정하면 $\tau$는 $x_{0},y_{0}$에 대해 상수. 기대의 선형성으로 $\mathbb{E}[C_{w}(V)]=\frac{1}{T}\sum_{t}\mathbb{E}[\psi_{w}(V,t)]\cdot(\tau(V,t)-\bar{\tau}(V))$
  1. 기대 활성의 $t$-독립성
 $x_{t}=x_{0}+s_{x}(t)$이므로 $\mathbb{E}{x{0},y_{0} }[G(x_{t},y_{t})]$는 이동된 직사각형 $[a_{x}+s_{x}(t),b_{x}+s_{x}(t)]\times[a_{y}+s_{y}(t),b_{y}+s_{y}(t)]$ 위의 적분을 면적으로 나눈 것. 커버리지 조건에 의해 $G$의 지지(화면)가 모든 $t$에서 적분 영역 안에 있고 화면 밖에서 $G=0$이므로 적분은 $\iint_{[0,H]^{2} }G\,dy\,dx$로 환원되어 $t$에 무관한 상수 $\mu_{G}$
  1. 결론
 $\mathbb{E}[C_{w}(V)]=\frac{\mu_{G} }{T}\sum_{t}(\tau(V,t)-\bar{\tau}(V))=\mu_{G}\cdot 0=0$

Remark 1 (검출력). $\psi_{w}(V,t)=\tau(V,t)$이면 $\mathbb{E}[C_{w}]=\mathbb{E}[\mathrm{Var}_{t}(\tau)]>0$이므로, $\tau$가 시간에 따라 변하는 한 검정은 시간 피처를 플래그할 수 있습니다. 정리는 임의의 방향 $w$와 임의의 결정적 $F$에 적용되므로 표준 기저 축, PCA·ICA 방향, SAE 사전 원소 모두에 쓸 수 있고, 이것이 Section 7의 SAE 기반 개입을 형식적으로 정당화합니다.

❌ 4. 왜 Pearson 상관은 안 되는가 (Appendix D)

Pearson 상관 $\rho_{w}(V)=C_{w}(V)/\sqrt{\mathrm{Var}{t}(\psi{w})\mathrm{Var}{t}(\tau)}$ (Eq. 14)는 기대 공분산이 0인 정적 피처에서도 기대값이 0이 아닐 수 있습니다. 1차원, $T=2$, 속도 $v{1}=0,v_{2}=2$ (위치 $x_{1}=x_{0}$, $x_{2}=x_{0}+2$), 정적 피처 $g(x)=2$ ($x\in[0,1]$), $1$ ($x\in[2,3]$), $0$ (그 외)로 두면 $C_{w}(V)=\frac{1}{2}(\psi_{2}-\psi_{1})$이고 활성이 0이 아닌 구간은 셋뿐입니다.

경우 $x_{0}$ 구간 $\psi_{t=1}$ $\psi_{t=2}$ $C_{w}$ $\mathrm{Var}_{t}(\psi)$ $\rho_{w}$
A $[-2,-1]$ 0 2 $+1$ 1 $+1$
B $[0,1]$ 2 1 $-\tfrac{1}{2}$ $\tfrac{1}{4}$ $-1$
C $[2,3]$ 1 0 $-\tfrac{1}{2}$ $\tfrac{1}{4}$ $-1$

세 구간은 폭이 같아 동일 확률이므로 $\mathbb{E}[C_{w}]\propto(+1)+(-\tfrac{1}{2})+(-\tfrac{1}{2})=0$으로 Theorem 1과 일치하지만, 정의된 경우에 조건부로 $\mathbb{E}[\rho_{w}\mid\text{defined}]=\frac{(+1)+(-1)+(-1)}{3}=-\frac{1}{3}\neq 0$ (Eq. 16)입니다. 분모 $\sqrt{\mathrm{Var}{t}(\psi{w})}$가 위치 의존적이어서, 큰 활성 분산을 가진 경우 A의 양의 공분산은 축소되고 작은 분산의 B·C의 음의 공분산은 증폭되어 대칭이 깨집니다.

💡 Key Takeaway NFP 검정의 통계량은 비디오 내 공분산의 비디오 간 표본 평균 이고, 정리는 “정적이면 기대값 0”을 증명합니다. 공분산 대신 Pearson 상관을 쓰면 위치 의존적 정규화가 대칭을 깨뜨려 정적 피처가 거짓 플래그될 수 있습니다.

일반 NFP 프레임워크와 다중 교란 변수 (Appendix A)

Section 3의 검정은 더 일반적인 문제의 한 사례입니다. 피처가 목표 개념에 의존하는지, 아니면 그와 함께 변하는 교란 변수(confounder) 에만 의존하는지를 판별하는 문제입니다. 본문에서는 목표 개념이 시간 속성이고 교란 변수가 공의 위치입니다.

🧩 1. 관측 구조와 세 가정

구성 요소 정의
단위 $n=1,\ldots,N$ 하나의 실험 또는 시행
관측 $t=1,\ldots,T$ 단위당 인덱스된 관측
표현 $h(n,t)\in\mathbb{R}^{d}$ 시스템 출력
목표 개념 프로파일 $\tau(n,t)\in\mathbb{R}$ 관심 개념의 값
교란 변수 $C(n,t)\in\mathscr{C}$ 단위 안에서 $\tau$와 함께 변하는 양

스칼라 피처 $f$가 교란 의존적 이라는 것은 $f(n,t)=g(C(n,t))$인 $g$가 존재하는 것이고(Eq. 10), 단위 내 공분산은 $\mathcal{C}{f}(n)=\frac{1}{T}\sum{t}(f(n,t)-\bar{f}(n))(\tau(n,t)-\bar{\tau}(n))$ (Eq. 11)입니다.

가정 내용
  1. 무작위화 가능한 교란
 단위별 난수 시드 $R(n)$과 결정적 함수 $\phi_{n}$이 있어 $C(n,t)=\phi_{n}(R(n),t)$ (Eq. 12)
  1. 독립성
 $R(n)$은 $\tau(n,\cdot)$와 독립
  1. 등분포(커버리지)
 각 $n$에 대해 $R$에 대한 $C(n,t)$의 분포가 모든 $t$에서 같음

가정 3의 직관은 본문과 같습니다. 교란 변수의 분포가 모든 $t$에서 같으면 교란에만 의존하는 피처의 기대값도 모든 $t$에서 같고, 조건 간 기대값이 상수인 양은 무엇과도 공변할 수 없습니다. 본문은 균일 시작 위치, 화면 밖 영점화, 커버리지 조건(S1, S4, S5)으로 이를 달성하고, 주기적(토러스) 경계 조건 같은 다른 메커니즘도 가능합니다.

📜 2. Theorem 2 (일반 NFP)와 본문 설정의 대응

가정 1~3 아래 임의의 교란 의존 피처 $f(n,t)=g(C(n,t))$에 대해 $\mathbb{E}[\mathcal{C}{f}(n)]=0$ (Eq. 13)입니다. 증명은 Section 3과 같은 구조로, 편차 합이 0임을 이용해 둘째 항을 없앤 뒤 가정 2로 $\tau$를 상수 취급하고 가정 3으로 $\mathbb{E}{R}[g(\phi_{n}(R,t))]=\mu_{g}^{(n)}$이 $t$에 무관함을 써서 $\mu_{g}^{(n)}\cdot 0=0$을 얻습니다.

일반 프레임워크 이 논문
단위 $n$ 비디오 $V$
관측 $t$ 시간 단계 $t$
표현 $h(n,t)$ 공 토큰의 레이어 $l$ 표현
목표 개념 $\tau(n,t)$ 시간 개념(속력, $v_{x}$, 방향 등)
교란 변수 $C(n,t)$ 유효 공 위치: 화면 안이면 $(x_{t},y_{t})$, 밖이면 $\bot$
난수 시드 $R(n)$ 시작 위치 $(x_{0},y_{0})\sim\mathrm{Uniform}$
$\phi(R,t)$ $(x_{0}+s_{x}(t),y_{0}+s_{y}(t))$ (화면 안), 아니면 $\bot$
가정 1 / 2 / 3 시작 위치 + 속도 프로파일로 위치 결정 / (S3) / (S1)+(S5)+(S4)

원시 공 위치 $(x_{t},y_{t})$ 자체는 균일 직사각형이 누적 변위와 함께 이동하므로 $t$-독립 분포를 갖지 않습니다. 그러나 유효 교란 변수 (화면 안일 때의 위치, 밖이면 $\bot$)는 커버리지 조건 덕에 “화면 안에 있을 확률”이 $t$에 무관하고 안에 있을 때의 분포가 $\mathrm{Uniform}([0,H]^{2})$이며, 화면 밖 영점화로 $g(\bot)=0$이므로 가정 3을 만족합니다.

🎱 3. 다중 교란 변수 확장

$K$개 교란 변수 $C_{k}(n,t)=\phi_{k,n}(R_{k}(n),t)$가 있고 피처가 이들에 결합적으로 의존할 때, 시드 $R_{1},\ldots,R_{K}$가 서로 독립이고 각각 $\tau$와 독립이며 각각 가정 3을 만족하면 NFP 성질이 유지됩니다. 독립 시드의 주변 분포가 각각 $t$-독립이면 결합 분포(곱)도 $t$-독립이기 때문입니다. 예를 들어 공 A와 B의 시작 위치를 서로 독립으로, 두 속도 프로파일과도 독립으로 뽑으면 “두 공이 가깝다” 같은 관계 피처도 공 A의 속력과 기대 공분산이 0입니다.

독립 시드는 편의가 아니라 필수 입니다. 같은 시드 $R\sim\mathrm{Uniform}[0,L)$을 공유하는 토러스 위의 두 교란 $C_{1}=(R+s_{1}(t))\bmod L$, $C_{2}=(R+s_{2}(t))\bmod L$은 각각 모든 $t$에서 균일하지만, 차이 $C_{1}-C_{2}=(s_{1}(t)-s_{2}(t))\bmod L$은 결정적이고 $t$에 따라 변합니다. $g(C_{1},C_{2})=\mathbf{1}( C_{1}-C_{2} <\epsilon)$ 같은 피처는 $t$-의존 기대 활성을 가져 순수 교란 의존임에도 플래그될 수 있습니다.

🌍 4. 다른 도메인의 예

도메인 목표 $\tau$ 교란 $C$ 설계
신경과학 자극 속도 자극 위치 시행마다 시작 위치를 무작위화하고 위치 분포가 모든 $t$에서 수용장을 덮게 함
제조(센서 귀속) 생산 속도 온도 시작 온도를 속도 프로파일과 독립으로 무작위화하고 각 $t$의 온도 분포를 같게 함
금융(신호 귀속) 모멘텀 가격 수준 가격 $p_{0}+s(t)$가 정확히 $\phi(R,t)=R+s(t)$ 형태. 진입 가격 $p_{0}$를 신호의 “활성 구역”을 항상 덮을 만큼 넓게 무작위화

교란이 단위 안에서 확률적 동역학을 가질 때는 수정된 프레임워크가 필요할 수 있으며, 모든 종류의 확률 동역학을 수용할 수는 없을 것이라고 저자들은 증명 없이 언급합니다.

💡 Key Takeaway NFP의 본질은 “교란 변수를 단위별 시드로 무작위화해 모든 관측 시점에서 같은 분포를 갖게 만든 뒤 단위 내 공분산을 검정한다”는 설계 원리입니다. 교란이 여럿이면 시드가 독립 이어야 하며, 시드를 공유하면 주변 분포가 각각 불변이어도 결합 분포가 움직여 거짓 양성이 생깁니다.

이론적 한계와 “어떤 개념인가”를 물을 수 없는 이유 (Appendix E)

⚠️ 1. 세 가지 이론적 한계 (Section 3.5)

한계 내용
L1 검정은 비정적 피처를 검출하지 특정 시간 개념을 검출하지 않음. 통과한 $w$가 $\tau$를 특별히 인코딩한다고 결론할 수 없음. 다른 시간 개념이 $\tau$와 공변할 수 있기 때문
L2 거짓 음성 가능. $\tau$와 통계적으로 무관한 시간 속성을 인코딩하거나 관계가 비선형이면 공분산이 0일 수 있음. 자극 세트의 신호가 특정 모델에 부족해 임계를 못 넘을 수도 있음
L3 검출 가능한 시간 피처의 종류는 자극 세트 구성에 달림. 공 운동 프로파일만 있으므로 밝기 증가 같은 다른 시간 개념은 검출 불가

🧭 2. 평균 공분산 벡터와 구조적 탈상관

$F$를 항등으로 두면 $C_{w}(V)=w^{T}c_{\tau}(V)$로 방향이 분리되고, $c_{\tau}(V)=\frac{1}{T}\sum_{t}h(V,t)(\tau(V,t)-\bar{\tau}(V))$ (Eq. 17), $\bar{c}{\tau}=\mathbb{E}{V}[c_{\tau}(V)]$, $\mathbb{E}{V}[C{w}(V)]=w^{T}\bar{c}{\tau}$ (Eq. 18)입니다. 표현 전체가 정적이면 모든 $w$에 대해 $w^{T}\bar{c}{\tau}=0$이므로 $\bar{c}{\tau}=\mathbf{0}$이고, 대우로 $\bar{c}{\tau}\neq\mathbf{0}$이면 표현이 시간 정보를 담습니다. Cauchy–Schwarz에 의해 $\bar{c}{\tau}/|\bar{c}{\tau}|$는 $\tau$와 최대로 공변하는 단위 방향입니다.

표현이 가법 선형 인코딩 $h(V,t)=\sum_{k=1}^{K}\tau_{k}(V,t)d_{k}+\text{static}(V,t)$ (Eq. 19)를 따른다고 가정하면, 정적 항은 NFP 성질로 사라지고

$$ \bar{c}{\tau}=\sum{k=1}^{K}d_{k}\cdot\mathbb{E}{V}[\mathrm{Cov}{t}(\tau_{k},\tau)] $$

(Eq. 20)입니다. $\tau=\tau_{1}$(속도)로 두면 첫 항은 참 인코딩 방향 $d_{1}$을 가리키지만 나머지 항은 $\tau_{k}$가 비디오 안에서 속도와 공변할 때(예: 속도와 가속도) $\bar{c}{\text{vel} }$을 $d{1}$에서 벗어나게 합니다(Eq. 21). 자극 세트를 설계해 $\mathbb{E}{V}[\mathrm{Cov}{t}(\tau_{k},\text{vel})]=0$으로 만들면(탈상관) 교차항이 사라져 $\bar{c}{\text{vel} }\propto d{1}$이 되고, 모든 쌍을 탈상관하면 모든 $k$에 대해 동시에 $\bar{c}{\tau{k} }\propto d_{k}$입니다. 단, 이 복원은 가법 선형 인코딩과 완전하고 올바른 개념 목록 이라는 두 가정에 의존합니다.

🚧 3. 방해 개념(Obstructing Concepts)

모든 시간 개념을 속도와 탈상관할 수 있는 것은 아닙니다. 상수가 아닌 모든 속도 프로파일 $\pi$에 대해 $\phi_{\tau_{k} }(\pi)=\mathrm{Cov}{t}(\tau{k}^{(\pi)},\text{vel}^{(\pi)})$가 같은 엄격한 부호를 가지면 그 개념은 방해적 입니다. 모두 양(또는 모두 음)인 값의 가중 평균은 0이 될 수 없기 때문입니다.

메커니즘 내용
점별 단조 함수 $\tau_{k}(t)=f(v(t))$에서 $f$가 엄격 단조 증가이면 Chebyshev 합 부등식으로 $\mathrm{Cov}{t}(f(v),v)\geq 0$ (모든 $v{t}$가 같을 때만 등호). $f(v)=v, v^{3}, e^{v}$ 등. $v^{2}, |v|, e^{v^{2} }$ 같은 비단조 함수는 비방해적일 수 있음
선형 시간 개념 $\tau_{k}(t)=\sum_{s}M_{ts}v(s)$. 중심화 행렬 $P_{c}=I-\frac{1}{T}\mathbf{1}\mathbf{1}^{T}$와 $\pi=\bar{v}\mathbf{1}+\tilde{\pi}$로 쓰면 $\phi_{\tau_{k} }(\pi)=\frac{1}{T}(\tilde{\pi}^{T}M^{T}\tilde{\pi}+\bar{v}\cdot\mathbf{1}^{T}M^{T}\tilde{\pi})$ (Eq. 22). 방해적일 필요충분조건은 (a) $M\mathbf{1}\in\mathrm{span}(\mathbf{1})$ (교차항 소거)와 (b) 대칭 부분 $\frac{1}{2}(M^{T}+M)$이 평균 0 프로파일 위에서 정부호

속도($M=I$)는 둘 다 만족해 방해적이고, 가속도($M=D$, 1차 차분 행렬)는 (a)를 어겨 비방해적이므로 속도와 탈상관할 수 있습니다. 실용적으로 방해 개념은 “변장한 속도”이므로 탈상관 대상이 아니라 참 속도 부분공간의 일부로 복원할 신호로 봅니다.

🧮 4. 실제 탈상관: 선형 계획 (E.4)

$K$개 비방해 개념과 $M$개 후보 운동 프로파일 풀에 대해 각 프로파일 $\pi_{j}$와 각 쌍 $(k,k’)$의 비디오 내 공분산 $c_{j,kk’}=\mathrm{Cov}{t}(\tau{k}^{(\pi_{j})},\tau_{k’}^{(\pi_{j})})$ (Eq. 23)를 미리 계산해 행렬 $C\in\mathbb{R}^{M\times\binom{K}{2} }$를 만들고, 가중치 $w\in\mathbb{R}^{M}$에 대해

  • $w_{j}\geq 0$, $\sum_{j}w_{j}=1$ (프로파일 위의 분포)
  • $C^{T}w=0$ (모든 $\binom{K}{2}$ 쌍 탈상관)
  • 복원하려는 각 $k$에 대해 $\sum_{j}w_{j}\mathrm{Var}{t}^{(\pi{j})}(\tau_{k})>0$ (개념이 실제로 변해야 함)

를 만족하는 선형 가능성 문제를 풉니다. $M\gg\binom{K}{2}+1$이면 일반적으로 해가 존재하며, 가능성을 위해 각 쌍의 ${c_{j,kk’}}$에 양·음 항목이 모두 있어야 합니다(한 부호뿐이면 방해 관계이므로 목록에서 제거). 가중치가 정해지면 프로파일 $\pi_{j}$에 $n_{j}=\mathrm{round}(N\cdot w_{j})$개 비디오를 배정하고 각 비디오의 시작 위치를 커버리지 조건을 만족하는 스폰 영역에서 독립·균일하게 뽑습니다. NFP 성질은 무작위 시작 위치만 요구하고 탈상관은 특정 프로파일 분포만 요구하므로, 두 목적을 동시에 달성하는 자극 세트에는 둘 다 필요합니다.

이 논문은 $K=5$ (속력, $v_{x}$, $v_{y}$, $ a $, 방향), 10개 쌍 제약, $M=4000$ 후보 프로파일로 LP를 풀어 $N=3000$ 비디오의 모든 개념 쌍 공분산을 $\leq 0.0022$로 만들었습니다. 잔차는 연속 가중치를 이산 비디오 수로 반올림한 결과입니다.

🚫 5. Theorem 3 (보편 용매 부재)와 복원 불가능성 (E.5)

개념 목록 없이 모든 비방해 개념을 동시에 속도와 탈상관하는 단일 분포 $P$(“보편 용매”)가 있을까요? 오염 대 신호 비율 $R_{\tau_{k} }(P)= \mathbb{E}{P}[\phi{\tau_{k} }(\pi)] /\mathbb{E}{P}[\phi{v}(\pi)]$ (Eq. 24)와 최악값 $R^{*}(P)=\sup_{\tau_{k}\text{ non-obstructing} }R_{\tau_{k} }(P)$를 정의하면,

$$ R^{*}(P)\geq\frac{T-2}{T-1}\qquad(T\geq 3) $$

(Eq. 25)입니다. 증명은 조건 (a)를 만족하는 선형 개념에 대해 $T\cdot\phi_{\tau_{k} }(\pi)=\mathbf{a}^{T}S’{M}\mathbf{a}$ (Eq. 27), $T\cdot\mathbb{E}{P}[\phi_{\tau_{k} }]=\mathrm{tr}(S’{M}\Sigma{\mathbf{a} })$ (Eq. 28)로 2차 모멘트 행렬 $\Sigma_{\mathbf{a} }$에 환원한 뒤, $S’{i}=I{T-1}-e_{i}e_{i}^{T}$ (양반정부호이지만 정부호 아님, 따라서 비방해적)에 대해 $R_{S’{i} }(P)=1-[\Sigma{\mathbf{a} }]{ii}/\mathrm{tr}(\Sigma{\mathbf{a} })$이고 최소 대각 원소는 평균 이하이므로 $R^{*}\geq 1-\frac{1}{T-1}$을 얻습니다. 이 논문의 $T=8$에서 하한은 $6/7\approx 0.857$입니다. 최선의 자극 설계로도 적어도 하나의 비방해 개념은 높은 오염을 남깁니다.

따라서 구조적 탈상관(유한한 사전 개념 목록)에 제한되는데, 여기에도 두 가지 장애가 있습니다.

장애 내용
(i) 개념 목록은 식별 불가 $h=\text{vel}\cdot d_{v}+\text{acc}\cdot d_{a}+\text{static}$는 임의의 $\alpha$에 대해 $\tau_{2}’=\text{acc}-\alpha\cdot\text{vel}$을 써서 $h=\text{vel}\cdot(d_{v}+\alpha d_{a})+\tau_{2}’\cdot d_{a}+\text{static}$ (Eq. 29)로도 쓸 수 있음. 두 분해는 모든 입력에서 동일한 표현을 내므로 “속도 인코딩 방향”은 개념 목록 선택에 상대적으로만 정의됨
(ii) 완전 탈상관은 실제로 불가 $d=2$, $d_{v}=(1,0)^{T}$, $d_{a}=(1,1)^{T}$에서 $\bar{c}{\text{vel} }=(\gamma{1}+\gamma_{2},\gamma_{2})^{T}$ (Eq. 30), $\gamma_{1}=\mathbb{E}[\mathrm{Var}{t}(\text{vel})]>0$, $\gamma{2}=\mathbb{E}[\mathrm{Cov}{t}(\text{acc},\text{vel})]$. $\gamma{2}=-\gamma_{1}$이면 $\bar{c}{\text{vel} }=(0,-\gamma{1})^{T}$로 $d_{v}$와 직교. 알려진 물리 개념(변위, 가속도, 저크, 스냅 등)을 모두 탈상관해도 모델이 복잡한 $\tau_{k}$를 인코딩하면 이런 상황을 배제할 수 없음

결론적으로 NFP 프레임워크 안에서 “특정 방향이 특정 시간 개념 $\tau$를 인코딩한다”는 주장은 근거를 가질 수 없습니다. 검정은 방향이 시간적 이라는 것만 신뢰성 있게 식별하고, 어떤 시간 개념인지는 식별하지 못합니다. 구조적 탈상관은 통제된 통계적 성질을 가진 자극 세트를 만드는 데 유용하지만 참 인코딩 방향을 복원하는 것으로 해석해서는 안 됩니다.

💡 Key Takeaway 최대 공변 방향 $\bar{c}{\tau}$는 참 인코딩 방향 $d{\tau}$와 직교할 수도 있습니다. 모든 비방해 개념을 동시에 탈상관하는 자극 분포는 존재하지 않고($R^{*}\geq\frac{T-2}{T-1}$), 개념 목록 자체가 식별 불가능하므로, 이 프레임워크의 결론은 “시간적이다”까지 이고 “속도를 인코딩한다”가 아닙니다.

실험 설정: 모델, 자극 세트, SAE

🏗️ 1. 모델 (Table 5, 6)

모델 구조 학습 프레임 해상도 $\ell_{p}$ 토큰 격자 $d$ 추출 레이어 체크포인트
VideoMAE ViT-B MAE 사전학습 16 $224^{2}$ 2 $8\times14\times14$ 768 2, 5, 11 MCG-NJU/videomae-base-ssv2
VideoMAE-FT ViT-B
  • SSv2 파인튜닝
 16 $224^{2}$ 2 $8\times14\times14$ 768 2, 5, 11 MCG-NJU/videomae-base-finetuned-ssv2
V-JEPA2 ViT-L 자기지도 JE 16 $256^{2}$ 2 $8\times16\times16$ 1024 5, 11, 23 facebook/vjepa2-vitl-fpc16-256-ssv2
TimeSformer ViT-B
  • SSv2 파인튜닝
 8 $224^{2}$ 1 $8\times14\times14$ 768 2, 5, 11 facebook/timesformer-base-finetuned-ssv2
DINOv2 ViT-B 이미지 자기지도 16 $224^{2}$ — $16\times16$ 768 final facebook/dinov2-base

VideoMAE와 V-JEPA2는 결합 시공간 어텐션, TimeSformer는 분할 시공간 어텐션입니다. DINOv2는 16개 프레임을 교차 프레임 어텐션 없이 독립 처리하므로 구조상 시간 개념을 인코딩할 수 없는 음성 대조군 입니다. TimeSformer의 8프레임은 16프레임 클립의 짝수 프레임이며 NFP 공분산은 이 8단계로 계산합니다. 모든 경우 최종 트랜스포머 레이어의 post-MLP 잔차 스트림 활성을 씁니다.

🎬 2. NFP 검정 데이터셋

항목 값
렌더러 Kubric/Blender
비디오 수 $N=3000$, 각 16프레임, 모델에 따라 224 또는 256 해상도
장면 $14\times14$ m 캔버스, 반지름 0.9 m 흰 공, 균일 회색 배경, 직교 카메라
시작 위치 커버리지 조건을 만족하도록 균일 샘플링
시간 개념 $\tau_{k}\in{\text{speed},v_{x},v_{y},|a|,\text{direction}}$ 다섯 개
탈상관 Appendix E.4의 방법으로 다섯 개념이 쌍별로 탈상관, 쌍당 공분산 $\leq 0.0022$
유효 시간 단계 $\ell_{p}=2$이므로 tubelet 안의 $\tau$ 값을 평균해 $T=8$로 계산 (Appendix B.2)

Appendix B.2는 tubelet 안의 프레임이 같은 활성을 공유하므로 $T$항을 유지하든 $T/\ell_{p}$항으로 $\tau$를 평균하든 $C_{w}(V)$ 계산이 수학적으로 동치임을 설명합니다. 다만 tubelet의 한 프레임만 고르면 오류가 납니다. $\tau=[0,10,0,10,10,0,10,0,\ldots]$, $\ell_{p}=2$에서 첫 프레임만 고르면 $[0,0,10,10,\ldots]$, 둘째만 고르면 $[10,10,0,0,\ldots]$가 되어 참 구조를 반영하지 못하지만, 평균은 $[5,5,\ldots]$로 모든 tubelet의 시간 내용이 같음을 올바르게 나타냅니다.

Appendix B.1은 $\ell_{p}>1$일 때 “정적”의 의미를 다룹니다. tubelet 안 위치들의 선형 결합 $\sum_{j}\alpha_{j}x_{t_{k,j} }=(\sum_{j}\alpha_{j})x_{0}+c_{k}$에서 $\alpha=\sum_{j}\alpha_{j}\neq 0$이면 $x_{0}$가 살아남아 적절한 커버리지 아래 증명이 통과합니다(합리적인 교란 선택은 모두 $\alpha=1$). $\alpha=0$이면(예: tubelet 내 변위) $x_{0}$가 소거되어 $k$-의존 상수가 되고 검정에 플래그되는데, 이는 tubelet 내 운동을 인코딩하므로 실제로 시간적이라 올바른 결과이지만 교란 변수로는 무의미한 선택입니다.

📊 3. 시간 피처 식별 절차

각 $(w,k)$ 쌍에 대해 비디오당 하나의 공분산 $C_{w}^{(k)}(V)=\frac{1}{T}\sum_{t}(\psi_{w}(V,t)-\bar{\psi}{w}(V))(\tau{k}(V,t)-\bar{\tau}{k}(V))$를 얻고, $N=3000$ 비디오에 대한 일표본 $t$-검정으로 평균이 0인지 묻습니다. 방향 $w$는 $p<\alpha/D$ (Bonferroni, $\alpha=0.05$, $D$는 검정한 방향 수)일 때만 $\tau{k}$에 대해 시간적으로 플래그됩니다. $t$-통계량이 정의되지 않는 피처는 정적도 시간적도 아닌 비유효(non-valid) 피처로 분류합니다.

🧮 4. SAE 학습 (Table 7, 8, 9)

개입 실험과 실제 응용 가능성을 보이기 위해 각 모델의 최종 레이어 활성에 표준 L1 페널티 ReLU SAE를 학습합니다. Pach et al. (2025)의 절차를 따르고, TopK SAE는 프레임 사이에서 피처가 빠르게 켜지고 꺼지는 깜빡임(flickering) 활성을 주기 때문에(Dokme and Vishwanath, 2026) L1을 선택했습니다. 인코더 $f=\mathrm{ReLU}(W_{\mathrm{enc} }(x-b_{\mathrm{dec} })+b_{\mathrm{enc} })$, 디코더 $\hat{x}=W_{\mathrm{dec} }f+b_{\mathrm{dec} }$이고, 이론 프레임워크는 인코더 행 $w_{i}$에 대해 $F(\phi_{w_{i} })=\mathrm{ReLU}(\phi_{w_{i} }+c)$로 적용됩니다.

하이퍼파라미터 값
확장 계수 $8\times$
L1 페널티 $\lambda$ 0.1
죽은 피처 계수 0.03
AuxK $\alpha$ 0.0
학습률 $2\times10^{-4}$
배치 크기 4096
경사 스텝 15,320 (합성 SAE는 코퍼스가 작아 5,000)

모든 하이퍼파라미터는 사전에 고정되었고 조기 종료나 체크포인트 선택은 없습니다. 활성은 float16으로 저장하고 로드 시 float32로 캐스팅합니다(float16으로 직접 학습하면 NaN으로 발산).

SAE 레이어 $d\to D$ 클립당 토큰 학습 토큰
VideoMAE finetuned 11 $768\to6144$ 1568 ~6.3M
VideoMAE 11 $768\to6144$ 1568 ~6.3M
TimeSformer 11 $768\to6144$ 1569 (CLS 포함) ~6.3M
TimeSformer 10 $768\to6144$ 1569 (CLS 포함) ~6.3M
V-JEPA2 23 $1024\to8192$ 2048 ~8.2M
DINOv2 final $768\to6144$ 프레임당 256 ~16M
Synthetic – $768\to6144$ 8 19,200

합성 SAE를 제외한 모든 SAE는 해당 모델의 SSv2 학습 클립 4000개의 활성으로 학습합니다. 합성 SAE는 생성된 3000 비디오를 80/20으로 나눕니다.

SAE FVE $L_{0}$ SSv2에서 살아 있는 피처
VideoMAE finetuned (L11) 0.59 40.5 6067 / 6144 (98.7%)
TimeSformer L11 0.90 12.8 5536 / 6144 (90.1%)
TimeSformer L10 0.94 3.4 5577 / 6144 (90.8%)
V-JEPA2 (L23) 0.67 57.5 8183 / 8192 (99.9%)
DINOv2 (final) ~0.80 ~28 6122 / 6144 (99.6%)
Synthetic control ~0.51 ~71 n/a

FVE(설명된 분산 비율)$=1-\text{FVU}$이고 held-out 활성 기준입니다. DINOv2와 합성 SAE는 로그가 없어 체크포인트에서 재계산했으며, 재계산은 로그 지표보다 약 0.04 높게 나오므로(VideoMAE finetuned에서 0.63 vs 0.59) 근사값으로 표시했습니다.

✅ 5. 유효 피처 수 (Table 10)

모델 축 (유효 / $D$) SAE (유효 / $D$)
VideoMAE finetuned 768 / 768 637 / 6144
VideoMAE 768 / 768 571 / 6144
TimeSformer L11 768 / 768 93 / 6144
V-JEPA2 1024 / 1024 2783 / 8192
DINOv2 768 / 768 597 / 6144

원시 차원은 조밀해서 모두 유효하지만, 자연 SSv2 비디오로 학습한 희소 SAE는 분포 밖의 극단적으로 단순한 공 자극에서 대부분의 피처가 발화하지 않아 소수만 유효합니다. 검정이 실제로 평가하는 모집단은 이 유효 집합이지만 Bonferroni 분모는 전체 사전 크기 $D$로 유지합니다. 비유효 피처는 두 가지 가능성이 있습니다. 모든 비디오에서 $C(V)=0$이면 자극에서 죽은 피처라 정적도 시간적도 아니고, 모든 비디오에서 $C(V)=c\neq 0$이면 자극이나 $N$ 등에 문제가 있는 인공물일 가능성이 큽니다. 코드에는 비유효 피처 외에 거의 죽은 피처를 걸러내는 추가 필터를 넣지 않았으며, Table 2의 $t$-점수가 과도하게 크지 않다는 점이 검정이 잘 작동한다는 근거로 제시됩니다.

💡 Key Takeaway 다섯 시간 개념을 쌍별 공분산 $\leq 0.0022$로 탈상관한 3000개 합성 비디오, 결합·분할 어텐션 비디오 모델 셋과 음성 대조군 DINOv2, 그리고 동일 레시피의 $8\times$ L1 SAE가 실험의 뼈대입니다. SAE 피처의 대부분이 공 자극에서 발화하지 않는다는 점은 이후 개입 결과를 읽을 때 중요합니다.

결과 1: 시간 피처는 존재한다 (Table 1, 11)

📈 1. 최종 레이어 플래그 수 (Table 1, Bonferroni $p<0.05/D$)

모델 $D$ 피처 speed $v_{x}$ $v_{y}$ $|a|$ direction Any %
VideoMAE finetuned 768 axes 352 359 151 496 89 707 92.1
  6144 SAE 66 39 33 19 4 109 1.77
VideoMAE 768 axes 6 23 58 515 29 540 70.3
  6144 SAE 0 0 2 170 0 172 2.80
V-JEPA2 1024 axes 45 2 4 254 0 294 28.7
  8192 SAE 4 1 2 57 0 62 0.76
TimeSformer 768 axes 23 20 63 408 4 426 55.5
  6144 SAE 0 0 0 13 0 13 0.21
DINOv2 768 axes 0 0 0 0 0 0 0.0
  6144 SAE 0 0 0 0 0 0 0.0

프로파일별 열은 해당 $\tau_{k}$에 유의한 피처 수이며 한 피처가 여러 프로파일에 유의할 수 있습니다. “Any”는 하나 이상의 프로파일에 유의한 방향 수입니다.

🔍 2. 읽는 법

  • 검정은 모델에 따라 차원 축의 28.7%~92.1% 를 시간적으로 플래그합니다.
  • VideoMAE finetuned를 제외한 모든 비디오 모델에서 플래그는 $ a $에 집중됩니다. 이것은 그 축들이 $ a $만 인코딩한다거나 $ a $ 개념을 인코딩한다는 뜻이 아니라, 어떤 운동 개념(들)을 인코딩하며 그 활성이 $ a $와 유의하게 공변한다는 뜻입니다. 다의성(polysemanticity)으로 정적 개념을 함께 인코딩할 수도 있습니다.
  • V-JEPA2에서 방향에 플래그된 축이 0개라는 것도 방향 개념이 없다는 뜻이 아니라, 저자들의 정의 $\tau_{dir}=\mathrm{atan2}(v_{y},v_{x})$와 맞지 않거나 거짓 음성일 수 있습니다.
  • DINOv2는 어떤 $\tau_{k}$에 대해서도 축이 하나도 플래그되지 않습니다. 시간 구조가 없는 모델에서 검정이 거짓 양성을 내지 않는다는 경험적 검증입니다.
  • SAE에서는 플래그 비율이 훨씬 낮지만, 대부분의 SAE 피처가 자극에서 발화하지 않는 등의 SAE 인공물 때문에 축과 직접 비교할 수 없습니다. VideoMAE finetuned에서는 SAE 피처가 $ a $보다 speed, $v_{x}$, $v_{y}$에 훨씬 많이 플래그되어, 플래그 수는 일반적으로 조심해서 읽어야 함을 다시 보여줍니다.
  • VideoMAE와 VideoMAE finetuned의 비교는 파인튜닝이 모델이 인코딩하는 시간 개념을 바꾼다는 것을 시사합니다. SSv2 파인튜닝이 속력·속도·방향에 더 직접 관련된 개념을 배우게 했을 수 있습니다.
$ a $ 집중이 왜 생기는지 저자들은 모른다고 말하며 후속 연구를 요청합니다. 시간 부분공간이 전용 저차원 부분공간 같은 의미 있는 구조를 갖는지는 Table 1로 답할 수 없는 열린 질문입니다.

🧱 3. 레이어별 결과 (Table 11, 차원 축)

모델 $D$ 레이어 speed $v_{x}$ $v_{y}$ $|a|$ direction any %
VideoMAE finetuned 768 2 1 2 21 499 15 507 66.0
    5 258 244 144 522 52 672 87.5
    11 (final) 352 359 151 496 89 707 92.1
VideoMAE 768 2 3 3 27 506 27 521 67.8
    5 8 24 33 559 32 576 75.0
    11 (final) 6 23 58 515 29 540 70.3
V-JEPA2 1024 5 214 40 29 351 2 525 51.3
    11 327 277 124 616 21 856 83.6
    23 (final) 45 2 4 254 0 294 28.7
TimeSformer 768 2 4 0 87 438 0 440 57.3
    5 15 7 41 351 1 361 47.0
    11 (final) 23 20 63 408 4 426 55.5
DINOv2 768 final 0 0 0 0 0 0 0.0

VideoMAE finetuned는 초기·중간 레이어에서 시간 축 피처를 발달시키고 그 수가 최종 레이어까지 유지됩니다. 반면 V-JEPA2는 레이어 11에서 83.6%였다가 최종 레이어에서 28.7%로 크게 줄어듭니다. 저자들은 V-JEPA2가 후반 레이어에서 시간 개념의 더 구조화된 표현을 발달시키는 것일 수 있고 VideoMAE finetuned는 그러지 않는다고 추측하며, 적어도 두 모델이 시간 정보를 다르게 학습한다는 강한 시사로 봅니다.

💡 Key Takeaway 세 비디오 모델 모두 증명 가능하게 비정적인 방향을 갖고, 이미지 인코더 DINOv2는 하나도 갖지 않습니다. 플래그가 $|a|$에 쏠리는 현상과 V-JEPA2의 최종 레이어 감소는 설명되지 않은 채 남아 있으며, 플래그 수 자체는 L1~L3의 한계 아래 조심스럽게 읽어야 합니다.

결과 2: 합성 표현 공간에서의 검증 (Table 2, 3, 13, 14)

실제 모델에서는 어떤 방향이 진짜 시간 개념을 인코딩하는지 정답을 모르므로, 모든 방향의 정보를 통제한 합성 표현 $h(V,t)\in\mathbb{R}^{768}$을 만듭니다.

$$ h(V,t)=\underbrace{\tau_{\mathrm{norm} }(V,t)\,W_{\tau} }{\text{temporal} }+\underbrace{c(V)\,W{\sigma} }{\text{static} }+\underbrace{g(V,\mathrm{pos}(V,t))\,W{p} }{\text{position-dependent} }+\underbrace{\varepsilon(V,t)}{\text{noise} } $$

(Eq. 9)

🧪 1. 구성 (Appendix J.1, J.2)

성분 구성
투영 행렬 $W_{\tau}\in\mathbb{R}^{5\times768}$, $W_{\sigma}\in\mathbb{R}^{100\times768}$, $W_{p}\in\mathbb{R}^{50\times768}$. $768\times155$ 가우시안 행렬의 QR 분해로 모든 155행이 상호 직교 단위 벡터
시간 성분 다섯 시간 개념 프로파일을 3000 비디오 × $T=8$의 전역 통계로 z-점수화해 쌓음. 각 개념이 시간 부분공간에 같은 분산을 기여
정적 성분 $c(V)\in\mathbb{R}^{100}$, 비디오당 한 번 $\mathcal{N}(0,1)$에서 뽑아 모든 $t$에서 고정 (물체 정체성·배경 같은 클립별 내용)
위치 의존 성분 채널 $m$마다 $g_{m}(V,p)=s_{m}(V)\cdot\exp(-|p-\mu_{m}(V)|^{2}/2\omega^{2})$, 부호 $s_{m}(V)\sim\mathrm{Uniform}{+1,-1}$과 중심 $\mu_{m}(V)$를 채널·비디오마다 독립으로 뽑음
잡음 $\varepsilon(V,t)\sim\mathcal{N}(0,0.05^{2}I_{768})$, 비디오·시간·좌표에 대해 i.i.d.

잡음이 없으면 $h$는 정확히 155차원 부분공간에 놓여 SAE가 155개 디코더 방향으로 완벽 재구성을 달성하고 희소성 압력이 사라져 검증이 퇴화합니다. 잡음은 768차원 전부를 채워 SAE가 진짜 희소 분해를 배우게 합니다. 스케일 0.05는 튜닝하지 않았습니다.

무작위 부호 메커니즘 이 필요한 이유는 이 합성 대조군에는 화면 밖 영점화가 없어 NFP 정리의 컴팩트 지지·커버리지 기계가 적용되지 않기 때문입니다. $g_{m}$의 공분산에서 부호 $s_{m}(V)$가 인수로 빠지므로 $\mathbb{E}{s{m} }[\mathrm{Cov}{t}(g{m},\tau_{k})]=\mathbb{E}[s_{m}]\cdot A(V,m)=0$이 비디오마다 개별적으로 성립해, 시작 위치 평균에 기대지 않고 영 귀무가설이 만족됩니다.

📈 2. 방향에 대한 검정: $\beta^{2}$ 스윕 (Table 2, 12)

검정 방향 $d=\beta u_{\tau}+\sqrt{1-\beta^{2} }u_{\perp}$ ($u_{\tau}$는 $\mathrm{span}(W_{\tau})$의 무작위 단위 벡터, $u_{\perp}$는 직교 여공간의 무작위 단위 벡터)의 시간 비율은 $\mathrm{ProjFrac}(d)=|P_{W_{\tau} }d|^{2}/|d|^{2}=\beta^{2}$로 정확합니다. $10^{-5}$부터 $1$까지 26개 로그 간격 $\beta^{2}$마다 무작위 방향 20개와 단일 개념 방향 5개($u_{\tau}$를 $W_{\tau}$의 한 행으로)를 검정하고, $\beta^{2}=0$에서는 200개(전체 공간 무작위 100, $\mathrm{span}(W_{p})$ 50, $\mathrm{span}(W_{\sigma})$ 50)를 검정합니다. 총 850 방향, Bonferroni $\alpha/850$, 임계 $ t

4.0$.
$\beta^{2}$ 플래그 중앙값 $\max_{k}|t|$ speed $v_{x}$ $v_{y}$ $|a|$ direction
0 (random) 0/100 1.5 – – – – –
0 (position only) 0/50 1.5 – – – – –
0 (constant only) 0/50 1.4 – – – – –
$10^{-5}$ 2/20 3.3 7.2 6.3 4.5 2.6 3.5
$1.6\times10^{-5}$ 6/20 3.7 7.6 7.8 1.5 1.2 5.2
$2.5\times10^{-5}$ 17/20 5.3 6.7 9.7 7.0 3.8 3.9
$4.0\times10^{-5}$ 20/20 6.0 10.1 10.0 7.0 5.1 6.8
$6.3\times10^{-5}$ 20/20 7.6 12.8 11.8 9.9 5.3 8.6
$10^{-4}$ 20/20 9.6 16.4 14.2 8.0 7.6 8.6
$10^{-3}$ 20/20 20.6 31.7 22.8 26.1 11.3 18.5
$10^{-2}$ 20/20 28.1 38.4 23.7 40.4 12.6 21.7
$10^{-1}$ 20/20 31.7 39.5 24.0 43.6 12.6 22.0
$1$ 20/20 31.3 39.5 24.0 44.1 12.7 22.0
(Table 12의 26단계 중 일부를 옮겼습니다.) $\beta^{2}=0$에서는 위치 전용·상수 전용 방향을 포함해 하나도 플래그되지 않습니다. 플래그는 $\beta^{2}=10^{-5}$에서 시작해 $6.3\times10^{-5}$에서 20/20에 도달합니다. 이 합성 표현에서는 시간 내용이 제곱 노름의 0.01% 미만인 방향도 검출된다는 뜻이지만, 실제 표현은 다르게 행동할 수 있습니다. 단일 개념 방향은 서로 다른 수준에서 포화합니다. speed와 $v_{y}$는 $ t \approx 40$, 가속도는 $ t \approx 13$에서 포화하며 가속도는 모든 $\beta^{2}$에서 일관되게 가장 낮은 $t$-점수를 보입니다.

🧮 3. 포화 수준의 이론 (Appendix K)

단일 개념 방향 $u_{\tau}=[W_{\tau}]{k}$에 대해 잡음을 무시하면 $\psi(V,t)\approx\frac{\beta}{\sigma{k} }(\tau_{k}(V,t)-\mu_{k})+\sqrt{1-\beta^{2} }\langle h,u_{\perp}\rangle$이고, 비디오 내 공분산은 $\frac{\beta}{\sigma_{k} }\mathrm{Var}{t}(\tau{k})+$(평균 0 항)입니다. 교차항 $\mathrm{Cov}{V}(\mathrm{Var}{t}(\tau_{k}),\eta(V))$는 $\mathbb{E}[\eta\mid\pi]=0$이므로 정확히 0이고,

$$ |t^{(k)}|\approx\sqrt{N}\cdot\frac{(\beta/\sigma_{k})\,\overline{\mathrm{Var}_{t}(\tau_{k})} }{\sqrt{(\beta^{2}/\sigma_{k}^{2})\,\sigma_{\text{signal} }^{2}+(1-\beta^{2})\,\sigma_{\text{non-temporal} }^{2} } } $$

입니다. $\beta$가 작으면 분모가 $\sigma_{\text{non-temporal} }$로 근사되어 $ t \propto\beta$이고, $\beta\to 1$이면

$$ t_{\text{sat} }^{(k)}=\sqrt{N}\cdot\frac{\overline{\mathrm{Var}{t}(\tau{k})} }{\mathrm{sd}{V}[\mathrm{Var}{t}(\tau_{k})]} $$

로 포화합니다. 이 값은 자극 세트만으로 결정 되며, 비디오 내 분산이 신호이고 비디오 간 분산이 $t$-점수를 줄인다는 경험칙을 줍니다. 이 경험칙을 실제 모델로 외삽하면, Section 5의 자극 세트는 실제로는 $ a $ 플래그를 억제 하는 쪽이었으므로 Table 1의 가속도 집중은 검정 인공물이 아니라 비디오 모델이 정말로 가속도와 더 유의하게 공변하는 피처를 만든다는 쪽으로 해석됩니다. 가능한 설명 하나는 모델 학습 메커니즘에 의해 표현의 더 많은 부분이 가속도 관련 내용에 할당된다는 것입니다.

🧩 4. SAE를 통한 유효성 (Table 3, 13)

합성 표현에 실제 모델과 같은 방식으로 SAE를 학습하고 학습된 피처 $w_{i}$에 NFP 검정을 적용한 뒤 세 부분공간 각각에 대한 $\mathrm{ProjFrac}(w_{i})$를 측정합니다. 검정은 6144개 중 8개(0.13%) 를 시간적으로 플래그합니다.

부분공간 (차원) 플래그 (8) 비플래그 (6136) 무작위 기준선 ($d_{\text{sub} }/768$)
temporal $W_{\tau}$ (5) 0.582 0.003 0.007
static $W_{\sigma}$ (100) 0.105 0.236 0.130
position $W_{p}$ (50) 0.051 0.106 0.065

플래그된 피처는 노름의 0.582를 시간 부분공간에 두어 비플래그의 0.003의 198배 입니다. 정적·위치 부분공간에서는 플래그 피처가 무작위 기준선 아래, 비플래그 피처가 위입니다. 심은 시간 부분공간에 직교하는 피처는 하나도 플래그되지 않았고, 8개 모두 어떤 심은 개념 방향과 강하게 정렬됩니다(최대 절대 코사인 0.57~0.76).

피처 플래그 개념 ProjFrac $W_{\tau}$ speed $v_{x}$ $v_{y}$ $|a|$ direction
feat00601 speed, $v_{x}$, $v_{y}$ 0.714 0.026 0.292 0.763 0.203 0.069
feat03882 speed, $v_{x}$, $v_{y}$ 0.659 0.080 0.290 0.731 0.138 0.120
feat00627 speed, $v_{x}$, $v_{y}$ 0.648 0.028 0.477 0.620 0.157 0.103
feat03197 all five 0.608 0.121 0.610 0.174 0.027 0.437
feat01793 $v_{x}$, $v_{y}$, direction 0.602 0.102 0.581 0.156 0.066 0.474
feat01248 speed, $v_{x}$, $v_{y}$ 0.566 0.159 0.460 0.565 0.092 0.016
feat00987 $v_{x}$ 0.456 0.106 0.623 0.040 0.233 0.023
feat05391 speed, $|a|$ 0.407 0.104 0.013 0.020 0.628 0.029

어느 피처도 코사인 1에 이르지 않는데, SAE 재구성이 정확하지 않으므로 예상된 결과입니다. 각 피처는 지배적 개념에 다른 심은 방향과 비시간 내용의 작은 성분을 섞으며, 이는 SAE 피처 학습의 알려진 성질입니다.

🔀 5. 비직교 시간 방향 (Appendix L, Table 14)

실제 개념 방향은 직교할 필요가 없습니다. $[W_{\tau}]{i}\leftarrow\sqrt{1-c}[W{\tau}]_{i}+\sqrt{c}\,q$ ($q$는 시간 부분공간에 직교하는 고정 무작위 단위 벡터)로 모든 쌍의 코사인을 정확히 $c$로 만들고 새 SAE를 학습합니다.

기하 플래그 PF (플래그) PF (비플래그) MaxCos 범위 PF $<0.05$
직교 ($c=0$) 8 0.582 0.003 0.57–0.76 0
쌍별 $c=0.25$ 17 0.351 0.004 0.33–0.59 0
쌍별 $c=0.5$ 20 0.237 0.005 0.28–0.55 0

상관된 설정은 더 많은 SAE 피처를 플래그하지만, 모든 $c$에서 모든 플래그 피처가 시간 부분공간에 상당한 ProjFrac을 가지며 거짓 양성(ProjFrac $<0.05$)은 없습니다. 심은 방향이 겹치면 한 SAE 피처가 여러 개념을 동시에 재구성할 수 있어 단일 방향과의 정렬은 느슨해집니다.

💡 Key Takeaway 정답을 아는 합성 공간에서 NFP 검정은 시간 내용 0인 방향(위치·상수 전용 포함)을 하나도 플래그하지 않았고, 검출률은 $\beta^{2}$에 따라 단조 증가하며, SAE를 통과해도 플래그 피처의 시간 투영이 비플래그의 198배였습니다. 포화 $t$-점수는 자극 세트만으로 정해지므로 Table 1의 $|a|$ 집중은 검정 탓이 아닐 가능성이 큽니다.

얽힌 자극 세트의 위험 (Appendix N)

자극 세트가 얽혀 있어 $\mathrm{Cov}(\tau_{k},\tau_{k’})\gg 0$이면 $C_{w}^{(k)}$와 $C_{w}^{(k’)}$가 충분히 비슷하게 행동해 $\tau_{k}$에 플래그된 대부분의 $w$가 $\tau_{k’}$에도 플래그됩니다. 기술적으로 문제는 아니지만 잘못된 인상과 통찰을 줄 수 있습니다. “공정한” 얽힘이 무엇인지도 불분명하므로, 유일하게 명백한 공정함은 얽힘 없음 이고 이것이 Appendix E의 탈상관 자극이 하는 일입니다.

🧪 1. 강하게 얽힌 세트의 구성

공이 고정 방향으로 $s(t)=s_{0}r^{t}$의 속력으로 움직이는 비디오를 만듭니다. 프레임 간 속력 변화 $ a(t) = r-1 s(t)$가 속력에 정확히 비례하므로 비디오 안에서 speed와 $ a $가 완벽히 상관됩니다. 탈상관 절차와 같은 LP로 가중치를 풀되, speed–$ a $의 데이터셋 수준 평균 비디오 내 상관 0.9를 목표로 하고 다른 쌍은 0에 가깝게 둡니다.
쌍 평균 비디오 내 공분산 평균 비디오 내 상관
speed–$|a|$ (target) $+0.146$ $+0.876$
$|a|$–direction $-0.000$ $+0.124$
speed–direction $-0.000$ $+0.117$
$v_{x}$–direction $-0.000$ $+0.066$
$v_{y}$–direction $+0.001$ $+0.060$
speed–$v_{x}$ $+0.001$ $+0.014$
speed–$v_{y}$ $+0.003$ $+0.009$
$v_{x}$–$v_{y}$ $-0.001$ $+0.005$
$|a|$–$v_{y}$ $+0.001$ $+0.004$
$|a|$–$v_{x}$ $+0.000$ $-0.006$
렌더링된 3000 클립에서 재계산한 값으로, speed–$ a $ 상관은 0.88(목표 0.9)이고 다른 모든 쌍의 공분산은 $\leq 0.003$입니다. $ a(t) = v(t+1)-v(t) $는 인접 속도의 차이이므로 비디오 내 스케일이 속력보다 작습니다(표준편차 0.20 vs 0.65).

📊 2. 얽힌 세트의 SAE 플래그 (Table 23)

모델 레이어 speed $v_{x}$ $v_{y}$ $|a|$ dir $|a|$이면서 speed
VideoMAE finetuned 11 51 17 20 59 0 45 (76%)
VideoMAE 11 32 0 0 43 0 26 (60%)
TimeSformer 11 2 0 0 2 0 2 (100%)
V-JEPA2 23 64 0 0 62 0 50 (81%)
DINOv2 final 0 0 0 0 0 0

각 모델의 L1 SAE 사전을 해당 레이어 MLP 이후 잔차 스트림에 적용하고, Bonferroni $p<0.05/D$ ($D$는 전체 사전 크기)로 판정했습니다. speed와 가속도가 높은 상관을 가지면 두 개념에 민감한 피처 부분집합이 크게 겹칩니다. 맥락 없이 보면 “모든 비디오 모델이 어떤 이유로 속력과 가속도를 공동 메커니즘으로 인코딩한다”고 생각할 수 있지만, 실제로는 자극 세트의 얽힘이 만든 우연입니다. 탈상관이 이런 오해를 막습니다.

💡 Key Takeaway 자극 세트에서 두 개념을 0.88로 상관시키자 플래그 집합이 60~100% 겹쳤습니다. 플래그 수와 겹침 은 자극 세트의 통계에 따라 달라지므로, 탈상관된 자극으로 얻은 Table 1만이 모델에 대한 진술로 읽힐 자격이 있습니다.

결과 3: 개입 분석 (Section 7, Appendix M)

시간적으로 식별된 SAE 피처에 개입하고 SSv2 분류 성능으로 효과를 평가합니다. 세 모델의 분류 헤드는 다릅니다. VideoMAE finetuned는 파인튜닝 헤드, V-JEPA2는 174개 SSv2 클래스에 대해 인코더 위에 학습된 어텐티브 프로브, TimeSformer는 마지막 레이어의 CLS 토큰만 행렬 곱으로 174차원 출력에 씁니다. 따라서 TimeSformer는 레이어 11의 비-CLS 토큰이 하류 성능에 영향을 주지 않으므로 레이어 10 에 개입합니다.

✂️ 1. 스팬 소거 (Table 4)

플래그된 피처 디코더 열의 스팬에 대한 직교 투영자 $P=QQ^{T}$ ($Q$는 그 열들의 정규직교 기저)를 만들고 SSv2 검증 비디오의 모든 토큰 활성 $x$를 $x-Px$로 바꿉니다. 잔차 스트림에 직접 작용하며 SAE는 소거할 방향만 제공합니다(인코딩·디코딩·재구성 오차 재추가 없음). 클래스당 10개 비디오, 총 $n=1740$.

모델 피처 수 Baseline Identified Intermediate Low Static Random
VideoMAE finetuned 109 0.629 0.572 0.595 0.602 0.602
V-JEPA2 62 0.681 0.578 0.558 0.540 0.562
TimeSformer 16 0.495 0.460 0.437 0.455 0.490
열 정의
Baseline 소거 없음
Identified NFP가 식별한 시간 피처 소거
Low Static 모든 시간 개념과의 공분산이 $|t|<2$인 피처(시간 임계 $|t|>4+$와 대비)에서 뽑아 스팬 소거
Intermediate 식별도 Low Static도 아닌 유효 피처
Random 비유효 피처를 포함한 모든 비플래그 피처에서 무작위 선택, 3시드 평균. SSv2에서는 활성이지만 자극 세트에서는 아닌 피처의 불완전한 대리

스팬 소거의 행동은 모델마다 다릅니다. VideoMAE finetuned는 시간 피처 소거에 가장 큰 영향을 받고 무작위 소거는 Low Static 소거와 비슷합니다. V-JEPA2는 Low Static 소거에 가장 큰 영향을 받습니다. TimeSformer는 시간과 Low Static 소거에 같은 영향을 받고 무작위 소거는 거의 효과가 없습니다. 가능한 이유는 여럿입니다. 각 모델이 SSv2 분류에 쓰는 피처의 성질을 반영할 수도 있고(V-JEPA2와 TimeSformer가 운동 인코딩에 직교하는 피처에 의존), NFP의 거짓 음성(L2: 자극 신호 부족, L3: 공 운동이 아닌 시간 피처 사용)일 수도 있으며, SAE 자체가 실패 지점일 수도 있습니다.

🔊 2. 피처 증폭 (Table 15)

시간/Low Static/무작위 집합의 SAE 피처 활성을 $f_{i}\to\alpha f_{i}$ ($\alpha>1$)로 키웁니다. 증폭과 flipper 실험은 SAE 재구성 오차를 다시 더하므로 섭동 없는 파이프라인 통과는 원래 모델의 예측을 정확히 돌려주고, 기준선 행은 SAE 파이프라인의 무섭동 결과이기도 합니다.

모델 피처 수 Baseline Identified Low Static Random
VideoMAE finetuned 109 0.629 0.634 0.631 0.627
V-JEPA2 62 0.681 0.678 0.680 0.675
TimeSformer L10 16 0.495 0.494 0.489 0.495

$\alpha=3$만 보고하지만 $\alpha\in(2,10]$에서 대표적이며, 개선은 보통 $\alpha=3$~$5$에서 정점을 찍고 그 뒤 떨어집니다. VideoMAE finetuned는 기대대로 시간 피처 증폭이 기준선과 비시간 증폭 모두를 소폭 웃돌지만, V-JEPA2는 증폭이 해롭고 TimeSformer는 효과가 없습니다. 저자들은 이 변화가 잡음 범위 안일 가능성이 크다고 인정하고 다른 결과와 함께 읽기를 권합니다.

⚖️ 3. 운동학적 쌍의 이진 분류 (Table 16)

시간 피처가 정말 시간 요구 과제에 더 중요하다면, “왼쪽에서 오른쪽으로 밀기 vs 반대” 같은 대립 쌍의 이진 분류에서 시간 피처 스팬 소거가 더 큰 손해를 줘야 합니다. SSv2에서 단일 운동학 변수(방향, 속력, 운동 결과)로 구분되는 35개 쌍을 찾아, pre-softmax 로짓 중 A·B만 남기고 둘에 소프트맥스를 취해 큰 쪽을 예측합니다(클래스당 10개 검증 클립, 쌍당 20개). $\Delta=\text{erased}-\text{baseline}$.

모델 피처 수 Baseline $\Delta_{\text{temporal} }$ $\Delta_{\text{rnd} }$ Excess $=\Delta_{\text{temporal} }-\Delta_{\text{rnd} }$
VideoMAE finetuned 109 0.954 $-0.021$ $-0.009$ $-0.012$
V-JEPA2 62 0.951 $-0.017$ $-0.022$ $+0.005$
TimeSformer L10 16 0.914 $-0.011$ $-0.001$ $-0.010$

시간 피처 스팬도, 같은 수의 비시간 피처 스팬도 이진 분류 성능에 의미 있는 영향을 주지 않습니다. 저자들은 이것을 SSv2 분류가 표현 공간의 시간 피처 인코딩을 실제로 요구하지 않으며, VideoMAE finetuned와 V-JEPA2가 이런 “시간 요구” 과제에 표현 공간의 시간 피처를 특별히 활용하지 않는다는 상당한 증거로 봅니다.

🔄 4. Flipper 실험 (Table 17~19)

시간 피처가 중요한 경우가 있기는 한지 묻기 위해, 각 피처를 개별적으로 모든 토큰에서 상수 $s=\pm150$으로 클램프하고(전형적 활성보다 훨씬 큼) 디코딩 후 재구성 오차를 더해 분류기를 읽습니다. 클램프 아래 174개 클래스 전체의 top-1 예측이 쌍의 상대 클래스가 되면 flipped로 세고, 쌍당 24개 비디오(클래스당 12개)에서 flip 비율이 어떤 쌍에서 0.5에 이르면 flipper입니다. 두 클램프 부호와 두 목표 클래스 선택 중 최대 비율을 취하고, 상대 클래스가 단지 자기 클래스보다 상위이기만 하면 세는 약한 순위 기반 비율도 보고합니다. 운동 기반 휴리스틱으로 손수 고른 10쌍(Table 20)과 무작위 10쌍(Table 21)에서 선별합니다.

모델 피처 태그 쌍 (손수 선택) Flip 비율 (top-1) 순위 기반 비율
VideoMAE finetuned feat00250 $v_{x}$ spin continue/stop 0.67 1.00
  feat00214 $v_{x}$ camera left/right 0.62 0.71
  feat02818 speed fall fast/slow 0.50 0.62
  feat05077 $v_{x}$ fall fast/slow 0.50 0.67
V-JEPA2 feat04854 $|a|$ spin continue/stop 0.67 0.83
  feat03101 $|a|$ spin continue/stop 0.58 0.92
  feat04594 $|a|$ spin continue/stop 0.58 0.83
TimeSformer L10 feat02383 $|a|$ camera left/right 0.50 1.00
  feat03534 $|a|$ camera left/right 0.50 1.00
  feat05791 $|a|$ moving up/down 0.50 1.00
무작위 쌍에서는 VideoMAE finetuned의 feat05622(speed, tilt fall/stay, 0.67/1.00)와 feat02951($v_{x}$, poke move/still, 0.54/0.83), V-JEPA2의 feat03759($ a $, roll down/up, 0.54/0.75)와 feat04022($ a $, poke move/still, 0.50/0.83)가 flipper이고 TimeSformer는 없습니다(최대 0.46).
모델 손수 선택: Identified Low static 무작위: Identified Low static
VideoMAE finetuned 4 0 2 0
V-JEPA2 3 3 2 1
TimeSformer 3 1 0 3

일부 시간 피처는 분명 하류 과제나 원하는 효과를 위한 개입에 쓸모가 있을 수 있지만, 사전에서 같은 수의 Low Static 피처를 뽑아도 flipper를 찾을 수 있고 모델마다 다르게 행동합니다. 시간 flipper의 존재는 다른 개입 결과와 모순되지 않습니다. 음성 대조 쌍(깊이, control)에서는 시간·정적 어느 쪽도 flipper가 없었는데, 이는 음성 대조 쌍 관련 개념을 인코딩하는 피처가 다른 쌍 관련 개념을 유의하게 인코딩하지 않음을 시사할 수 있습니다.

🤔 5. 이 모든 것이 뜻하는 바 (M.4)

세 실험의 결과는 일관됩니다. 시간 SAE 피처 개입은 일부 모델에서만 비시간 기준선 이상의 효과를 냅니다. SSv2가 시간 요구가 크지 않아 단일 프레임의 정적 피처로 대부분 풀린다는 해석은 SSv2의 알려진 시간적 난이도 때문에 저자들이 가능성 낮다고 봅니다. 더 가능성 있는 설명은, 어떤 모델이든 분류 헤드나 MLP가 필요하므로 정적 피처들이 분류 헤드 안에서 상호작용해 시간 개념을 만든다 는 것입니다. 표현 공간의 시간 피처가 쓰이지 않더라도 “프레임 $t$에 공이 $x$에 있음”, “프레임 $t+1$에 공이 $x-\delta$에 있음” 같은 정적 피처를 여러 프레임에 걸쳐 조합하면 필요한 시간 “이해”가 나옵니다. DINOv2가 정확히 이런 메커니즘으로 SSv2에서 괜찮은 성능을 낸 사례(Carreira et al., 2024)가 있습니다. 이 가설은 두 질문을 남깁니다. 이 분류 헤드 기반 메커니즘이 정말 많은 비디오 모델이 시간 요구 과제를 잘 푸는 방식인가? 왜 비디오 모델 사전학습은 영향력 있는 시간 피처를 만들지 못하는가(학습 목적, 사전학습 데이터, 아니면 실세계 데이터와 상호작용의 본성)? SAE 실패와 NFP 거짓 음성(L2) 같은 덜 흥미로운 설명도 있으며 일부는 더 많은 연산으로 해소될 수 있습니다.

💡 Key Takeaway 증명 가능하게 시간적인 피처를 지우거나 키우거나 클램프해도, 시간 요구 과제에서 비시간 피처 기준선보다 일관되게 큰 효과가 나지 않았습니다. 저자들의 유력한 해석은 시간 이해가 표현 공간의 시간 피처가 아니라 분류 헤드에서 정적 피처의 조합으로 만들어진다 는 것입니다.

논의와 한계

📌 1. 결론의 요약

NFP 검정은 합성 자극으로 프레임 간 변화를 통제하고, 정적 피처의 기대 활성이 시간에 대해 상수가 되는 자극 분포를 구성해, 시간 개념과의 0이 아닌 공분산이 비정적 내용을 함의하게 만듭니다. VideoMAE, V-JEPA2, TimeSformer 모두에서 시간 피처가 발견되고 DINOv2에서는 발견되지 않았습니다. 합성 표현 검증은 검출률이 방향의 참 시간 내용을 따르고 SAE를 통해서도 의도된 동작이 유지됨을 보였습니다. 개입 결과는 모델마다 엇갈려, 표현 공간에서 검출 가능한 시간 피처와 과제 관련 시간 추론의 관계가 모델에 따라 다름을 시사합니다.

⚠️ 2. 저자가 밝힌 한계와 개선 방향

항목 내용
검출 범위 (L3) 공 운동 프로파일에 묶여 있어 밝기 증가 같은 다른 시간 개념은 검출 불가. 다른 자극 세트로 검출 가능한 개념의 종류를 넓힐 수 있음
거짓 음성 (L2) $\tau$와 무관하거나 비선형 관계인 시간 피처, 신호 부족으로 임계를 못 넘는 피처는 놓침
개념 귀속 불가 (L1, Theorem 3) 플래그된 방향이 어떤 시간 개념을 인코딩하는지는 프레임워크 안에서 근거 있게 말할 수 없음
SAE 인공물 대부분의 SAE 피처가 공 자극에서 발화하지 않아 축과 SAE 플래그 비율은 직접 비교 불가. SAE 자체가 개입 실험의 실패 지점일 수 있음
플래그 수의 해석 자극 세트의 얽힘·구성에 따라 플래그 수와 겹침이 달라지므로 수 자체를 모델 성질로 읽는 데 주의
시간 부분공간의 구조 전용 저차원 부분공간을 이루는지는 열린 질문이며, 활성·통제 자극 프레임워크로는 연구하기 어려울 수 있음
개입 결과의 후속 정적 피처 → 분류 헤드에서 조합된 시간 이해라는 메커니즘이 실제로 많은 비디오 모델의 작동 방식인지, 왜 사전학습만으로는 영향력 있는 시간 피처가 생기지 않는지 추가 연구 필요

🔁 3. 재현성

NFP 검정 데이터셋 구성과 SAE 사용 세부는 Section 4, 모델 사양은 Appendix F, SAE 학습은 Appendix G에 있으며, 주요 실험을 재현할 수 있는 보조 코드가 github.com/AndrewRqy/No-False-Positive-Paper-ver/에 공개되어 있습니다.

💡 Key Takeaway 이 논문의 가장 단단한 결과는 존재 증명 입니다. 비디오 모델에는 정적 설명이 불가능한 방향이 있습니다. 가장 조심스러운 결과는 그 방향이 무엇을 하는가 입니다. 어떤 개념인지는 말할 수 없고, 지워도 과제 성능은 비시간 피처를 지운 것과 비슷하게만 떨어집니다.