0. Summary

  • 기본 정보 : ArXiv,2026.10.15, Native Geometry vs. Linear Recoverability: How Alignment Changes Platonic Scaling
  • 연구 배경 : 독립적으로 학습된 모델들의 표현(representation)은 성능과 규모가 커질수록 서로 닮아가는 경향이 있는데, Platonic Representation Hypothesis(PRH)는 이를 “모델들이 현실에 대한 하나의 공통된 통계적 모형으로 수렴해 간다”는 의미로 해석한다. 그런데 “표현이 닮아간다”에는 서로 다른 두 가지 가능성이 있다. 두 표현이 모델 규모에 따라 본질적으로 기하학적으로 더 비슷해지는 것일 수도 있고, 아니면 기하학적으로는 여전히 다르지만 학습된 변환 맵으로 서로 옮기기가 더 쉬워지는 것일 수도 있다.
  • 발견 사실 : 선형 복원가능성은 원래 대응 관계보다 모델 크기에 따라 더 강하게 증가한다. 두 서베이 임베딩을 각각 독립적으로 256개 주성분으로 투영한 뒤에도 이 효과가 유지된다. 즉, 정렬에 쓸 수 있는 차원이 많아진 것만으로는 설명되지 않는다. 이 추가적인 대응 관계를 드러내는 맵은 여전히 강하게 비등방적이다 — 방향마다 다른 비율로 늘리고 줄인다. 그럼에도 mKNN 향상의 대부분은 훨씬 작은 특이 부분공간(singular subspace)이 담당한다.
  • 핵심 기여 :
    1. 스케일링 분리: 쌍 데이터로 학습한 Ridge 선형 맵으로 드러나는 cross-survey 이웃 대응(linear recoverability)은 정렬 없는 코사인 이웃 대응(native geometry)보다 모델 크기에 따라 더 가파르게 증가하며, 이 효과는 5개 모델 패밀리 모두에서 나타남 (T = 0.00721)
    2. 차원 통제: 두 서베이 임베딩을 각각 독립 PCA로 256차원에 고정해도 기울기 증폭이 그대로 유지되므로(T₂₅₆ = 0.00864), 이 효과는 큰 모델의 넓은 임베딩이 Ridge에 더 많은 자유도를 준 탓이 아님
    3. 맵의 기하 분석: 학습된 맵은 회전·균일 스케일링과 거리가 먼 강한 비등방 변환이지만(비등방성 질량 90%에 특이 방향의 ~43% 필요), mKNN 향상의 90%는 단 ~5%의 특이 방향으로 회복되므로, 실제로 대응을 담당하는 부분은 기능적으로 저차원이며 “공유된 metric geometry로의 수렴”은 성립하지 않음

관련 개념

The Platonic Representation Hypothesis

Platonic Representation Hypothesis(PRH)는 Huh et al. (2024)이 제안한 가설로, 서로 다른 데이터·아키텍처·목적함수로 독립적으로 학습된 모델들의 표현이 성능과 규모가 커질수록 서로 닮아간다는 관찰을 “모델들이 현실에 대한 하나의 공통된 통계적 모형으로 수렴해 가고 있다”는 뜻으로 해석합니다. 이름은 플라톤의 동굴 비유에서 왔습니다. 이미지·텍스트 같은 각 모달리티는 하나의 실재가 드리운 그림자이고, 충분히 큰 모델은 그림자를 넘어 실재의 구조 자체를 학습한다는 것입니다.

🔍 1. 이 논문이 던지는 질문: “닮아간다”는 말의 두 가지 의미

논문은 PRH가 말하는 “표현이 닮아간다”에 서로 다른 두 가지 해석이 숨어 있다고 지적합니다.

해석 의미 측정 방법
고유 기하(native geometry)의 수렴 두 모델의 표현 공간이 변환 없이 그대로 비슷해짐. 가까운 것은 가깝고 먼 것은 멀다는 관계가 공유됨 정렬 없이 코사인 이웃 대응을 직접 비교
선형 복원가능성(linear recoverability)의 증가 두 공간은 여전히 다르지만, 학습된 선형 변환으로 한쪽을 다른 쪽에 옮기기가 쉬워짐 쌍 데이터로 선형 맵을 학습한 뒤 이웃 대응을 비교

기존 PRH 논의는 이 둘을 섞어서 다루는 경우가 많았습니다. 이 논문은 둘을 동일한 데이터·동일한 지표 위에서 따로 측정하여, 모델 규모가 커질 때 어느 쪽이 더 가파르게 증가하는지를 분리해 냅니다.

🔭 2. 실험 무대: 천문 서베이 임베딩

논문은 자연 이미지 대신 천문 관측 데이터를 씁니다. 같은 천체(은하 등)를 서로 다른 망원경으로 찍은 두 장의 이미지가 쌍을 이루므로, “같은 대상의 두 가지 관측”이라는 PRH의 그림자 비유에 잘 들어맞습니다.

항목 내용
데이터 UniverseTBD의 Legacy Survey ↔ HSC(Hyper Suprime-Cam) 매칭 임베딩, 총 16,384개 천체
분할 학습 13,107개 / 테스트 3,277개 (고정 분할, seed 0)
모델 패밀리 AstroPTv2, ConvNeXtv2, DINOv2, ViT, I-JEPA — 5개 패밀리, 총 16개 크기
파라미터 범위 약 1,500만 ~ 11억

각 모델이 Legacy 이미지와 HSC 이미지를 각각 임베딩하면, 같은 천체에 대한 두 벡터가 생깁니다. 이 두 공간이 얼마나 “같은 세계”를 보고 있는지를 묻는 것입니다.

💡 Key Takeaway PRH는 “큰 모델일수록 표현이 수렴한다”고 말하지만, 무엇이 수렴하는지는 명확히 하지 않습니다. 이 논문의 핵심은 “수렴”을 고유 기하와 선형 복원가능성으로 쪼갠 뒤, 규모 효과가 주로 후자에 실려 있음을 보이는 것입니다.

Native cosine geometry

Native cosine geometry(고유 코사인 기하)는 어떤 학습된 정렬(alignment)도 거치지 않은 상태에서, 코사인 유사도로 정의되는 표현 공간의 이웃 구조를 말합니다. 논문에서 “native”는 “있는 그대로의”, 즉 모델이 내놓은 임베딩을 손대지 않은 원래 상태라는 뜻입니다.

📐 1. 코사인 유사도 복습

두 벡터 $u, v$의 코사인 유사도는 벡터의 크기를 무시하고 방향만 비교합니다.

\[\cos(u, v) = \frac{u \cdot v}{\|u\| \, \|v\|}\]

값이 1이면 같은 방향, 0이면 직교, −1이면 반대 방향입니다. 임베딩 공간에서는 일반적으로 크기보다 방향이 의미를 담는다고 보기 때문에, 이웃을 찾을 때 코사인 유사도를 많이 씁니다.

🗺️ 2. 왜 “기하”라고 부르는가

표현 공간을 하나의 지도라고 생각해 봅시다. 어떤 천체 $i$의 이웃이 누구인지, 즉 “누가 누구와 가까운가”라는 관계의 집합이 그 공간의 기하 구조입니다. 두 모델(또는 같은 모델이 본 두 서베이)의 고유 기하가 같다는 것은, 변환 없이도 같은 천체들이 같은 이웃을 가진다는 뜻입니다.

논문은 이것을 다음과 같이 측정합니다.

  1. 테스트 집합의 Legacy 임베딩에서 천체 $i$의 코사인 k-최근접 이웃 집합 $N_k^A(i)$를 구한다.
  2. 같은 천체들의 HSC 임베딩에서 $N_k^B(i)$를 구한다.
  3. 두 집합이 얼마나 겹치는지 본다(아래 mKNN 참조).

여기서 핵심은 Legacy 공간과 HSC 공간을 서로 맞추기 위한 어떤 변환도 적용하지 않는다는 점입니다. 두 공간의 축이 전혀 다르게 놓여 있더라도, 이웃 관계만 일치하면 높은 점수를 받습니다.

📊 3. 논문의 고유 기하 측정 결과

지표 값
Native (Dense) Legacy→HSC mKNN@10 0.022
우연(chance) 수준 ≈ $k/(n_{test}-1)$ ≈ 0.0031

우연보다는 약 7배 높지만 절대값은 매우 낮습니다. 즉, 정렬 없이 두 서베이의 표현은 이웃의 2% 정도만 공유합니다. PRH가 기대하는 “이미 비슷한 공간”과는 거리가 있습니다.

💡 Key Takeaway 고유 코사인 기하는 “아무것도 하지 않았을 때 두 표현이 얼마나 같은 이웃 관계를 갖는가”입니다. 이 값이 모델 규모에 따라 얼마나 오르는지가 PRH의 가장 순수한 검증이 되고, 논문은 이것을 선형 복원가능성과 대조하는 기준선(baseline)으로 삼습니다.

mutual k-nearest-neighbour(mKNN)

mutual k-nearest-neighbour(mKNN)는 두 표현 공간이 같은 대상들에 대해 얼마나 같은 이웃을 찾아 주는지를 0과 1 사이의 숫자로 요약하는 지표입니다. Huh et al. (2024)의 PRH 논문에서도 핵심 유사도 지표로 사용되었습니다.

🧮 1. 정의

$n$개의 쌍 데이터(같은 천체의 Legacy/HSC 임베딩)가 있을 때,

\[M_k = \frac{1}{n} \sum_{i=1}^{n} \frac{|N_k^A(i) \cap N_k^B(i)|}{k}\]
기호 의미
$N_k^A(i)$ 표현 A에서 대상 $i$의 k-최근접 이웃 집합(자기 자신 제외, 코사인 유사도 기준)
$N_k^B(i)$ 표현 B에서 같은 대상 $i$의 k-최근접 이웃 집합
$\lvert \cdot \cap \cdot \rvert$ 두 이웃 집합의 교집합 크기

각 대상마다 “A가 찾은 k개 이웃 중 B도 찾은 이웃이 몇 개인가”를 세어 $k$로 나누고, 전체 평균을 냅니다. $M_k = 1$이면 모든 대상의 이웃이 완전히 일치, $M_k = 0$이면 전혀 겹치지 않습니다.

⚙️ 2. 논문의 구체적 설정

항목 설정
k 기본 10 (mKNN@10). 민감도 분석은 k ∈ {5, 10, 25, 50}
이웃 탐색 범위 테스트 집합(3,277개) 내부에서만 탐색. 학습 데이터가 갤러리에 섞여 들어가지 않도록 함
우연 수준 $k/(n_{test}-1) \approx 0.0031$
방향 주 분석은 Legacy→HSC, 역방향(HSC→Legacy)도 보고

🤔 3. 왜 mKNN을 쓰는가

표현 유사도를 재는 지표는 여러 가지가 있습니다.

지표 특징 한계
CKA (Centered Kernel Alignment) 전체 거리 구조의 상관을 봄 전역 구조에 민감, 국소 이웃 관계를 놓칠 수 있음
Linear probing / CCA 선형 변환을 학습해 맞춘 뒤 비교 이미 “정렬”을 포함하므로 고유 기하를 따로 볼 수 없음
mKNN 각 점의 국소 이웃만 봄, 변환 불필요 절대값이 작고, 전역 거리 정보는 버림

mKNN은 변환 없이도 계산 가능하기 때문에 고유 기하(native)와 정렬 후(Ridge) 두 조건에 똑같은 자를 댈 수 있습니다. 이 논문의 설계에서 가장 중요한 성질입니다.

💡 Key Takeaway mKNN은 “두 공간이 같은 이웃을 찾는가”만 묻습니다. 그래서 축이 아무리 다르게 놓여도, 변환을 하든 안 하든 같은 기준으로 비교할 수 있습니다. 논문은 이 성질 덕분에 “정렬 전 vs 정렬 후”의 규모 효과를 공정하게 대조합니다.

Linear recoverability

Linear recoverability(선형 복원가능성)는 쌍 데이터로 학습한 선형 맵을 통해 한 표현 공간을 다른 표현 공간으로 옮겼을 때 드러나는 대응 관계를 말합니다. 고유 기하가 “지금 그대로 얼마나 비슷한가”라면, 선형 복원가능성은 “선형 변환 하나를 허용하면 얼마나 비슷해질 수 있는가”입니다.

🔧 1. 논문의 측정 절차 (Dense+Ridge)

  1. 표준화: 학습 데이터만으로 StandardScaler를 맞춰 Legacy 임베딩 $X$와 HSC 임베딩 $Y$를 각각 표준화한다.
  2. Ridge 회귀 학습: 학습 쌍(13,107개)으로 $X \to Y$ 선형 맵 $W$와 절편 $b$를 Ridge($\alpha = 1$)로 학습한다.
  3. 매핑: 테스트 Legacy 벡터를 $A_{\text{eff}} X + b_{\text{eff}}$ 로 HSC 공간에 옮긴다.
  4. mKNN 계산: 옮겨진 Legacy 테스트 벡터와 HSC 테스트 갤러리 사이에서 고유 기하와 동일한 mKNN@10을 계산한다.

📈 2. 결과: 정렬이 만드는 추가 대응

조건 mKNN@10 비고
Native (Dense) 0.022 정렬 없음
Dense+Ridge 0.042 이득 $G \approx 0.020$, 우연의 약 13배
SAE+Ridge 0.033 희소 오토인코더 특징 위에서 Ridge
BSF+Ridge 0.035 Block-Sparse Featuriser 위에서 Ridge

선형 맵 하나로 이웃 대응이 거의 두 배로 오릅니다. 이 차이 $G$가 바로 “고유 기하에는 없지만 선형 변환으로 복원할 수 있는 대응”의 크기입니다.

📏 3. 핵심 분석: 규모에 따른 기울기 차이

논문의 주 결과는 절대값이 아니라 기울기입니다. 각 패밀리 $F$에 대해 mKNN을 $\log_{10} P$($P$ = 파라미터 수)에 회귀시켜 기울기 $\beta$를 구하고,

\[\Delta\beta_F = \beta_{\text{Dense+Ridge},F} - \beta_{\text{Dense},F}, \qquad T = \frac{1}{5}\sum_F \Delta\beta_F\]
통계량 값 의미
T 0.00721 5개 패밀리 모두 양수, 부호검정 p = 0.031
부트스트랩 95% CI [0.0034, 0.0111] 테스트 천체 재추출
대응 섞기(shuffle) 귀무 p ≈ 0.005 쌍을 무작위로 섞으면 효과가 사라짐
안정성 k ∈ {5,…,50}, α ∈ [0.01, 100]에서 T ∈ [0.00721, 0.00848] 하이퍼파라미터에 둔감
역방향 $T_{H\to L}$ 0.00447 5개 중 4개 패밀리 양수, 더 약함

$T > 0$ 는 “모델이 커질수록, 정렬 후 이웃 대응이 정렬 전 이웃 대응보다 더 가파르게 증가한다”는 뜻입니다. 패밀리를 반복 단위로 삼아 각 패밀리에 같은 가중치를 주므로, 크기 등급이 많은 패밀리(DINOv2, ConvNeXtv2)가 결과를 지배하지 않습니다.

🧪 4. “차원이 많아서 그런 것 아닌가?” — PCA-256 통제

큰 모델은 임베딩 차원도 크므로 Ridge가 더 많은 자유도를 가집니다. 이 반론을 막기 위해 논문은 두 서베이 임베딩을 각각 독립적으로 256개 주성분(PCA)으로 투영한 뒤 Dense와 Dense+Ridge를 같은 256차원 특징 위에서 다시 계산합니다.

통계량 값
$T_{256}$ 0.00864, 5개 패밀리 모두 양수

차원을 고정해도 기울기 증폭이 사라지지 않으므로, 효과는 “넓은 임베딩이 주는 자유도” 때문이 아닙니다.

💡 Key Takeaway 선형 복원가능성은 “선형 맵 하나를 배우면 얼마나 대응이 드러나는가”입니다. 논문은 이 양이 모델 규모에 따라 고유 기하보다 더 빠르게 커진다는 것을 보이고, 이것이 차원 수 때문이 아님을 PCA 통제로 확인합니다. 즉, PRH의 “규모에 따른 수렴”은 상당 부분 학습된 정렬을 거쳐야 보이는 수렴입니다.

metric geometry

Metric geometry(거리 기하)는 표현 공간을 거리와 각도가 정의된 공간으로 보는 관점입니다. 두 모델이 “공유된 metric geometry로 수렴한다”는 것은, 어떤 두 대상 사이의 거리와 각도가 두 공간에서 (회전·균일 스케일링을 제외하면) 같아진다는 매우 강한 주장입니다.

🔄 1. 등거리 변환(isometry)과 유사 변환(similarity transform)

변환 보존하는 것 수식
등거리 변환(isometry) 모든 거리와 각도 $x \mapsto Qx + b$, $Q^\top Q = I$ (회전·반사)
유사 변환(similarity) 각도와 거리의 비율 $x \mapsto cQx + b$, $c > 0$ (회전 + 균일 스케일링)
일반 선형 변환(affine) 직선성만 $x \mapsto Ax + b$, $A$ 임의 (방향마다 다르게 늘리고 줄임)

두 공간이 같은 metric geometry를 가진다면, 둘을 잇는 최적의 맵은 유사 변환에 가까워야 합니다. 반대로 최적 맵이 방향마다 전혀 다른 비율로 늘리고 줄여야 한다면(비등방성, anisotropy), 두 공간의 거리 구조는 다르다는 뜻입니다.

🔬 2. 학습된 맵의 특이값 분해(SVD) 분석

논문은 표준화까지 포함한 실제 유효 맵 $A_{\text{eff}} = D_y W D_x^{-1}$을 특이값 분해합니다.

\[A_{\text{eff}} = U \Sigma V^\top, \qquad \Sigma = \text{diag}(s_1, s_2, \ldots)\]

특이값 $s_i$는 “$i$번째 방향을 몇 배로 늘리는가”입니다. 모든 $s_i$가 같으면 유사 변환, 제각각이면 비등방 변환입니다.

지표 정의 논문 값
$A_{\log}$ (비등방성) $\text{std}_i(\log s_i)$ 1.76 ~ 3.15
$D_{\text{sim}}$ (유사 변환까지의 거리) $\min_{c, Q} \lVert A_{\text{eff}} - cQ \rVert_F / \lVert A_{\text{eff}} \rVert_F$ 0.88 ~ 0.91
$f^{90}_{\text{anis}}$ (비등방성 질량 90%에 필요한 방향 비율) $m_i = (\log s_i - \overline{\log s})^2$ 의 90%를 담는 최소 방향 비율 0.411 ~ 0.490 (중앙값 0.427)

$D_{\text{sim}} \approx 0.9$ 는 맵의 노름 중 약 90%가 유사 변환으로 설명되지 않는다는 뜻입니다. 비등방성이 특정 몇 방향에 몰린 것도 아니고, 전체 방향의 약 43%에 넓게 퍼져 있습니다.

🎯 3. 그런데 “기능적으로”는 저차원이다

맵이 스펙트럼상 넓게 비등방적이라고 해서, mKNN을 올리는 데 모든 방향이 필요한 것은 아닙니다. 논문은 $A_{\text{eff}}$를 특이값 큰 순서대로 잘라내며(재학습 없이) mKNN 이득이 얼마나 회복되는지 봅니다.

지표 값
mKNN 이득 90% 회복에 필요한 방향 비율 중앙값 4.8% (범위 2.1 ~ 17%)
절편 $b_{\text{eff}}$ 제거 시 유지되는 이득 중앙값 0.99

즉, 맵은 스펙트럼은 넓지만 기능은 작은 부분공간에 집중되어 있습니다. 비등방성 질량의 90%에는 43%의 방향이 필요하지만, 이웃 대응 향상의 90%는 5%의 방향으로 충분합니다.

⚖️ 4. 논문의 결론: 공유된 metric geometry는 성립하지 않는다

관찰 함의
최적 맵이 유사 변환과 멀다 ($D_{\text{sim}} \approx 0.9$) 거리·각도가 두 공간에서 보존되지 않음
비등방성이 넓게 퍼짐 (43%) 소수 축만 보정하면 되는 문제가 아님
기능적 부분공간은 작음 (5%) “대응”은 존재하지만 저차원 선형 구조로 존재

따라서 규모에 따라 커지는 것은 “학습된 선형 맵 아래서의 대응(correspondence under a learned map)”이지, 거리와 각도를 공유하는 기하 자체의 수렴이 아닙니다. 후자를 보이려면 고유 기하끼리의 거리·각도가 변환 없이 일치해 가야 하는데, 논문은 그것을 확인하지 못했다고 명시합니다.

💡 Key Takeaway “같은 metric geometry”는 회전·스케일만 다르고 거리 구조는 같다는 뜻입니다. 학습된 맵이 방향마다 다른 비율로 늘리고 줄여야 한다면 그 조건은 깨집니다. 논문은 PRH의 수렴이 등거리적 수렴이 아니라 저차원 선형 대응의 증가임을 보입니다.

Ridge

Ridge 회귀(Ridge regression)는 선형 회귀에 가중치 크기에 대한 L2 벌점을 더한 방법입니다. 이 논문에서는 Legacy 임베딩을 HSC 임베딩으로 옮기는 선형 정렬 맵을 학습하는 도구로 쓰입니다.

🧮 1. 정의

입력 $X \in \mathbb{R}^{n \times d_x}$, 출력 $Y \in \mathbb{R}^{n \times d_y}$ 에 대해

\[\min_{W, b} \; \|Y - XW - \mathbf{1}b^\top\|_F^2 + \alpha \|W\|_F^2\]
기호 의미
$W$ $d_x \times d_y$ 선형 맵
$b$ 절편(intercept)
$\alpha$ 정규화 강도. 클수록 $W$를 0에 가깝게 눌러 과적합을 막음

일반 최소제곱(OLS)과 달리 $\alpha > 0$ 이면 해가 항상 유일하게 존재하며, 임베딩 차원($d_x$)이 큰 경우에도 안정적으로 풀립니다. 닫힌 해는 $W = (X^\top X + \alpha I)^{-1} X^\top Y$ 입니다.

⚙️ 2. 논문에서의 사용

항목 설정 이유
α 1 (민감도: 0.01 ~ 100) 결과가 α에 둔감함을 보임, T ∈ [0.00721, 0.00848]
표준화 학습 데이터만으로 StandardScaler 테스트 정보 누설 방지
학습 데이터 13,107개 쌍 같은 천체의 Legacy/HSC 임베딩 쌍
방향 Legacy → HSC 고정 역방향은 별도 보고
절편 포함 제거해도 이득의 99% 유지 (T_A = 0.00854)

🤔 3. 왜 비선형 맵이 아니라 Ridge인가

논문의 질문은 “선형 변환 하나로 얼마나 복원되는가”입니다. 비선형 맵을 쓰면 거의 모든 것을 맞출 수 있으므로, “표현이 선형적으로 호환되는가”라는 PRH의 질문과 멀어집니다. Ridge는

  • 닫힌 해가 있어 재현이 쉽고,
  • 하이퍼파라미터가 α 하나뿐이며,
  • 학습된 맵 $W$를 특이값 분해로 직접 해부할 수 있습니다.

세 번째 성질 덕분에 “맵이 얼마나 비등방적인가”, “몇 개 방향이 기능을 담당하는가”를 분석할 수 있었습니다.

🔁 4. 대조군: 쌍 없는 비선형 정렬

논문은 쌍 정보 없이 학습한 비선형 DualEncoder도 시험했습니다. mKNN은 0.012 ~ 0.023(우연 ≈ 0.0035)으로 Ridge보다 낮고 모델 크기에 대해 단조 증가하지 않았습니다. 즉, 쌍 데이터로 지도된 선형 맵이 가장 깨끗하게 규모 효과를 드러냅니다.

💡 Key Takeaway Ridge는 논문에서 “정렬”을 구현하는 가장 단순하고 해부 가능한 선형 도구입니다. 결과가 α와 k에 둔감하고 PCA 통제에서도 유지되므로, 관찰된 규모 효과는 Ridge의 특수한 성질이 아니라 표현 자체의 성질로 해석됩니다.

Sparse Autoencoder(SAE)와 Block-Sparse Featuriser(BSF)

논문은 밀집(dense) 임베딩 외에, 해석 가능성 연구에서 흔히 쓰는 희소 특징 변환 위에서도 같은 Ridge 정렬을 시험했습니다. 희소 특징이 “더 보편적인 개념 축”을 드러내어 정렬을 돕는지 확인하려는 것입니다.

🧩 1. 두 방법의 개요

방법 아이디어 논문 설정
Sparse Autoencoder (SAE) 임베딩을 더 넓은 사전(dictionary)으로 펼치되, 한 번에 소수(TopK)의 특징만 활성화되도록 학습. 각 특징이 하나의 해석 가능한 개념에 대응하기를 기대 사전 폭 2048, TopK 18 ~ 23, IDF 가중, Legacy→HSC 고정
Block-Sparse Featuriser (BSF) 특징을 블록 단위로 묶어 블록별 희소성을 부여하는 변형. 부호 있는(signed) 코드를 그대로 사용 Fel et al. (2026), 동일한 Ridge 레시피

📉 2. 결과: 희소 특징은 Dense보다 낮다

조건 mKNN@10 Dense+Ridge 대비 평균 차이 패밀리 부트스트랩 95% CI
Dense+Ridge 0.042 — —
SAE+Ridge 0.033 −0.0085 [−0.0120, −0.0043]
BSF+Ridge 0.035 −0.0062 [−0.0104, −0.0007]

SAE는 추론 시 TopK를 10, 20, 40으로 바꿔도 격차가 음수(−0.0159, −0.0085, −0.0077)로 유지되었고, 규모에 따른 상호작용도 양수가 되지 않았습니다.

💡 Key Takeaway 희소 특징 변환은 해석에는 유용할 수 있지만, 이 설정에서는 cross-survey 선형 대응을 오히려 줄였습니다. 논문이 밀집 임베딩 위의 Ridge를 주 결과로 삼는 이유입니다.

한계와 해석 시 주의점

논문이 스스로 밝히는 제약을 함께 알아두면 결과를 과대해석하지 않을 수 있습니다.

한계 내용
절대값이 낮음 정렬 후에도 mKNN@10 ≈ 0.04. 이웃의 4%만 공유. “수렴”은 상대적 기울기의 문제
지도 정렬 의존 결과는 쌍 데이터로 학습한 Ridge에 기반. 쌍이 없는 상황으로 일반화되는지는 별도 문제
단일 도메인 천문 서베이 두 개, 5개 패밀리, 고정 분할 하나. 자연 이미지·언어로의 확장은 미검증
역방향이 약함 HSC→Legacy는 T = 0.00447, 4/5 패밀리만 양수
전역 선형 맵의 한계 저자들은 작은 국소 영역 안에서 국소 affine 근사를 쓰면 더 날카로운 Platonic 스케일링이 보일 수 있다고 제안. 고유 기하가 정말 다른지, 전역 affine 맵이 부적절한 것인지 구분하는 다음 단계

💡 Key Takeaway 이 논문은 PRH를 반박하는 것이 아니라 정밀화합니다. 규모에 따라 커지는 것은 “학습된 선형 맵으로 드러나는 대응”이고, 거리·각도를 공유하는 기하로의 수렴은 (아직) 확인되지 않았습니다. 이후 PRH 관련 결과를 읽을 때 “정렬 전인가, 후인가”를 먼저 묻는 습관이 이 논문의 가장 실용적인 교훈입니다.