You know maize mean?
Latent Multimodal Memory Reasoning
0. Summary
- 기본 정보 : ArXiv,2026.09.28, Latent Multimodal Memory Reasoning
- 연구 배경 : 장기 개인화 에이전트(long-term personalized agent)는 여러 세션에 흩어진 대화와 이미지를 기억하고, 그 기억이 시간에 따라 어떻게 바뀌었는지까지 추론해야 한다. 기존 멀티모달 메모리 시스템은 크게 두 갈래인데, (1) 이미지를 캡션·태그·요약 텍스트로 변환해 저장하는 방식은 색상·개수·공간 관계·인스턴스 수준의 구분 같은 세밀한 시각 정보를 조기에 압축해 잃어버리고, (2) 원본 이미지를 유지한 채 텍스트·이미지 임베딩 유사도로 검색하는 방식은 시각적으로 비슷하지만 이미 유효하지 않은(temporally stale) 과거 관찰을 되돌려 준다. 두 방식 모두 검색된 텍스트와 이미지를 독립적인 컨텍스트로 취급할 뿐, 모달리티 간·세션 간 증거를 하나로 묶어 “지금 질문에 대해 어떤 관찰이 여전히 유효한가”를 판단하는 단계가 없다. 저자들은 검색(retrieval)과 언어 생성 사이에 질의 조건부 멀티모달 메모리 상태(query-conditioned memory state)가 빠져 있다고 진단한다.
- 제안 방법 : LMMR(Latent Multimodal Memory Reasoning)은 장기 멀티모달 기억의 조직화를 연속 잠재 공간(continuous latent space)으로 옮기는 neuro-symbolic 프레임워크다. 첫째, 텍스트 hidden state와 시각 패치 특징을 모달리티별 projector로 사영한 뒤 하나의 공유 Sparse Autoencoder(SAE) 사전(dictionary) 으로 인코딩해, 희소 활성화를 모달리티 공통의 “의미 주소(semantic address)”로 사용한다. 둘째, 이 주소를 기반으로 선택된 이미지를 그것이 등장한 대화 턴에 연결해 턴 단위 멀티모달 메모리 그래프를 질의마다 동적으로 구성하고, 그래프 인코더가 concept 메시지(모달리티 간 연결)와 temporal 메시지(이전·이후 관찰 구분)를 전파한다. 셋째, 그래프 readout을 연속 잠재 롤아웃(continuous latent rollout) 의 특정 스텝에 residual로 주입하여 백본이 답을 말하기 전에 증거를 통합할 계산 시간을 갖게 하고, 선택된 이미지의 원본 시각 토큰(native visual tokens) 은 프리픽스에 그대로 남겨 concept 추상화가 놓치는 세부 정보를 보존한다.
- 발견 사실 : Mem-Gallery(9개 태스크)에서 Qwen2.5-VL-7B 기준 LMMR은 평균 76.18점으로 최강 베이스라인 MuRAG(66.53)를 약 9.65점 앞섰고, 3B에서 7B로 백본이 커질수록 격차가 벌어졌다. 특히 여러 관찰을 순서대로 정리·갱신해야 하는 conflict detection(32–37 → 86.42), temporal reasoning(58.33 → 85.71)에서 개선이 두드러졌다. Mem-Gallery로만 학습한 체크포인트를 MemEye 12개 설정에 zero-shot 으로 옮겨도 모든 지표에서 평균 1위였고, 객관식 EM은 12셀 중 11셀에서 최고였다. Ablation에서는 latent reasoning 제거 시 F1이 19.93점, visual memory 제거 시 6.39점 떨어져, 증거에 접근하는 것(access)과 증거를 통합하는 것(integration)이 서로 다른 병목임이 확인됐다. 공유 SAE 공간의 정렬 분석에서는 학습 전 거의 무관하던 캡션–이미지 쌍의 코사인 유사도가 −0.006에서 0.676으로 올라가면서도 공간이 붕괴하지 않고 슬롯 구조가 분리되어 유지되었다.
- 핵심 기여 :
- 검색된 텍스트와 이미지를 현재 질의에 맞게 모달리티 간 문맥과 시간적 유효성을 보존하는 하나의 메모리 상태로 조직화해야 한다는 문제를 명시적으로 제기함
- 공유 SAE concept으로 텍스트와 이미지를 연결하고, 대화 턴 그래프로 문맥·시간 관계를 보존하며, 잠재 추론 단계에서 구조화된 메모리와 원본 시각 토큰을 결합하는 LMMR을 제안함
- Mem-Gallery와 MemEye 두 벤치마크에서 기존 시스템과 강한 베이스라인을 일관되게 능가함을 보이고, ablation과 분석을 통해 세밀한 시각 정보 보존과 시간적으로 근거 있는 구조적 추론이 상호 보완적임을 입증함
관련 개념
장기 멀티모달 에이전트 메모리(Long-Term Multimodal Agent Memory)
장기 에이전트 메모리는 LLM 에이전트가 여러 세션에 걸친 과거 상호작용을 저장하고, 나중에 질문이 들어왔을 때 그 중 관련된 증거를 꺼내 답에 활용하는 능력입니다. 멀티모달 환경에서 목표는 “모델이 그 이미지를 한 번 봤다”가 아니라, 그 이미지를 한참 뒤에도 증거로 쓸 수 있게 만드는 것입니다. 질문은 오래된 이미지 속 작은 속성 하나에 의존할 수도 있고, 여러 대화 턴에 흩어진 정보를 합쳐야 할 수도 있으며, 시각적으로 비슷한 여러 상태 중 이후 업데이트 뒤에도 여전히 유효한 것이 무엇인지 가려야 할 수도 있습니다.
🗂️ 1. 기존 시스템의 두 가지 시각 인터페이스
| 방식 | 대표 시스템 | 장점 | 치명적 약점 |
|---|---|---|---|
| 이미지 → 텍스트 변환 (캡션·태그·요약으로 저장) | AUGUSTUS, 텍스트 기반 메모리(A-Mem, MemOS, MemGPT 등) | 압축·색인·업데이트가 쉬움 | 정확한 색상, 개수, 공간 관계, 인스턴스 구분을 지워버림 |
| 원본 이미지 유지 + 임베딩 검색 | MuRAG, UniversalRAG | 지각적 세부 정보 보존 | 유사도 검색이 시각적으로 비슷하지만 이미 낡은(stale) 관찰을 반환 |
최근 시스템들은 사용자 프로필, 그래프/하이브리드 메모리, 신뢰도 인식 검색, 반복적 메모리 관리 등으로 외부 메모리 관리를 개선했지만, 정작 답변 모델 내부에서 증거를 통합하는 문제는 거의 손대지 않았습니다.
⚖️ 2. 시각 충실도 vs 메모리 조직화의 긴장
논문이 인용하는 벤치마크 연구(Mem-Gallery, MemEye)들이 공통으로 보여주는 패턴은 다음과 같습니다.
- 요구되는 세부 수준이 높아질수록 원본 시각 증거의 가치가 커진다.
- 하지만 답이 변화하는 시각 상태(evolving visual state) 에 달려 있을 때는, 이미지를 보관하고 검색하는 것만으로는 부족하다. 시스템이 올바른 객체를 찾아내고도 그 객체의 현재 유효한 상태는 식별하지 못할 수 있다.
💡 Key Takeaway 논문의 진단은 “검색과 언어 사이에 질의 조건부 멀티모달 메모리 상태가 비어 있다”는 것입니다. 검색은 증거를 공급하고, 언어는 답을 말하지만, 그 사이에서 모달리티 간·세션 간 증거를 묶고 시간적 유효성을 판정하는 단계가 없다는 뜻입니다.
문제 정식화(Problem Formulation)
LMMR은 멀티모달 장기 상호작용 이력에 대한 질의응답을 다룹니다. 수식으로 정리하면 다음과 같습니다.
📐 1. 표기
| 기호 | 의미 |
|---|---|
| $\mathcal{H}={r_1,\dots,r_M}$ | 다중 세션 대화 이력 |
| $r_i=(x_i,\mathcal{I}_i,\tau_i)$ | $i$번째 턴: 텍스트 $x_i$, 이미지 집합 $\mathcal{I}_i$, 타임스탬프 $\tau_i$ |
| $q$ | 현재 질의 (시각 관찰을 포함할 수 있음) |
| $y=(y_1,\dots,y_N)$ | 목표 응답 |
| $f_\theta$, $E(\cdot)$ | 백본 멀티모달 언어 모델과 그 토큰 임베딩 함수 |
🎯 2. 핵심 식: 메모리 상태를 먼저 만들고, 그 위에서 생성한다
검색된 메모리 항목에서 바로 디코딩하는 대신, 먼저 시각 세부 정보·대화 문맥·시간 관계를 보존하는 질의 조건부 메모리 상태 $\mathbf{M}_q$ 를 만듭니다.
\[\mathbf{M}_q = G_\phi(\mathcal{H}_{\le q}, q), \qquad p_{\theta,\phi}(y \mid q, \mathcal{H}_{\le q}) = \prod_{n=1}^{N} p_{\theta,\phi}\left(y_n \mid y_{<n}, q, \mathbf{M}_q\right)\]- $\mathcal{H}_{\le q}$ : 질문의 anchor 시점까지로 잘린 이력. 그 이후 턴은 “미래 정보”로 취급해 차단합니다.
- 추론 시 $\mathbf{M}_q$ 는 접근 가능한 이력과 현재 질의로만 구성되며, 주석된 단서, gold 이미지 식별자, 정답 유래 정보에는 접근하지 않습니다.
💡 Key Takeaway 이 식은 “RAG + 생성”과 모양이 비슷하지만, $\mathbf{M}_q$ 가 텍스트 조각 모음이 아니라 연속 잠재 공간의 상태라는 점이 다릅니다. 뒤의 모든 설계는 이 $\mathbf{M}_q$ 를 어떻게 만들고 어떻게 백본에 넣을 것인가에 대한 답입니다.
두 갈래 시각 표현: 압축 패치 vs 원본 시각 토큰
LMMR은 각 과거 이미지에 대해 역할이 다른 두 가지 표현을 함께 보관합니다. 모든 이미지를 백본에 넣으면 비용이 크고 무관한 시각 내용이 섞이며, 반대로 모든 이미지를 캡션으로 바꾸면 세부 증거가 사라지기 때문입니다.
🧩 1. 메모리 엔트리 구성 (Eq. 2)
턴 $r_i$ 에 등장한 이미지 $I_{ij}$ 에 대해, 고정된(frozen) 시각 인코더 $E_v$ 가 두 표현을 만듭니다.
\[\mathbf{U}_{ij}, \mathbf{R}_{ij} = E_v(I_{ij}), \qquad \mathbf{U}_{ij}\in\mathbb{R}^{P\times d_v}, \quad \mathbf{R}_{ij}\in\mathbb{R}^{L_{ij}\times d}\]| 표현 | 용도 |
|---|---|
| $\mathbf{U}_{ij}$ (compact patch representation) | 메모리 색인과 concept 모델링(SAE 입력) |
| $\mathbf{R}_{ij}$ (native visual tokens) | 멀티모달 백본이 실제로 소비하는 세밀한 시각 정보 |
각 메모리 엔트리는 $m_{ij}=(c_{ij}, \mathbf{U}{ij}, \mathbf{R}{ij}, \mathrm{id}{ij}, i, \tau_i)$ 로 저장됩니다. $c{ij}$ 는 이미지 캡션, $(i,\tau_i)$ 는 대화상의 출처(provenance)입니다. 텍스트 턴도 같은 라운드·시간 정보와 함께 저장됩니다.
🔽 2. 2단계 선택 설계
- 질의마다 질의 관련성 + 최신성(recency) 의 가벼운 조합으로 후보 뱅크 $\mathcal{B}_q$ 를 먼저 구성합니다. 탐색 공간은 줄이지만, 아직 원본 시각 토큰을 백본에 노출하지는 않습니다.
- 뒤의 SAE 모듈이 $\mathcal{B}_q$ 에서 질의 관련 이미지 소수($K$개, 기본 2개) 만 고르고, 그 이미지들의 원본 시각 토큰만 멀티모달 프리픽스에 삽입합니다.
💡 Key Takeaway “색인용 표현”과 “소비용 표현”을 분리한 것이 핵심입니다. 색인은 압축 패치와 SAE concept으로 싸게 하고, 실제로 읽을 때만 원본 토큰을 꺼내 세부 정보를 지킵니다.
공유 SAE Concept 공간: 모달리티 공통의 “의미 주소”
이 논문에서 Mechanistic Interpretability 관점으로 가장 흥미로운 부분입니다. Sparse Autoencoder(SAE) 는 보통 모델의 활성화를 희소한 사전 원자(dictionary atom)들의 조합으로 분해해 해석 가능한 특징(feature) 을 찾는 도구로 쓰입니다. LMMR은 이 SAE를 텍스트와 이미지가 같은 좌표계를 공유하게 만드는 정렬 장치이자 메모리 주소 체계로 재활용합니다.
❓ 1. 왜 SAE인가
텍스트 hidden state와 시각 패치 특징은 분포 자체가 다르기 때문에 원시 유사도로 모달리티 간 메모리를 고르는 것은 신뢰할 수 없습니다. 실제로 부록 C.1의 측정에 따르면, 학습 전 raw 공간에서는 짝지어진 캡션–이미지 쌍의 코사인 유사도가 −0.006으로, 같은 뱅크 안의 음성 쌍(−0.012)과 거의 구분되지 않습니다. 두 모달리티가 각자 따로 구름을 이루고 있는 셈입니다.
🧮 2. 공유 사전 인코딩 (Eq. 3)
텍스트 상태 $\mathbf{u}^t$ 와 풀링된 시각 특징 $\mathbf{u}^v$ 를 모달리티별 projector $P_t, P_v$ 로 공통 공간에 사영한 뒤, 같은 학습 가능한 SAE 사전 $\mathbf{D}\in\mathbb{R}^{C\times d_c}$ 로 인코딩합니다.
\[\mathbf{z}^m = P_m(\mathbf{u}^m), \qquad \mathbf{a}^m = \operatorname{TopKSoftmax}\left(\mathbf{D}\,\overline{\mathbf{z}}^m / \tau_s,\; k\right), \qquad m\in\{t,v\}\]| 요소 | 설명 |
|---|---|
| $\overline{\mathbf{z}}$ | $\ell_2$ 정규화 |
| $\mathbf{a}^m$ | 최대 $k$ 개의 0이 아닌 활성화를 갖는 희소 코드 |
| $C$, $k$ | 기본 설정 $C=4096$ 개 사전 엔트리, top-$k=32$ |
| projector / 재구성 head | 모달리티별로 다름 → 모달리티 고유 정보 유지 |
| 사전 $\mathbf{D}$ | 모달리티 간 공유 → 공통 concept 좌표 참조 |
즉 텍스트와 이미지는 각자 다른 문으로 들어오지만, 같은 4096개의 “주소” 중 32개를 켜는 방식으로 자신을 표현합니다. 이 켜진 주소들이 모달리티를 가로지르는 공통 의미 주소(common semantic address) 가 됩니다.
🎓 3. SAE 학습 목적함수
\[\mathcal{L}_{\mathrm{SAE}} = \mathcal{L}_{\mathrm{rec}} + \lambda_{\mathrm{align}}\,\mathcal{L}_{\mathrm{NCE}}\]- $\mathcal{L}_{\mathrm{rec}}$ : 각 모달리티를 자기 사영 공간에서 재구성하는 손실 (표준 SAE 재구성)
- $\mathcal{L}_{\mathrm{NCE}}$ : 짝지어진 이미지–캡션 코드를 noise-contrastive estimation으로 정렬하는 손실
일반적인 해석용 SAE는 재구성 + 희소성만 보지만, 여기서는 cross-modal 대조 손실이 추가되어 “같은 것을 가리키는 텍스트와 이미지는 같은 주소를 켜라”는 압력이 들어갑니다.
🔎 4. 이미지 선택
질의와 후보 이미지는 정렬된 공간에서 다음 점수로 비교됩니다.
\[s_j = \cos(\mathbf{z}_q^t, \mathbf{z}_j^v) + \lambda_{\mathrm{lex}}\, s_j^{\mathrm{lex}}\]$s_j^{\mathrm{lex}}$ 는 캡션 기반의 선택적 어휘 사전확률(lexical prior) 입니다. 상위 $K$ 개가 선택 집합 $\mathcal{V}_q$ 를 이룹니다. Algorithm 1의 서술에 따르면 실제 인덱싱 단계에서는 각 턴의 텍스트·캡션·이미지에 대해 top-$k$ 코드를 미리 계산해 저장하고, 질의 시 질의 코드와 엔트리를 공유하는 노드들을 그래프 후보로 모읍니다.
📊 5. 정렬이 실제로 일어나는가 (부록 C)
| 측정 | Raw 공간 | 학습된 공유 concept 공간 |
|---|---|---|
| 짝 쌍 코사인 (Qwen2.5-VL-7B, 3,429쌍) | −0.006 | 0.676 |
| 같은 뱅크 음성 쌍 코사인 | −0.012 | 0.351 |
| 뱅크 내 Top-1 검색 (chance 7.0%) | 10.1% | 34.4% |
| MRR | 0.27 | 0.53 |
| 평균 순위 | 6.90 | 3.40 |
| 짝 쌍 코사인 (Qwen3-VL-8B, 4,835쌍/split) | 0.030 | 0.763 (음성 0.396) |
| Top-1 (Qwen3-VL-8B) | 14.0% | 36.4% |
특히 캡션 슬롯 $i$ 와 이미지 슬롯 $j$ 사이의 평균 코사인 행렬에서 대각선이 0.68, 비대각선이 0.35 로 유지되는데, 이는 정렬 목적함수가 공간을 한 방향으로 붕괴시키지 않고 슬롯 구조를 분리된 채로 만든다는 뜻입니다. 저자들은 Top-1 34%가 chance의 약 5배이지만 상한에 가깝지는 않다고 솔직하게 적으며, 이 분석은 “주소 지정 가능성(addressability)” 에 대한 논증이지 검색이 해결됐다는 주장은 아니라고 선을 긋습니다. 또한 사전은 Mem-Gallery 메모리 뱅크에서 한 번 학습된 뒤 고정되며, MemEye에서는 재학습 없이 그대로 사용됩니다(Fig. 8).
💡 Key Takeaway 이 논문의 SAE는 “모델이 무엇을 생각하는지 읽는 렌즈”가 아니라 “서로 다른 모달리티의 증거가 같은 번지수를 갖게 만드는 주소 체계” 입니다. 희소 코드가 메모리의 symbolic한 인덱스 역할을 하고, 그 위에서 연속 그래프·잠재 추론이 돌아간다는 점에서 neuro-symbolic이라는 이름이 붙었습니다.
대화 턴 메모리 그래프(Dialogue-Turn Memory Graph)
이미지는 시각 내용만으로 의미를 갖는 것이 아니라, 그것이 등장한 대화 사건을 통해서도 의미를 갖습니다. 이미지를 고립된 메모리 항목으로 색인하면 그 대화 문맥과 시간 상태가 사라지기 때문에, LMMR은 선택된 이미지를 출처 턴(source turn) 에 붙여 질의 조건부 그래프를 만듭니다.
🏗️ 1. 노드 초기화
턴 $i$ 의 문맥화된 텍스트 상태를 풀링해 $\mathbf{z}_i^t$, 그 턴에 속한 이미지들의 정렬된 표현을 집계해 $\mathbf{z}_i^v$ 를 얻은 뒤, 게이트 결합으로 초기 노드를 만듭니다.
\[\mathbf{x}_i^{(0)} = \operatorname{LN}\!\left(\mathbf{z}_i^t + \sigma(g_v)\,\mathbf{z}_i^v\right)\]📨 2. 두 종류의 메시지 전달 (Eq. 4)
각 그래프 레이어에서 노드는 두 메시지를 받습니다.
\[\mathbf{x}_i^{(\ell+1)} = \operatorname{LN}\!\left(\mathbf{x}_i^{(\ell)} + \mathbf{m}_i^{C,(\ell)} + \mathbf{m}_i^{T,(\ell)}\right)\]| 메시지 | 출처 | 역할 |
|---|---|---|
| Concept 메시지 $\mathbf{m}_i^C$ | 가장 가까운 SAE 사전 엔트리들 | 서로 다른 모달리티로 표현된 증거를 연결 |
| Temporal 메시지 $\mathbf{m}_i^T$ | 현재 및 이전 대화 턴들 | 이전 관찰과 이후 업데이트를 구분 |
기본 설정에서 메시지 전달 레이어 수는 $L=2$ 입니다. Algorithm 1에서는 이 단계가 질의별 인접 구조 $A_q$ 위에서의 MHSA + MLP 블록으로 구현됩니다.
🎯 3. 질의 가중 Readout (Eq. 5)
$L$ 개 레이어 후, 질의가 각 노드에 관련도 가중치를 부여하고 최종 readout을 만듭니다.
\[\alpha_i = \operatorname{softmax}_i\!\left(\cos(\mathbf{z}_q^t, \mathbf{x}_i^{(L)}) / \tau_q\right), \qquad \mathbf{g}_q = W_g\!\left(\mathbf{z}_q^t + \sum_i \alpha_i\, \mathbf{x}_i^{(L)}\right)\]$\mathbf{g}_q$ 는 질의 관련성과 선택된 멀티모달 증거를 해석하는 데 필요한 시간 문맥을 함께 담습니다.
💡 Key Takeaway Concept 메시지가 “무엇이 같은 것인가”를, temporal 메시지가 “무엇이 더 최신인가”를 답합니다. 유사도 검색만으로는 풀 수 없던 시간적 유효성(temporal validity) 문제를 그래프 구조로 떠안는 설계입니다.
잠재 멀티모달 메모리 추론(Latent Reasoning)과 Residual 주입
관련 증거를 검색했다고 해서 올바르게 사용된다는 보장은 없습니다. 직접 디코딩에서는 모델이 멀티모달 증거 통합과 답변 언어화를 동시에 해야 합니다. LMMR은 텍스트 생성 전에 짧은 연속 추론 단계를 끼워 넣어 이 둘을 분리합니다.
📦 1. 멀티모달 프리픽스 구성
- $\mathcal{V}_q$ 에 속한 이미지의 원본 시각 토큰을 출처 턴의 이미지 placeholder 위치에 삽입합니다.
- 선택된 대화 텍스트, 이미지 캡션, 현재 질의와 함께 멀티모달 프리픽스 $\mathcal{P}_q$ 를 이룹니다.
- 백본이 프리픽스를 한 번에 인코딩합니다: $(\mathbf{H}^P, \mathrm{KV}0) = f\theta(\mathcal{P}q)$. 마지막 상태가 잠재 롤아웃의 초기값이 됩니다: $\mathbf{h}_0 = \mathbf{H}^P{\mathrm{last}}$.
🔁 2. 연속 잠재 롤아웃과 단일 residual 주입 (Eq. 6)
각 잠재 스텝에서 aligner $A_\psi$ 가 현재 hidden state를 입력 임베딩 공간으로 되돌리고, 고정된 스텝 $t^\star$ 에서만 그래프 readout이 더해집니다.
\[\mathbf{e}_t = A_\psi(\mathbf{h}_t) + \mathbf{1}[t=t^\star]\,\mathbf{g}_q, \qquad (\mathbf{h}_{t+1}, \mathrm{KV}_{t+1}) = f_\theta(\mathbf{e}_t;\, \mathrm{KV}_t)\]| 항목 | 내용 |
|---|---|
| 잠재 스텝 수 $S$ | 기본 10 |
| 그래프 주입 | 단 한 번 ($t=t^\star$) |
| 추가 텍스트 토큰 | 없음 — 잠재 상태를 임베딩 공간으로 되돌려 다시 먹이는 방식 |
| 종료 | $S$ 스텝 후 일반 grounding token을 붙이고 autoregressive 디코딩 재개 |
residual 주입 덕분에 구조화된 메모리가 추론 궤적(reasoning trajectory) 에 영향을 주면서도 어휘 토큰을 추가하지 않습니다. 이는 latent chain-of-thought 계열 연구(“언어 밖에서의 추론”)와 맥이 닿습니다.
🧷 3. 세 요소의 분업
| 요소 | 제공하는 것 |
|---|---|
| 원본 시각 토큰 | 지각적 세부 정보 |
| 대화 그래프 | 구조(모달리티 간 연결 + 시간 순서) |
| 잠재 롤아웃 | 답이 표현되기 전의 계산 |
💡 Key Takeaway 기계적으로 보면, 그래프 readout은 백본의 잔차 흐름에 더해지는 steering 신호와 같은 위치에 들어갑니다. 다만 고정 방향을 더하는 것이 아니라, 질의마다 새로 계산된 메모리 상태 벡터를 단 한 스텝에 주입한다는 점이 다릅니다.
학습 목적함수와 구현 설정
LMMR은 시각 인코더는 고정하고, 나머지 모듈을 공동으로 학습합니다.
🎓 1. 손실 (Eq. 7)
\[\mathcal{L} = \mathcal{L}_{\mathrm{ans}} + \lambda_{\mathrm{SAE}}\,\mathcal{L}_{\mathrm{SAE}} + \lambda_{\mathrm{graph}}\left(1 - \cos(\mathbf{g}_q, \mathbf{h}_{t^\star})\right)\]| 항 | 의미 |
|---|---|
| $\mathcal{L}_{\mathrm{ans}}$ | 정답의 토큰 수준 음의 로그가능도 |
| $\mathcal{L}_{\mathrm{SAE}}$ | 재구성 + NCE 정렬 → 모달리티 공통 좌표 확립 |
| graph consistency 항 | 그래프 readout $\mathbf{g}q$ 가 주입 시점의 백본 상태 $\mathbf{h}{t^\star}$ 와 정렬되도록 유도 |
⚙️ 2. 학습 대상과 하이퍼파라미터
| 항목 | 설정 |
|---|---|
| 고정 | 시각 인코더 |
| 학습 | 모달리티 projector, 공유 SAE 사전, 대화 턴 그래프, 잠재 aligner |
| 백본 | LoRA로 적응 |
| 백본 모델 | Mem-Gallery: Qwen2.5-VL-3B/7B, MemEye: Qwen3-VL-8B |
| 사전 크기 / 희소도 | $C=4096$, top-$k=32$ |
| 그래프 레이어 / 잠재 스텝 / 프리픽스 이미지 수 | $L=2$, $S=10$, $K=2$ |
| 메모리 컨텍스트 상한 | 6,144 토큰 |
| 하이퍼파라미터 선택 | 단일 fold에서 한 번 정한 뒤 나머지 fold에 고정 |
추론 시에는 어떤 파라미터도 갱신하지 않으며, 인덱싱(코드 계산·저장)은 메모리 뱅크당 한 번, 질의 응답은 질의당 한 번 수행됩니다.
벤치마크: Mem-Gallery와 MemEye
두 벤치마크는 무엇을 고정하느냐가 서로 보완적입니다. Mem-Gallery는 태스크를 넓고 이력을 길게 유지하며, MemEye는 태스크를 작게 두고 증거의 입자도(granularity) 자체를 바꿉니다.
🖼️ 1. Mem-Gallery (Bei et al., 2026)
| 속성 | 값 |
|---|---|
| 페르소나 기반 대화 시나리오 | 20 |
| 세션 / 대화 라운드 | 240 / 3,962 |
| 라운드에 부착된 이미지 | 1,003 (배포본 1,490개 중 487개는 어떤 턴도 참조하지 않아 미사용) |
| 주석된 QA 쌍 | 1,711 (답변 가능 1,527 + 거부 184) |
| 시각 증거가 필요한 QA | 1,130 (66.0%) |
| 질문 앞 이력 / 메모리 시간 범위 (평균) | 115.8 라운드 / 73.5일 (최대 216일) |
9개 태스크는 세 가족으로 나뉩니다.
| 가족 | 태스크 |
|---|---|
| 메모리 추출 & 테스트 시 적응 | FR(사실 검색), VS(시각 중심 검색; 정답이 이미지 식별자), TTL(이력 안에서만 소개된 관례·기술 적용) |
| 메모리 추론 | TR(시간 추론), VR(시각 중심 추론), MR(다중 엔티티 추론) |
| 지식 관리 | KR(업데이트 후 유효한 사실 유지), CD(두 관찰의 모순 감지), AR(증거 없을 때 답변 거부) |
평가는 시나리오 수준의 5-fold cross-fitting 으로 하며, 각 질문은 자기 anchor까지의 이력만 봅니다(미래 정보 차단). 지표는 token-level F1, BLEU-1, EM, Qwen2.5-72B-Instruct를 심판으로 쓰는 L-Judge입니다.
👁️ 2. MemEye (Guo et al., 2026)
질문이 태스크가 아니라 좌표계 위에 놓여 있습니다.
| 축 | 수준 |
|---|---|
| $X$: 결정적 시각 증거의 입자도 | $X1$ scene, $X2$ region, $X3$ instance, $X4$ pixel |
| $Y$: 메모리 추론 깊이 | $Y1$ atomic retrieval, $Y2$ relational association, $Y3$ evolutionary synthesis |
12개 셀 = 12개 설정입니다. 4개 도메인 8개 태스크, 221 세션, 848 라운드, 438 이미지, 371개 문항(객관식은 4방향 옵션 회전으로 1,484개)으로 구성되며, 질문의 46.1%가 여러 세션에 걸칩니다. 질량은 세밀한 증거 쪽($X3$, $X4$ 가 74.1%)과 관계형 추론($Y2$ 가 55.0%)에 집중되어 있고, $X1/Y3$(8문항), $X2/Y3$(5문항) 같은 셀은 매우 얇아 셀 단위 차이는 참고용입니다. 객관식은 회전 평균 EM, 주관식은 GPT-5.2 심판으로 채점합니다. LMMR은 Mem-Gallery 체크포인트로 MemEye를 zero-shot 평가하므로, 결과는 전이(transfer) 시험으로 읽어야 합니다.
🆚 3. 비교 시스템
| 벤치마크 | 베이스라인 |
|---|---|
| Mem-Gallery (13개) | FC(T), FIFO, NaiveRAG, Generative Agents, Reflexion, MemGPT, A-Mem, MemOS, FC(V), MuRAG, UniversalRAG, NGM, AUGUSTUS |
| MemEye | FC, Semantic RAG, Reflexion, Generative Agents, MemOS, A-Mem, SimpleMem(T/V), MMA, M2A |
주요 결과와 Ablation
📈 1. Mem-Gallery 전체 결과 (Table 1)
| 방법 | 3B Avg | 7B Avg |
|---|---|---|
| FC (T) | 36.14 | 34.39 |
| NaiveRAG | 54.89 | 57.04 |
| A-Mem | 56.88 | 58.96 |
| MemOS | 56.85 | 58.84 |
| FC (V) | 34.48 | 31.90 |
| MuRAG | 63.39 | 66.53 |
| UniversalRAG | 61.83 | 65.14 |
| NGM | 61.32 | 64.24 |
| AUGUSTUS | 60.83 | 63.08 |
| LMMR | 66.17 | 76.18 |
7B 기준 LMMR의 F1/BLEU-1/EM/L-Judge는 79.10 / 74.79 / 63.47 / 87.35입니다. 두 가지 관찰이 중요합니다.
- 큰 백본일수록 잠재 메모리 추론의 이득이 크다. MuRAG 대비 격차가 3B의 2.78점에서 7B의 9.65점으로 벌어집니다. 반면 full-context 변형은 오히려 성능이 떨어집니다. 리더의 계산이 이력 증거를 답으로 바꾸는 데 쓰일 때 확장이 가장 유용하다는 해석입니다.
- 태스크별로 보면 (7B, F1) 한 구절만 맞추면 되는 VS(87.15 vs MuRAG 88.18), MR, AR은 베이스라인과 몇 점 차이에 그치지만, 여러 관찰을 정렬·갱신·보완해야 하는 범주는 베이스라인이 정체하는 곳입니다: CD 32.10–37.04 → 86.42, TR 58.33 → 85.71, TTL 81.77 → 89.79. 3B에서도 CD(67.90 vs 29.63–35.80), TR(76.41 vs 60.36)의 우위는 유지되며, 작은 백본이 잃는 것은 “상태 유지·정렬”이 아니라 세밀한 시각 회상 쪽입니다.
🔄 2. MemEye Zero-shot 전이 (Fig. 3, Table 10)
| 지표 (12셀 비가중 평균) | 최강 캡션 베이스라인 FC(T) | LMMR |
|---|---|---|
| 객관식 EM | 0.5361 | 0.6696 |
| 주관식 BLEU-1 | 0.2171 | 0.2425 |
| 주관식 L-Judge | 0.4017 | 0.4133 |
- 객관식 EM에서 12셀 중 11셀, L-Judge에서 8셀 1위.
- 지지 않은 곳은 얕은 셀($X2/Y1$, $X2/Y2$)로, 밀도 높은 캡션이 이미 결정적 세부를 담는 경우입니다.
- 가장 큰 격차는 세밀한 시각 증거가 업데이트를 거쳐 살아남아야 하는 $X2/Y3$(0.9360 vs 0.8000), $X4/Y3$(0.3215 vs 0.1667)에서 나타납니다.
- 객관식 개선이 주관식보다 큰 것은, LMMR이 후보 답을 구분하는 데 유용한 증거는 잘 전이하지만 후보 없이 정확한 답을 생성하는 것은 여전히 어렵다는 “인식 vs 생성” 격차를 드러냅니다.
🧪 3. Ablation (Table 2, Qwen2.5-VL-7B)
| 변형 | F1 | EM | BLEU-1 | L-Judge |
|---|---|---|---|---|
| LMMR (Full) | 79.10 | 63.47 | 74.79 | 87.35 |
| w/o Text Memory | 46.27 (↓32.83) | 32.79 | 43.16 | 50.82 |
| w/o Visual Memory | 72.71 (↓6.39) | 55.82 | 68.46 | 79.63 |
| w/o Latent Reasoning | 59.17 (↓19.93) | 38.92 | 53.61 | 78.81 |
- 대화 텍스트는 시각 관찰이 유용해지는 문맥을 공급하고, 원본 이미지는 그 문맥에 없는 세부를 보존합니다.
- 메모리 프리픽스를 그대로 받고도 직접 디코딩은 크게 뒤처집니다(latent reasoning 제거 시 F1 −19.93 vs visual memory 제거 시 −6.39). 즉 증거 접근(access) 과 증거 사용(use) 은 별개의 병목입니다.
💡 Key Takeaway 가장 큰 단일 손실이 “이미지를 뺐을 때”가 아니라 “생각할 시간을 뺐을 때” 나온다는 점이 이 논문의 메시지를 압축합니다. 검색은 증거를 공급하고, 잠재 계산이 그 증거를 통합해야 답이 나옵니다.
추가 분석: 효율, 거부, 시간적 유효성
💰 1. 질의당 토큰 비용 (Table 6)
| 설정 | 텍스트 | 시각 | 총합 | 평균 점수 |
|---|---|---|---|---|
| NaiveRAG ($K$=10) | 0.8k | – | 0.8k | 57.04 |
| FC (T) | 9.0k | – | 9.0k | 34.39 |
| FC (V) | 7.2k | 12.7k | 19.9k | 31.90 |
| MuRAG ($K$=5) | 0.3k | 2.0k | 2.3k | 64.88 |
| MuRAG ($K$=10) | 0.6k | 3.9k | 4.5k | 66.53 |
| MuRAG ($K$=20) | 1.3k | 7.8k | 9.1k | 66.09 |
| LMMR | 4.3k | 0.8k | 5.1k | 76.18 |
LMMR은 대화 문맥에 토큰을 쓰고 시각 토큰은 선택된 소수 이미지에만 씁니다. MuRAG는 $K$ 를 늘려도 66점 근처에서 포화합니다. 다만 저자들은 토큰 수에 잠재 계산이 포함되지 않아 실제 런타임 절감을 입증하지는 못한다고 명시합니다(이미지 1장 = 391 시각 토큰, 라운드 64 토큰, 캡션 56 토큰 기준).
🚫 2. 능력과 거부의 동시 개선 (Fig. 5, Table 8)
거부(AR) 범주는 FIFO, FC(T), Reflexion이 99.58–100.00 F1을 찍는데, 이는 거의 항상 거부하기 때문입니다. LMMR은 AR에서 100.00을 기록하면서 동시에 답변 가능한 1,527개 질문에서 표 최고 F1을 내고 그 중 어느 것도 거부하지 않습니다. 메모리 증거가 답할지 여부와 무엇을 답할지를 함께 안내한다는 뜻입니다.
📉 3. 민감도와 실패 사례
- 혼합 메모리 확장(Fig. 4a): 주제가 섞여 이력이 길고 다양해져도 LMMR은 안정적이며, full visual context와 대비됩니다. 질의 조건부 선택이 무관한 메모리의 간섭을 줄입니다.
- 입자도별(Fig. 4b): 이득은 coarse 인식보다 세밀한 증거와 evolutionary synthesis에서 큽니다. 캡션은 장면은 묘사해도 업데이트된 상태와 이전 상태를 구분하는 속성을 빠뜨리곤 합니다.
- $K$ 와 $S$ 스윕(Fig. 9): 가시 이미지 예산 $K$ 를 늘리는 것보다 짧은 추론 단계가 더 유용하며, 이른 포화가 관찰됩니다. 추가 이미지는 경쟁하는 세부를 끌어들일 수 있습니다.
- 사례 연구(Fig. 7): 공통 실패 모드는 이전 관찰이 더 이상 답을 지지하지 않는데도 시각적으로는 여전히 관련 있어 보이는 것입니다. 반복 검색은 그 낡은 관찰을 강화하거나 중간 상태와 최종 상태를 뒤섞습니다. A-Mem이 두 사례에서 성공한 것은, 핵심 요건이 상태 전이의 해소이며 원본 시각은 텍스트 기록이 불완전할 때의 보조 증거임을 시사합니다.
⚠️ 4. 저자들이 명시한 한계
- 세밀한 주관식 회상은 여전히 어렵다(객관식과의 격차).
- 그래프와 사전을 각각 분리해 기여도를 측정하는 실험과 end-to-end 런타임 측정은 향후 과제로 남겼다.
- 모델 심판 점수는 평가자 편향을 반영할 수 있으며, 벤치마크 개선이 고위험 환경에서의 신뢰성을 보장하지 않는다. 영속적 이미지·대화 메모리는 민감 정보 노출과 낡은 개인 사실의 보존 위험이 있어 열람·수정·삭제 메커니즘이 필요하다.
💡 Key Takeaway 시각 유사도만으로는 시간적 유효성을 추론할 수 없습니다. LMMR의 기여는 더 많은 이미지를 읽는 것이 아니라, 공유 concept 주소 → 턴 그래프 → 잠재 추론이라는 경로로 “어떤 관찰이 지금도 참인가”를 답 이전에 계산하게 만든 데 있습니다.