0. Summary

기본 정보 : ArXiv,2026.10.19, Superposed analog memory for vector storage in neural networks
연구 배경 : 신경망 추론에서는 가중치·임베딩 같은 고차원 벡터 집합을 메모리에서 반복적으로 읽어 연산기로 옮겨야 하며, 이 메모리 접근 에너지는 산술 연산 에너지보다 큰 경우가 많아 파라미터 저장과 이동이 AI 하드웨어의 주요 병목이 되었다. 기존 메모리(SRAM 캐시 + 오프칩 DRAM, 또는 RRAM/PCM 같은 멤리스티브 소자)는 벡터를 하나씩 개별 셀에 디지털로 저장하므로 저장 가능한 벡터 수가 물리적 행(row)의 수와 소자당 구분 가능한 상태 수로 제한된다. 소자 축소·대형 어레이·3D 적층 같은 전통적인 용량 확장 방법은 결국 소자 개수에 의존하며, 소자를 줄이면 저항이 커지고 어레이가 커지면 배선 손실이 늘어나 센싱 조건이 더 까다로워진다. 또한 비휘발성 소자는 본질적으로 아날로그이지만 변동성 관리를 위해 소수의 이산 레벨만 쓰는 경우가 많아 아날로그 특성을 충분히 활용하지 못한다.
제안 방법 : 논문은 물리적 소자 축소가 아니라 정보 표현 방식으로 유효 저장 밀도를 높이는 아날로그 메모리 아키텍처를 제안한다. 각 $D$차원 값 벡터 $\mathbf{v}_i$를 보조 키 벡터 $\mathbf{k}_i$와 외적(tensor product)으로 결합(binding)해 $D\times D$ 행렬로 만들고, 여러 벡터의 결합 행렬을 합산해 하나의 중첩 복합 표현(superposed composite representation, SCR) $\mathbf{S}$ 로 만든 뒤 이를 $D\times D$ 아날로그 메모리 어레이에 그대로 프로그래밍한다. 벡터 복원은 어레이의 모든 행에 키를 양극성 전압으로 동시에 인가하는 인메모리 행렬-벡터 곱(MVM) 으로 수행된다. 키가 준직교(quasi-orthogonal)이면 저장 벡터 수 $N$이 물리적 행 수 $D$를 넘어도 방향이 대체로 보존된 근사 복원이 가능하며, 이 비율 $S_p = N/D$를 중첩 계수(superposition factor)로 정의해 밀도와 복원 충실도를 연속적으로 조절한다. 중첩 간섭과 아날로그 비이상성(노이즈·클리핑·ADC 양자화)에 모델이 견디도록 SCR-aware 및 하드웨어-aware 재학습을 설계했고, IBM HERMES 프로젝트 PCM 칩(14nm, 64타일 × 256×256 크로스바)에서 실험으로 검증했다.
발견 사실 : 집단 판독(collective readout)은 실험 조건에서 단일 소자 판독보다 중앙값 전류가 두 자릿수 이상(약 150배) 크고, 판독 전류 분포의 변동계수가 6배 이상 작아 더 저항이 큰 나노 소자와 더 큰 어레이를 쓸 여유를 만든다. DLRM 임베딩 테이블(Criteo Kaggle)은 중첩 계수 1에서 소프트웨어 기준선과 같은 AUC를 보였고, 1024배 중첩에서도 기준선 및 최신 압축법 ROBE 대비 0.01 AUC 이내를 유지했으며 복원 시 별도의 압축 해제 오버헤드가 없다. GPT2-large 임베딩(WikiText perplexity)은 간섭에 더 민감해 $N=D$에서 기준 perplexity를 회복하려면 delta rule 변형이 필요했고, 중첩이 커질수록 perplexity가 완만하게 나빠졌다. 하드웨어-aware 학습 모델은 저장 표현에 최대 10%의 가우시안 노이즈가 섞여도 성능을 유지했고, 실제 PCM 칩에서 복원한 파라미터로 추론한 결과는 약 8–10% 노이즈 시뮬레이션과 일치하며 소프트웨어 기준선에 근접했다. 칩의 유효 정밀도는 3–4비트 디지털 기준 사이, 평균적으로 4비트에 가까웠다.
핵심 기여 :
1. 표현 기반의 새로운 용량 확장 축 : 텐서 곱 표현(TPR)과 중첩을 이용해 물리적 행 수보다 많은 벡터를 한 어레이에 저장하는 아날로그 메모리 아키텍처를 제안하고, 중첩 계수 $S_p$로 밀도-충실도 트레이드오프를 연속적으로 선택할 수 있음을 보였다.
2. 집단 판독에 의한 센싱 조건 개선 : 개별 셀 대신 어레이 전체의 MVM으로 벡터를 읽어 판독 전류 마진을 크게 늘리고 변동을 줄여, 고저항·소형 소자와 대형 어레이 설계 공간을 넓혔다.
3. 학습 절차와 하드웨어 실증 : SCR 간섭과 아날로그 비이상성을 순전파에 주입하는 재학습 절차(배치 delta rule 포함)를 설계하고, DLRM과 GPT2-large 임베딩 테이블을 실제 PCM 칩에 저장·복원해 전정밀도 소프트웨어 기준선에 필적하는 추론 성능을 실험으로 확인했다.

Abstract 쉬운 설명(Gemini)

🎨 1. 기존의 방식: “한 도화지에 그림 한 장씩만 그리기”

우리가 흔히 쓰는 컴퓨터나 스마트폰, 그리고 지금까지의 AI 반도체는 데이터를 저장할 때 ‘일대일 매칭’ 방식을 썼습니다.

만약 인공지능이 ‘사과’, ‘바나나’, ‘포도’라는 단어의 의미(이를 벡터 혹은 임베딩이라고 합니다)를 기억해야 한다면, 메모리 칩 안에 각각 사과 방, 바나나 방, 포도 방을 따로 만들어서 정직하게 하나씩 저장했습니다.
단점: AI가 똑똑해질수록 기억해야 할 단어와 정보가 기하급수적으로 늘어납니다. 방이 계속 더 필요해지니 메모리 칩 크기가 너무 커지고, 전력 소모도 엄청나게 심해지는 문제가 발생합니다.

Hologram 2. 이 논문의 새로운 아이디어: “입체 홀로그램 카드”

이 논문의 연구진은 완전히 다른 아이디어를 냈습니다. 바로 “한 공간에 여러 데이터를 겹쳐서 저장하자!”는 것입니다.

이를 쉽게 이해하기 위해 어릴 때 가지고 놀던 ‘보는 각도에 따라 그림이 바뀌는 입체 카드(홀로그램 카드)’를 생각해보세요.
카드 한 장(하나의 메모리 영역)에 사과, 바나나, 포도 그림을 특수한 방식으로 겹쳐서(중첩, Superposition) 그려 놓습니다. 그냥 보면 픽셀들이 뒤섞여 있는 것처럼 보입니다.
하지만 AI가 “사과 정보 보여줘!” 하고 특정한 신호(키값)를 보내면, 빛을 비추듯 사과 그림만 선명하게 추출해 낼 수 있습니다.
장점: 방 하나에 여러 개의 정보를 겹쳐서 저장하기 때문에, 방 개수(물리적인 메모리 칩 크기)를 늘리지 않고도 훨씬 많은 정보를 저장할 수 있게 됩니다.

🛡️ 3. 먼지가 묻어도 괜찮은 튼튼함 (노이즈 내성)

일반적인 메모리는 메모리 방 한 칸이 고장 나거나 미세한 정전기(노이즈)가 발생하면 데이터 전체가 깨져버립니다.

하지만 이 기술은 정보를 하나의 방이 아니라 넓은 영역에 골고루 분산해서 겹쳐놓았기 때문에, 메모리 칩 일부에 아주 미세한 오류나 노이즈가 생겨도 전체 정보를 복원하는 데 거의 지장이 없습니다.
비유하자면, 도화지 한 구석에 물 한 방울이 떨어져도 그림 전체가 무슨 내용인지 알아보는 데는 아무 문제가 없는 것과 같습니다.

🎯 4. 그래서 얻은 결과는?

연구진은 이 ‘겹쳐 쓰기’ 기술을 최첨단 인공지능 모델(챗GPT 같은 거대 언어 모델 포함)에 실제로 적용해 테스트해 보았습니다.

결과: 메모리 공간을 획기적으로 아꼈음에도 불구하고, AI가 원래 똑똑하게 작동하던 성능(추론 정확도)을 거의 그대로 유지하는 데 성공했습니다.
즉, “크기는 훨씬 작고, 전기는 아주 적게 먹으면서도, 대형 AI 모델을 쌩쌩 돌릴 수 있는 혁신적인 AI 반도체의 가능성”을 보여준 연구입니다.

메모리 중첩을 쉽게 이해하기

1. “기존에는 하나만 저장하는 걸, 중첩에서는 여러 개 겹쳐서 저장하는 건가요?”

👉 네, 맞습니다!

기존의 디지털 메모리는 아주 철저한 ‘독방 시스템’이었습니다. 예를 들어 A, B, C라는 3개의 데이터(벡터)를 저장하려면 무조건 방 3개가 필요했습니다.

기존 방식: [ 방 1 : A ] , [ 방 2 : B ] , [ 방 3 : C ] (방 3개 소모)
중첩 방식: [ 방 1 : A + B + C ] (방 1개 소모!)

중첩 방식은 수학적 마술을 부려서 단 하나의 방에 A, B, C 신호를 한꺼번에 짓눌러 담아(합성해) 놓는 것입니다. 그리고 읽을 때는 특수한 주파수나 필터를 적용해 원하는 신호만 쏙 빼내는 원리입니다.

2. “그럼 기존에는 하나만 저장(겹침 없음)해서 공간 효율이 떨어진 건가요?”

👉 네, 물리적인 하드웨어 관점에서 공간 효율이 엄청나게 떨어졌던 이유가 바로 그 때문입니다.

기존 방식은 정보가 늘어날수록 물리적 방의 개수도 무조건 1:1로 같이 늘어나야만 했습니다.

기존 방식의 공간 낭비: 인공지능(AI)이 사용하는 단어 임베딩 벡터나 모델 가중치(Weight)는 보통 수백~수천 차원의 숫자로 이루어진 거대한 덩어리입니다. 이 데이터 하나를 저장하기 위해 물리적인 반도체 소자(SRAM, Flash, PCM 등)가 수천 개씩 필요합니다. 만약 AI가 기억할 단어가 10만 개라면, [소자 수천 개 $\times$ 10만 배] 만큼의 물리적인 실리콘 면적이 통째로 필요해 칩이 무지막지하게 커졌던 것입니다.
중첩 방식의 공간 혁신: “어차피 AI는 약간의 오차가 있어도 대화의 맥락을 알아들으니까, 굳이 방을 다 따로 쓰지 말고 방 하나에 대충 5개씩 겹쳐서 구겨 넣어보자!“라고 타협한 것입니다. 그 결과, 물리적인 방은 10만 개가 아니라 2만 개만 만들어도 10만 개의 단어를 모두 저장할 수 있게 되어, 물리적 공간 효율이 이론적으로 수 배 이상 극대화되는 것입니다.

결국 기존 방식은 “정확도를 100% 보장하는 대신 공간을 엄청나게 낭비”했던 것이고, 중첩 방식은 “공간을 엄청나게 아끼는 대신 미세한 정확도 손실을 감수”하는 방식입니다. AI 모델은 인간의 뇌처럼 약간의 노이즈가 있어도 똑똑하게 작동하기 때문에 이 중첩 방식이 아주 잘 들어맞는 영역인 것입니다.

혹시 중첩해서 저장된 상태에서 원하는 정보만 어떻게 깨끗하게 다시 분리해 내는지 그 원리도 궁금하신가요?

기존 메모리 방식 vs 중첩(superposition) 방식의 효율성 차이

기존 방식과 중첩(Superposition) 방식의 물리적 메모리 공간 효율성 차이는 “사물함에 물건을 넣는 방식”과 “홀로그램 필름에 사진을 기록하는 방식”의 차이로 이해하시면 매우 직관적입니다.

물리적인 메모리 셀(소자) 관점에서 구체적으로 어떤 효율성 차이가 발생하는지 핵심을 짚어드리겠습니다.

📦 1. 물리적 셀(Cell) 사용 구조 비교

구분	일반적인 저장 방식 (Conventional)	중첩 저장 방식 (Superposition)
저장 원리	1:1 격리 저장 (벡터 $N$개 = 슬롯 $N$개)	$N:1$ 분산 합성 저장 (벡터 $N$개를 1개 어레이에 합성)
물리적 셀 소모량	저장하려는 벡터 개수에 정비례($O(N)$)하여 증가	벡터 수가 늘어나도 물리적 셀 개수가 그대로 유지됨
추가 비용	데이터가 늘어나면 무조건 칩 면적(Area) 확장 필요	물리 칩 크기 고정, 중첩 비율(밀도)만 수학적으로 조절
공간 효율성	물리적 하드웨어 한계에 직접 부딪힘 (저밀도)	동일 면적 대비 실효 용량이 수 배~수십 배 증가
하드웨어 오류 민감도	셀 1개 고장 시 해당 데이터의 비트 손실 치명적	셀 일부가 불량이어도 전체 정보 복원 가능 (분산 저장)

🔍 2. 왜 이런 물리적 공간 효율 차이가 발생하는가?

① ‘공간의 덧셈’ vs ‘신호의 합성’

일반적인 디지털/아날로그 메모리:
- 만약 1,000차원짜리 단어 벡터가 10,000개 있다면, 메모리 칩 위에 최소 $1,000 \times 10,000$개의 물리적 메모리 셀이 줄지어 늘어서 있어야 합니다.
- 즉, “데이터 개수 = 물리적 칩 면적(실리콘 면적)”이라는 절대 공식이 성립합니다.
중첩 방식(Superposed Memory):
- 여러 벡터를 독립된 방에 따로 넣지 않고, 수학적 기법(Hyperdimensional Computing / VSA 기법 등)을 이용해 하나의 행렬(Matrix Array)에 전기 신호 형태로 겹쳐서(합산하여) 프로그래밍합니다.
- 물리적으로는 벡터 1~2개 분량의 좁은 셀 어레이 면적만 차지하는데, 실제로는 그 안에 10개, 20개의 벡터가 겹쳐져 들어가 있는 효과를 냅니다.

② 칩 면적(Silicon Area)과 전력(Power)의 획기적 절감

반도체 칩은 면적이 커질수록 생산 단가가 급격히 비싸지고, 전력 소모와 발열이 폭발적으로 증가합니다.
중첩 방식을 쓰면 수십 개의 메모리 뱅크를 물리적으로 만들 필요 없이 소형 어레이 하나로 대체할 수 있으므로, 칩 면적을 획기적으로 줄이고 전자기기(스마트폰, 온디바이스 AI 등)의 공간 제약을 단숨에 해결할 수 있습니다.

⚖️ 효율성을 얻는 대신 치르는 대가: “Trade-off (상쇄 관계)”

물리적 공간을 극적으로 아끼는 대신 공짜는 아닙니다.

복원 정확도(Fidelity)와의 저울질:
- 한 장의 종이에 글씨를 2~3개 겹쳐 쓰면 특수 안경으로 읽을 수 있지만, 100개를 겹쳐 쓰면 글씨가 번져서 원래 내용을 알아보기 힘들어집니다.
- 마찬가지로, 중첩 방식은 중첩하는 벡터의 개수를 늘릴수록 메모리 물리 공간 효율은 극대화되지만, 원래 데이터를 복원할 때 미세한 노이즈(간섭 현상)가 발생합니다.
이 논문의 돌파구:
- 논문에서는 신경망(AI) 모델이 원래부터 약간의 오차나 노이즈에 관대하다는 점(Robustness)을 이용했습니다.
- 적절한 중첩 비율을 찾아 “AI 추론 성능은 100%에 가깝게 유지하면서 물리적 메모리 공간만 수 배 절약하는 최적의 균형점”을 찾아낸 것입니다.

중첩 방식의 문제점

아날로그 중첩(Superposed Analog Memory) 기술은 물리적 공간을 혁신적으로 아낄 수 있는 아주 매력적인 기술이지만, 실제 반도체 칩에 대규모로 적용하기에는 아직 극복해야 할 치명적인 한계와 문제점들이 존재합니다.

이 기술이 상용화되기 위해 풀어야 할 핵심 문제점들을 네 가지로 나누어 정리해 드립니다.

📉 1. 중첩 한계와 정보의 열화 (Crosstalk & Capacity Limit)

가장 직관적인 한계는 “얼마나 많이 겹쳐 쓸 수 있는가”의 문제입니다.

간섭 현상(Crosstalk / Noise): 한 종이에 투명 필름을 올려두고 글씨를 겹쳐 쓰다 보면, 3장까지는 읽을만하지만 10장, 20장이 넘어가면 밑에 쓰인 글씨와 위에 쓰인 글씨가 서로 뭉개지기 시작합니다. 메모리 칩에서도 여러 벡터가 물리적으로 겹쳐지면서 서로 간섭하는 크로스토크(Crosstalk) 현상이 발생합니다.
복원 정확도(Fidelity) 저하: 겹쳐 쓴 데이터가 많아질수록 복원(Recall)해 냈을 때의 원래 값과의 일치율이 떨어집니다. AI 모델이 노이즈에 강하다고는 하지만, 일정 한계(임계점)를 넘어서 겹치게 되면 AI가 엉뚱한 대답을 출력하거나 똑똑함(정확도)이 급격히 무너집니다.

🔌 2. 아날로그 소자 자체의 물리적 불안정성 (Device Non-idealities)

이 연구는 상변화 메모리(PCM) 같은 아날로그 소자를 기반으로 합니다. 아날로그 소자는 디지털(0과 1)과 달리 미세한 전압/저항 변화를 이용하기 때문에 하드웨어 자체의 고질적인 약점을 안고 있습니다.

드리프트 현상(Resistance Drift): PCM 소자는 시간이 흐름에 따라 저장된 저항값이 미세하게 변하는(흘러내리는) 성질이 있습니다. 시간이 지나면서 겹쳐놓았던 신호들이 점점 흐릿해져 결국 기억이 왜곡되거나 사라질 수 있습니다.
소자 간 편차(Device-to-Device Variation): 반도체 공정상 모든 메모리 셀을 100% 동일한 특성으로 만들기 어렵습니다. 아날로그 소자의 불균일성은 중첩된 신호를 해독할 때 더 큰 수학적 오류를 만들어냅니다.

💻 3. 연산 복잡도와 컨트롤러의 부담 (Computational Overhead)

데이터를 물리적으로 아끼는 대신, 그 데이터를 읽고 쓸 때 머리를 훨씬 더 많이 써야 합니다.

읽기 연산의 추가 비용: 일반 메모리는 주소(Address)만 치면 바로 값이 툭 튀어나옵니다. 반면 중첩 메모리는 겹쳐진 신호를 풀어내기 위해 ‘인메모리 행렬-벡터 곱셈(MVM)’이라는 수학적 해독 과정을 거쳐야만 합니다. 읽을 때마다 연산이 필요하므로 이를 제어하는 주변 회로(컨트롤러)가 복잡해지고 추가적인 에너지가 소모됩니다.
쓰기/수정의 어려움: 겹쳐져 있는 정보 중 단 하나만 수정하거나 삭제하고 싶을 때 문제가 복잡해집니다. 이미 섞여버린 반죽에서 밀가루만 다시 빼낼 수 없듯이, 특정 데이터만 정밀하게 지우거나 고치기가 매우 까다로워 전체 메모리 어레이를 다시 프로그래밍해야 하는 번거로움이 생길 수 있습니다.

🛠️ 4. 기존 컴퓨터 아키텍처(디지털)와의 호환성 문제

현재 우리가 쓰는 모든 컴퓨터, 스마트폰, 서버 인프라는 철저하게 0과 1로 나누어 떨어지는 폰 노이만 구조의 디지털 시스템입니다.

신호 변환기의 병목 현상: 아날로그 메모리에서 처리된 결과를 디지털 컴퓨터가 이해하게 하려면 Analog-to-Digital Converter (ADC)라는 변환 장치가 필수적입니다. 이 ADC는 칩 면적도 많이 차지하고 전력도 엄청나게 소모하기 때문에, 메모리 칩 자체를 줄여서 얻은 이득을 이 변환 장치 때문에 다 까먹는 배보다 배꼽이 더 큰 상황이 생길 수 있습니다.

💡 요약하자면 (Watch out for)

“메모리 공간을 극적으로 줄이는 대가로, 신호 해독을 위한 수학적 연산 부담을 떠안아야 하며, 아날로그 하드웨어의 불안정성 때문에 저장할 수 있는 정보의 유효기간과 정확도에 한계가 있다.”로 요약할 수 있습니다.

이 논문은 이러한 한계 속에서도 AI 분야에서 실용적으로 쓸 수 있는 타협점(Trade-off)을 찾은 훌륭한 연구이지만, 범용 메모리로 쓰이기엔 아직 넘어야 할 산이 많습니다.

관련 개념

텐서 곱 표현(Tensor Product Representation)과 벡터 중첩

텐서 곱 표현(TPR) 은 키(key)와 값(value) 두 벡터를 외적으로 결합(binding)해 두 정보가 분산된 형태로 함께 보존되는 고차 표현을 만드는 수학적 틀입니다. 벡터-기호 아키텍처(vector-symbolic architecture) 계열에서 오래 쓰인 개념으로, 이 논문은 이를 “하나의 아날로그 어레이에 여러 벡터를 겹쳐 저장하는” 인코딩으로 사용합니다.

🧮 1. 결합(binding)과 중첩(superposition)

저장하려는 DNN 벡터 $\mathbf{v}_i$가 값, 그 벡터를 색인하는 보조 벡터 $\mathbf{k}_i$가 키입니다. 둘 다 차원 $D$입니다.

\[\mathbf{M}_i = \mathbf{v}_i \otimes \mathbf{k}_i = \mathbf{v}_i \mathbf{k}_i^{\top}, \qquad \mathbf{M}_i \in \mathbb{R}^{D\times D} \tag{1}\]

여러 결합 행렬을 더하면 모든 벡터의 정보를 담은 중첩 복합 표현(SCR) $\mathbf{S}$가 됩니다.

\[\mathbf{S} = \sum_{i=1}^{N} \mathbf{M}_i = \sum_{i=1}^{N} \mathbf{v}_i \mathbf{k}_i^{\top}, \qquad \mathbf{S} \in \mathbb{R}^{D\times D} \tag{2}\]

단계	연산	결과
결합	값 ⊗ 키 (외적)	$D\times D$ 행렬 하나
중첩	결합 행렬들의 합	같은 크기의 $\mathbf{S}$ 하나
저장	$\mathbf{S}$의 각 원소를 아날로그 셀에 프로그래밍	$D\times D$ 어레이 하나

핵심은 벡터를 몇 개 겹치든 $\mathbf{S}$의 크기는 $D\times D$로 고정된다는 점입니다. 저장 벡터 수 $N$이 늘어도 물리적 셀 수는 늘지 않습니다.

🔓 2. 복원(unbinding)과 간섭항

저장된 벡터는 $\mathbf{S}$에 해당 키를 곱해 꺼냅니다.

\[\hat{\mathbf{v}}_j = \mathbf{S}\,\mathbf{k}_j = \sum_{i=1}^{N} \mathbf{v}_i\,(\mathbf{k}_i^{\top}\mathbf{k}_j) = \begin{cases} \mathbf{v}_j, & \mathbf{k}_i^{\top}\mathbf{k}_j = 0\ \ \forall i\neq j \\[4pt] \mathbf{v}_j + \sum_{i\neq j} \mathbf{v}_i\,(\mathbf{k}_i^{\top}\mathbf{k}_j), & \text{otherwise} \end{cases} \tag{3}\]

키들이 완전 직교하면 복원이 정확하지만, 이는 $N \le D$일 때만 가능합니다.
키를 고차원에서 무작위로 뽑으면 서로 근사적으로 직교(blessing of dimensionality)해, 내적 $\mathbf{k}i^{\top}\mathbf{k}_j$가 작지만 0은 아닙니다. 이때 복원 결과는 $\mathbf{v}_j + \boldsymbol{\epsilon}{\text{tpr}}$ 이며, $\boldsymbol{\epsilon}_{\text{tpr}}$은 다른 저장 벡터들에서 오는 간섭항입니다.
벡터를 더 겹칠수록 간섭은 커지지만 복원 벡터의 방향은 대체로 유지됩니다. 이를 graceful degradation이라 부르며, 용량과 정확도 사이의 제어 가능한 트레이드오프를 만듭니다.

📐 3. 중첩 계수 $S_p$

논문은 $S_p = N/D$를 중첩 계수(superposition factor) 로 정의합니다. $S_p = 1$이면 압축 없이 $D$개를 저장하는 것이고, $S_p > 1$이면 물리적 행 수보다 많은 벡터를 저장하는 영역입니다. 논문은 의도적으로 준직교 키를 써서 이 영역을 활용합니다.

💡 Key Takeaway TPR은 “벡터 하나 = 행 하나”라는 대응을 끊습니다. 벡터는 어레이 전체에 분산되어 저장되고, 키를 곱하는 MVM 한 번으로 다시 꺼내며, 몇 개를 겹칠지는 정확도 요구에 맞춰 연속적으로 고릅니다.

준직교 키와 Graceful Degradation

준직교(quasi-orthogonal) 키는 완전 직교는 아니지만 고차원에서 내적이 거의 0에 가까운 벡터 집합입니다. 이 논문에서 저장 용량을 $N > D$로 확장할 수 있게 해 주는 열쇠이며, 동시에 복원 품질이 어떻게 서서히 나빠지는지를 결정합니다.

🔑 1. 세 가지 키 생성 방식

방식	성질	용도
Hadamard 행렬	$\mathbf{H}\in{-1,+1}^{D\times D}$, $\mathbf{H}\mathbf{H}^{\top} = D\cdot\mathbf{I}$ → 행끼리 완전 직교	Extended Data Fig. 1의 직교 키 분석
Rademacher 분포	각 원소를 ${-1,+1}$에서 독립·균등하게 추출, $D$가 크면 준직교	Extended Data Fig. 1의 준직교 키 분석
Cellular Automaton Rule 30	Rademacher 시드에서 Rule 30으로 순차 진화시켜 의사난수 이진열 생성 후 $\pm 1$로 매핑	모든 신경망 실험과 하드웨어 실험

Rule 30 방식은 내부 상태의 이진 연산만으로 키를 순차 생성하므로 별도의 키 행렬을 저장할 필요가 없고 회로가 단순해 하드웨어 친화적입니다. 키는 양극성(bipolar) 값이면 충분하므로 생성기 설계가 더 쉬워집니다.

📉 2. 중첩이 늘어날 때 무슨 일이 생기나 (Extended Data Fig. 1)

가우시안 분포에서 뽑은 무작위 값 벡터로 측정한 결과입니다. 평가 지표는 두 가지입니다.

\[E_{\mathrm{L2}} = \frac{\lVert \hat{\mathbf{v}}_i - \mathbf{v}_i \rVert_2}{\lVert \mathbf{v}_i \rVert_2}, \qquad \cos\theta = \frac{\hat{\mathbf{v}}_i^{\top}\mathbf{v}_i}{\lVert \hat{\mathbf{v}}_i \rVert_2 \lVert \mathbf{v}_i \rVert_2}\]

키 종류	$N \le D$	$N > D$
직교(Hadamard)	코사인 유사도·L2 오차 모두 완벽 복원	사용 불가
준직교(Rademacher)	거의 정확	코사인 유사도는 서서히 감소, L2 오차는 크기 편차 때문에 증가

방향(코사인)은 유지되고 크기(L2)가 먼저 흔들린다는 것이 graceful degradation의 실체입니다.
복원 벡터와 “저장되지 않은 같은 분포의 무작위 벡터” 사이의 코사인 유사도 분포는 $N=D$에서 잘 분리되고, $N=8D$, $N=32D$처럼 큰 중첩에서도 여전히 유의미한 신호 분리가 남습니다.
단순 합산과 delta rule은 $N > D$에서 비슷하게 동작하고, 낮은 중첩에서만 작은 차이가 납니다(delta rule이 그 영역에 최적화되지 않았기 때문).

💡 Key Takeaway 준직교 키는 “정확히 꺼낼 수 있는 개수의 상한 $D$”를 포기하는 대신 “대략 꺼낼 수 있는 개수”를 $D$ 너머로 열어 줍니다. DNN 파라미터처럼 정밀도 손실과 적당한 섭동에 관대한 데이터에 특히 맞는 거래입니다.

아날로그 인메모리 컴퓨팅과 집단 판독(Collective Readout)

아날로그 인메모리 컴퓨팅(AIMC) 은 멤리스티브 소자(PCM, RRAM 등)의 전도도(conductance)를 행렬 원소로 쓰고, 행에 전압을 가해 열 전류를 모으는 물리 법칙(옴의 법칙 + 키르히호프 법칙)으로 행렬-벡터 곱을 수행하는 방식입니다. 이 논문은 AIMC 타일을 연산기가 아니라 고밀도 벡터 저장소로 쓰자고 제안하면서, 판독 방식 자체를 바꿉니다.

🔬 1. 기존 셀 단위 판독 vs 집단 판독

구분	기존 메모리 (Fig. 1a)	제안 아키텍처 (Fig. 1b)
저장 단위	벡터 원소를 이진 상태로 개별 셀에 저장	$\mathbf{S}$의 원소를 아날로그 상태로 어레이 전체에 분산
읽기 방식	행을 하나씩 순차 활성화	키 $\mathbf{k}_i$에 따라 여러 행을 동시에 활성화해 MVM
센싱 신호	소자 하나의 전류	다수 소자가 합쳐진 열 전류
저장 가능 벡터 수	물리적 행 수로 제한	행 수를 초과 가능 ($S_p > 1$)

복원은 Eq. 3의 MVM을 물리적으로 수행하는 것과 같습니다. 키 원소에 해당하는 양극성 전압을 모든 행에 동시에 인가하고, 열 전류를 ADC로 디지털화하면 $\hat{\mathbf{v}}_i$의 원소가 나옵니다.

📶 2. 센싱 마진이 얼마나 좋아지는가 (Extended Data Fig. 2)

GPT2 임베딩을 저장한 어레이에서 단일 소자 판독과 SCR 판독을 비교한 결과입니다.

지표	효과
중앙값 판독 전류	약 150배(두 자릿수 이상) 증가
판독 전류 분포의 변동계수(CV)	6배 이상 감소 (분포가 더 촘촘해짐)

전류가 여러 소자의 집단 응답으로 생기므로 소자 하나하나의 전도도는 낮아도 됩니다. 논문은 이 마진을 개별 소자 전도도와 맞바꿀 수 있다고 설명합니다. 즉 더 저항이 큰 나노 스케일 소자, 더 작은 소자, 더 큰 크로스바를 써도 센싱 시간이나 센싱 회로 복잡도를 크게 늘리지 않을 수 있습니다.

🧩 3. 타일 구성 (Fig. 2)

구성 요소	역할
아날로그 타일	$D\times D$ 어레이 + 행 DAC + 열 ADC + 프로그래밍(read-write-verify) 회로, SCR 하나를 저장
타일 그룹	벡터 차원 $D_{\mathrm{vec}} > D$이면 $\lceil D_{\mathrm{vec}}/D \rceil$개 타일이 병렬로 각 세그먼트 담당
그룹 수	$N_{\mathrm{vec}}$개 벡터 저장에 $\lceil N_{\mathrm{vec}} / (S_p D) \rceil$개 타일 그룹 필요
공유 키 생성기	Rule 30 기반, 선택된 키를 활성 타일 전부의 행 구동 회로에 배포

키는 “그룹 안에서의 위치”를, 그룹 주소는 “물리적 타일”을 가리키므로 같은 키 집합을 모든 타일 그룹에서 재사용할 수 있습니다. 키 생성 회로는 한 번만 두고 비용을 여러 어레이에 분산시킵니다. $S_p$를 올리면 어레이 크기를 바꾸지 않고도 필요한 타일 그룹 수가 줄어듭니다.

💡 Key Takeaway 집단 판독은 “신호를 키우는” 동시에 “소자 하나의 정밀도 요구를 낮추는” 이중 효과를 냅니다. 저장 밀도와 센싱 조건이라는 두 병목을 같은 메커니즘으로 완화한다는 점이 아키텍처의 핵심 주장입니다.

Delta Rule 기반 중첩

Delta rule 중첩은 단순 합산(Eq. 2) 대신 새 키-값 쌍을 추가할 때 이미 저장된 정보와 겹치는 부분을 먼저 빼고 넣는 갱신 방식입니다. 선형 트랜스포머의 메모리 갱신 규칙(Schlag et al.)을 가져와 수정한 것으로, 간섭에 민감한 GPT2-large에서 $N=D$ 기준 perplexity를 회복하는 데 필요했습니다.

🔄 1. 갱신 절차 (M1–M3)

새 쌍 $(\mathbf{k}{\text{new}}, \mathbf{v}{\text{new}})$를 추가할 때:

(1) 현재 메모리에서 새 키로 먼저 꺼내 본다 — 이 벡터가 새 값과 간섭할 기존 정보입니다.

\[\hat{\mathbf{v}}_{\text{new}} = \mathbf{S}\,\mathbf{k}_{\text{new}} \tag{M1}\]

(2) 기존 정보와 새 값을 볼록 결합한다 — $\beta$가 새 정보의 유입량을 조절합니다.

\[\mathbf{v}_{\text{delta}} = \beta\,\hat{\mathbf{v}}_{\text{new}} + (1-\beta)\,\mathbf{v}_{\text{new}} \tag{M2}\]

(3) 결합 결과를 새 키로 묶어 더하고, 기존 기여분은 제거한다.

\[\mathbf{S}_{\text{new}} = \mathbf{S} + \underbrace{(\mathbf{v}_{\text{delta}} \otimes \mathbf{k}_{\text{new}})}_{\text{write}} - \underbrace{(\hat{\mathbf{v}}_{\text{new}} \otimes \mathbf{k}_{\text{new}})}_{\text{remove}} \tag{M3}\]

항목	원 논문(Schlag et al.)	이 논문의 수정
$\beta$	트랜스포머 토큰의 함수 (데이터 의존)	데이터 독립 하이퍼파라미터 (실험에서 0.5)
갱신 방식	한 번에 한 쌍씩 직렬	배치 버전 (키·값 묶음을 동시에 갱신)

⚙️ 2. 왜 배치 버전이 필요한가

Delta rule은 표현 용량을 높이지만 메모리를 한 벡터씩 직렬로 만들어야 하므로 재학습 중 매 스텝마다 $\mathbf{S}$를 재구성하면 오버헤드가 큽니다. 논문은 M1–M3를 배치로 적용해 직렬화 비용을 줄였고, 배치 크기 $B$를 메모리 행렬에 들어가는 벡터 전체 수로 두어도 성능이 충분하다는 것을 확인했습니다. 즉 delta rule의 효과와 학습 오버헤드를 $B$로 거래합니다.

💡 Key Takeaway 단순 합산은 “그냥 겹쳐 놓기”, delta rule은 “겹치기 전에 이미 있는 것과 조율하기”입니다. DLRM처럼 관대한 모델은 전자로 충분하지만, 언어 모델 임베딩처럼 민감한 경우에는 후자가 기준 성능 회복에 필요했습니다.

SCR-Aware 학습

SCR-aware 학습은 중첩 저장이 만드는 간섭 $\boldsymbol{\epsilon}_{\text{tpr}}$을 학습 중 순전파에 미리 주입해, 역전파가 간섭에 강건한 파라미터를 찾도록 하는 절차입니다. 양자화 인식 학습(QAT)이나 노이즈 주입 학습과 같은 계열이며, 처음부터 학습할 때도 미세조정할 때도 적용할 수 있습니다.

🧭 1. 7단계 절차 (Extended Data Fig. 3)

단계	내용
1	저장 대상 파라미터 $\mathbf{P}$를 1차원으로 펼친 뒤 $(N_{\text{vec}}, D)$로 reshape (필요 시 0 패딩), 선택한 중첩 계수에 따라 $(N_{\text{arr}}, N_{\text{vec/arr}}, D)$로 타일링
2	$N_{\text{vec/arr}}$개의 고유 키를 Rule 30으로 생성 (어레이 간 키 공유; 하드웨어와 동일한 키여야 함)
3	값 벡터 $\mathbf{V}$와 키 $\mathbf{K}$를 결합해 SCR $\mathbf{S}$ 생성 — 실제로는 $N_{\text{arr}}$개의 $(D, D)$ 행렬
4	같은 키로 모든 값 $\hat{\mathbf{V}}$를 복원(unbinding)
5	타일링·패딩을 되돌려 원래 파라미터 형태 $\hat{\mathbf{P}}$로 매핑
6	오차 $\boldsymbol{\epsilon}_{\text{tpr}} = \hat{\mathbf{P}} - \mathbf{P}$를 파라미터에 섭동으로 가해, 순전파는 $\hat{\mathbf{P}}$를 쓰고 역전파는 $\mathbf{P}$를 갱신
7	파라미터 갱신 후 새 $\mathbf{P}$로 결합·복원을 반복

⏱️ 2. 오버헤드

결합·복원 연산을 PyTorch einsum으로 벡터화해, 오버헤드가 일반적인 노이즈 주입·QAT 프레임워크 수준입니다.
delta rule을 쓰면 $\mathbf{S}$ 구성이 직렬화되어 추가 비용이 생기지만, 배치 delta rule로 허용 가능한 수준까지 줄였습니다.

🧪 3. 하드웨어-Aware 확장

아날로그 소자의 전도도 변동, IR-drop, 출력 이산화 같은 비이상성에도 견뎌야 하므로, 3단계에서 $\mathbf{S}$를 만든 뒤 다음을 추가합니다.

요소	적용 방식	비고
클리핑	$\mathbf{S}$를 표준편차 기준 임계값으로 자름	실험 설정 3 std; Extended Data Fig. 5에서 2 std처럼 더 엄격한 클리핑이 노이즈 강건성을 높임
가우시안 노이즈	각 원소에 크기에 비례하는 표준편차의 노이즈 주입	DLRM 8%, GPT2-large 10%
출력 양자화	복원된 $\hat{\mathbf{V}}$를 ADC 이산화처럼 양자화	8비트; 8비트까지는 정밀도에 거의 영향 없음

이 세 단계는 계산 비용이 거의 없고, 결과적으로 파라미터에 더해지는 오차항이 TPR 간섭과 하드웨어 섭동을 모두 포함하게 되어 둘 다에 강건한 해로 수렴합니다.

📋 4. 학습 하이퍼파라미터 (Extended Data Table 1)

하이퍼파라미터	DLRM	GPT2-large @1×	GPT2-large @2×
학습률	1.0	1e-5	1e-5
배치 크기	512	32	32
Delta rule $\beta$	0.5	0.5	0.5
가우시안 노이즈 (%)	8	10	10
$\mathbf{S}$ 클리핑 (std)	3	3	3
출력 양자화 (bits)	8	8	8

💡 Key Takeaway 중첩 메모리는 “근사 저장”이므로 모델이 그 근사에 미리 적응해야 합니다. 논문은 저장 변환 자체를 순전파에 끼워 넣는 straight-through 방식으로 이를 해결하며, 하드웨어 노이즈도 같은 틀에서 함께 처리합니다.

임베딩 테이블 저장 실험: DLRM과 GPT2-large

논문은 저장 용량이 중요하고 중첩의 이점이 드러나는 두 시나리오로 추천 모델(DLRM)과 언어 모델(GPT2-large)의 임베딩 테이블을 골랐습니다. 임베딩 테이블은 추론 중 반복적으로 조회되는 대규모 벡터 집합이라 이 아키텍처의 전형적인 표적입니다.

🛒 1. DLRM (Criteo Kaggle Display Advertising, 지표 AUC) — Fig. 3a

설정	결과
$S_p = 1$ ($N = D$)	소프트웨어 기준선과 동일한 AUC → 인코딩 자체는 성능에 영향 없음
$S_p$를 $D$ 훨씬 너머로 확장	1024배 중첩에서도 기준선 및 최신 압축법 ROBE 대비 0.01 AUC 이내
복원 비용	압축 해제 오버헤드 없음 (키 MVM이 곧 목표 벡터를 내놓음)

DLRM 임베딩 테이블은 압축 가능성이 높은 것으로 알려져 있어 매우 큰 중첩이 가능했습니다.

📝 2. GPT2-large (WikiText, 지표 perplexity) — Fig. 3b

설정	결과
$N = D$, 단순 합산	기준 perplexity 미회복
$N = D$, delta rule	기준 perplexity 회복. inset에서 perplexity 분포도 기준 모델과 거의 동일
$N > D$	중첩이 커질수록 perplexity가 완만하게 악화

언어 모델은 간섭에 훨씬 민감해서 delta rule이 필요했고, 중첩 여유도 DLRM보다 작습니다.

🌐 3. 일반화 (Extended Data Fig. 4)

SCR은 분포에 무관(distribution-agnostic) 합니다. 저장 벡터 자체를 키로 묶어 메모리 상태를 만들 뿐, 벡터 분포에 대한 가정이 없습니다. 반면 DLRM 전용으로 설계된 ROBE는 압축 없이도 GPT2-large 임베딩에 일반화하지 못했습니다. 또한 디지털 압축의 2×·4× 같은 거친 단계와 달리, 중첩 계수는 $N$을 바꿔 연속적으로 조절됩니다.

🔊 4. 노이즈 강건성 시뮬레이션 — Fig. 3c,d

저장 표현 $\mathbf{S}$에 가우시안 노이즈를 주입해 소자 노이즈를 모사했습니다.

모델 / 중첩	결과
DLRM, $N = 1024D$	하드웨어-aware 학습 모델은 높은 노이즈에서도 기준 대비 1% 미만 하락(iso-accuracy)
GPT2-large, $N = D$ 및 $N = 2D$	높은 노이즈에서 perplexity가 다소 악화되고, 압축 시 민감도가 약간 증가

두 경우 모두 저장 표현의 최대 10% 변동까지 성능이 유지되었습니다.

💡 Key Takeaway 같은 인코딩이 추천 모델에서는 1024배, 언어 모델에서는 1–2배 중첩에서 기준 성능을 지킵니다. 중첩 계수는 모델이 간섭에 얼마나 관대한가에 맞춰 고르는 다이얼이지, 모든 모델에 같은 값을 쓰는 상수가 아닙니다.

PCM 칩 실험 검증

상변화 메모리(PCM) 는 칼코게나이드 물질의 비정질-결정질 상 구성 비율로 전도도가 연속적으로 바뀌는 비휘발성 소자입니다. 논문은 IBM HERMES 프로젝트 칩으로 아키텍처를 실제 하드웨어에서 검증했습니다.

🔧 1. 하드웨어 플랫폼

항목	내용
칩	IBM HERMES Project chip (Le Gallo et al.), 14nm CMOS
구성	64 타일, 각 타일 256×256 PCM 크로스바, 프로그래밍·MVM 주변 회로 통합
소자	Projected PCM 소자, 셀당 최대 전도도 3–7 µS (SCR 분포에 따라, ADC 포화 $I_{\max}\approx 110\,\mu\mathrm{A}$ 회피)
원소 인코딩	차동 PCM 쌍 — 두 소자의 전도도 차가 부호 있는 아날로그 값 (one-device 프로그래밍 방식, 어레이당 131,072 소자)
판독 입력	키 ${\pm 1}$을 0.2 V, 130 ns 전압 펄스로 행에 인가
판독 출력	전류 제어 발진기 기반 ADC → 온칩 부호 있는 8비트 정수
제어	Xilinx Zynq UltraScale+ FPGA(Trenz TE0808-04) + 커스텀 베이스보드, JTAG/Ethernet

8비트 입력 인터페이스 때문에 최소 MVM 시간이 약 127 ns로 제한되는데, 양극성 입력 전용 하드웨어라면 더 빠를 수 있어 논문은 성능 투영(Extended Data Table 2)에서 이를 별도로 고려합니다.

🧫 2. 실험 설정과 결과 (Fig. 4)

$D = 256$으로 타일링한 SCR을 PCM 어레이에 직접 매핑하고, 온칩 MVM으로 복원한 8비트 값을 소프트웨어 추론에 사용했습니다.

모델	필요한 타일형 SCR 수
DLRM	8
GPT2-large (1×)	1,002
GPT2-large (2× 압축)	501

64개 타일을 직렬로 재사용해 수행했습니다.

측정된 정확도는 소프트웨어 기준선에 근접하고, 약 8–10% 노이즈 시뮬레이션 결과와 일치했습니다.
GPT2 임베딩 2× 중첩에서 복원 MVM 정확도는 3비트와 4비트 디지털 기준 사이, 평균적으로 4비트에 가까움(Extended Data Fig. 7). 이는 DNN 추론용 AIMC에서 보고된 유효 MVM 정밀도와 일치합니다.

🧠 3. 왜 “소자 하나의 멀티비트 신뢰성”이 덜 중요해지는가

PCM 소자 하나에 여러 비트를 안정적으로 저장하기는 여전히 어렵습니다. 그러나 이 아키텍처에서 중요한 지표는 집단 MVM 출력의 정확도입니다. 개별 상태가 노이즈가 있어도 집단 응답에서 유용한 멀티레벨 특성이 나타난다는 것이 Extended Data Fig. 7의 함의이며, 논문은 이를 개별 소자 상태를 정밀하게 분해하지 않고도 축소된 아날로그 메모리를 활용하는 길로 제시합니다.

💡 Key Takeaway 실험은 “시뮬레이션에서 약속한 것이 기존 PCM 칩에서 그대로 나온다”를 보이는 데 집중합니다. 새 소자나 새 칩이 아니라 기존 AIMC 칩을 저장소로 재해석했다는 점이 실용적 메시지입니다.

어레이 수준 성능·에너지 투영과 설계 함의

논문은 SRAM/DRAM과의 직접 비교는 하지 않습니다. 투영이 단일 어레이 기준이고 메모리 계층 전체의 오버헤드를 포함하지 않기 때문입니다. 대신 공개된 NVM 기반 AIMC 하드웨어 파라미터를 바탕으로 어레이 수준 지표를 계산합니다.

📊 1. 계산식 (Extended Data Table 2)

\[E_{\text{per-bit}} = \frac{D^{2}\cdot E_{\text{MAC}}\cdot(1+\text{Overhead})}{B_{\text{effective}}\cdot D}\times 10^{-3}, \qquad BW = \frac{B_{\text{effective}}}{8}\cdot\frac{D}{t_{\text{read}}}\]

유효 복원 정밀도는 $B_{\text{effective}} = 4$비트로 가정합니다.

어레이 크기	MAC당 에너지 (fJ)	주변회로 오버헤드 (×)	읽기 시간 (ns)	유효 비트당 에너지 (pJ)	대역폭 (GB/s)
512×512	0.5	10	10	0.704	25.6
512×512	0.5	10	5	0.704	51.2
512×512	0.5	5	10	0.384	25.6
512×512	0.5	5	5	0.384	51.2
512×512	0.05	10	10	0.0704	25.6
512×512	0.05	10	5	0.0704	51.2
512×512	0.05	5	10	0.0384	25.6
512×512	0.05	5	5	0.0384	51.2
1024×1024	0.05	5	5	0.0768	102.4
2048×2048	0.05	5	5	0.1536	204.8
4096×4096	0.05	5	5	0.3072	409.6

첫 행이 공개 하드웨어 기준(512×512, 0.5 fJ/MAC, 10× 주변회로 오버헤드)이고, 나머지는 더 저항이 큰 소자·효율적인 주변회로·빠른 읽기·큰 어레이를 가정한 투영입니다. 어레이가 커지면 대역폭은 선형으로 늘지만 비트당 에너지도 함께 증가하는 추세가 보입니다.

🏗️ 2. 설계 공간에 대한 함의

관점	논문의 주장
소자 축소	집단 판독이 최소 전도도 요구를 완화 → 더 작고 저항 큰 소자 사용 가능 → 어레이 밀도·크기 확대
읽기 속도	소자 저항이 매우 커도 집단 판독으로 빠른 읽기 가능
AIMC 칩의 역할	멀티타일 AIMC 칩에서 일부 타일은 연산, 일부 타일은 임베딩 저장 → 외부 메모리 접근 의존도 감소, 엣지에 유리
독립형 메모리	Flash 포함 독립형 아날로그 메모리, 3D 아날로그 메모리에 적용 가능 — 타일 그룹을 같은 타일의 다른 층에 매핑하는 확장
비휘발성·무압축해제	비휘발성, 온칩 통합, 압축 해제 오버헤드 없는 중첩이 결합

💡 Key Takeaway 논문의 큰 그림은 “정보 표현이 소자 재료·구조·어레이 조직과 나란히 놓이는 설계 변수가 될 수 있다”는 것입니다. 중첩 계수는 그 변수의 가장 직접적인 손잡이입니다.

한계와 열린 문제

논문은 별도의 한계 절을 두지 않지만, Discussion과 Methods에서 다음을 명시적으로 인정하거나 범위 밖으로 둡니다.

⚠️ 1. 저자가 밝힌 제약

항목	내용
재학습 비용	SCR-aware·하드웨어-aware 재학습은 저정밀 하드웨어 배포에서 흔하지만, LLM 시대에는 비용이 과도할 수 있음. 경량 사후 적응이나 임베딩 뒤 소수 레이어만 갱신하는 방식을 향후 과제로 제시
정적 파라미터만 다룸	추론 중 변하지 않는 파라미터 저장만 조사. $\mathbf{S}$의 점진적 갱신은 PCM의 결정화 동역학·누적 특성으로 가능하다고 언급만 함
시스템 수준 비교 부재	투영은 단일 어레이 기준이며 SRAM/DRAM 계층과 직접 비교하지 않음
키 생성기 설계	회로 설계 공간 탐색은 범위 밖. 시뮬레이션에서는 Rule 30 기반의 저비용 방식을 채택
하드웨어 입력 제약	8비트 입력 인터페이스로 최소 MVM 시간 약 127 ns. 양극성 입력 전용 설계는 투영으로만 다룸

❓ 2. 본문에서 드러나는 추가 고려 사항

언어 모델은 중첩과 노이즈 모두에 더 민감해, DLRM에서 가능한 수준의 극단적 중첩은 기대하기 어렵습니다.
하드웨어 실험은 64타일을 직렬로 재사용해 수행했으므로, GPT2-large 전체(1,002개 SCR)를 동시에 수용하는 칩 규모의 검증은 아닙니다.
유효 정밀도 3–4비트는 임베딩 저장에는 충분했지만, 더 높은 정밀도가 필요한 파라미터 종류로의 확장은 별도 검증이 필요합니다.

💡 Key Takeaway 이 연구의 증거는 “임베딩 테이블 + 기존 PCM 칩 + 재학습 허용”이라는 조건 안에서 강합니다. 재학습 없는 적용, 동적 갱신, 시스템 수준 에너지 비교는 모두 다음 단계로 남아 있습니다.