You know maize mean?
From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification
0. Summary
- 기본 정보 : ArXiv,2026.10.19, From Black Box to Controller: Inference-Time Steering of LLM via Feature Amplification
- 연구 배경 : 실제 서비스에 배포된 LLM은 상황에 따라 행동 성향(preference)을 유연하게 바꿔야 한다. 예컨대 금융 질문에는 개방형 대화보다 더 신중해야 하고, 위험한 질문은 거절해야 하지만 지나친 신중함은 과잉 거절(over-refusal)로 사용자 경험을 해친다. 즉 “신중함의 정도”, “독성”, “공손함” 같은 특성(trait)의 강도(intensity) 를 시나리오별로 조절하는 문제가 생긴다. 기존 해법인 full fine-tuning, LoRA, 프롬프트 엔지니어링, RLHF는 태스크마다 데이터·재학습·프롬프트 설계가 필요해 반복적인 행동 조정 비용이 크고, 무엇보다 추론 시점에 목표 행동의 강도를 조절하는 공통 스칼라 제어 손잡이를 제공하지 않는다. 활성 공학(activation engineering)은 가중치 변경 없이 은닉 표현을 선형 방향으로 밀어 행동을 바꾸지만, 대부분 단일 mean-difference 벡터에 의존하기 때문에 복합적인 행동을 표현하기 어렵고, 중첩(superposition)된 조밀한 은닉 공간에서 의도치 않은 노이즈를 유발한다.
- 제안 방법 : 논문은 NeuroSteer라는 plug-and-play 프레임워크를 제안한다. 희소 오토인코더(SAE)를 LLM의 컨트롤러(controller) 로 삼아, 잔차 활성을 고차원 희소 공간으로 분해한 뒤 목표 특성에 대응하는 “feature neuron”들을 찾아 추론 시점에 증폭한다. 특성 선택은 소량의 긍정/부정 데이터 쌍을 모델에 통과시키면서 각 SAE 뉴런의 활성화 빈도(activation frequency) 를 긍정·부정 샘플별로 집계하고, 그 빈도 차이의 TopK를 마스크로 뽑는 단순한 통계 필터로 수행된다(기울기 업데이트 없음). 추론 시에는 마스크와 평균 활성 벡터의 원소곱으로 잠재 스티어링 벡터를 만들고, 표준편차로 정규화한 뒤 스티어링 계수 $\alpha$로 스케일링하여 SAE 디코더를 거쳐 잔차 스트림에 더한다. 사용자는 $\alpha$ 하나로 시나리오별·사용자별 강도를 조절할 수 있다.
- 발견 사실 : GPT-2-small(레이어 6, 자체 학습 SAE)과 Gemma-2-2B(레이어 12, Gemma Scope SAE)에서 감정(sentiment)·독성(toxicity)·입장(stance)·공손함(politeness) 네 가지 스티어링 태스크를 평가했다. 긍정 감정 스티어링에서는 부정 프롬프트에 대해 99.19% 긍정률을 달성해 최강 베이스라인(57.26%)을 41.93%p 앞섰고, 독성 완화에서는 최대 독성 0.069, 독성 확률 0.008로 가장 낮은 베이스라인(0.249 / 0.088)보다 크게 낮았다. 다만 강한 스티어링($\alpha=2.1$)에서는 출력 PPL이 29.28에서 125.80으로 올라 유창성이 균일하게 보존되지는 않았고, 입장 스티어링에서는 방향에 따라 full fine-tuning에 이기기도 지기도 했다. 레이어 ablation에서는 중간 레이어(6–8)의 상위 약 150개 뉴런을 켜는 것이 행동 변화와 텍스트 품질의 균형점이었으며, 얕은 레이어(0–2)는 부정 토큰의 반복을, 깊은 레이어(9–11)는 약한 스티어링을 보였다.
- 핵심 기여 :
- SAE 특성 조절 기반의 추론 시점 제어 프레임워크 NeuroSteer : 사전학습된 SAE를 공통 컨트롤러로 두고, 태스크별로는 소량의 라벨 데이터로 특성만 선택하여 base 모델 가중치 변경 없이 정량적(quantifiable)·플러그앤플레이 방식으로 행동 강도를 조절한다.
- 네 가지 스티어링 태스크에서의 검증 : 감정·독성·입장·공손함 태스크에서 여러 스티어링 지표를 베이스라인 대비 개선하되, 스티어링 강도와 생성 품질 사이의 trade-off를 함께 드러냈다.
- 레이어·특성 수에 따른 표현 분석 : 레이어(0–11)와 TopK를 격자 탐색하여 개념이 레이어별로 어떻게 표현되는지, 기본 특성을 증폭·조합하는 것이 모델 행동에 어떤 영향을 주는지에 대한 통찰을 제공한다.
Abstract 쉬운 설명(Gemini)
🎛️ AI의 ‘말투와 성향’을 조절하는 볼륨 조절기
인공지능(LLM)을 사용할 때, 상황에 따라 AI의 성격이나 행동을 바꾸고 싶을 때가 있습니다.
- 병원 상담봇이라면 매우 진중하고 따뜻한 말투여야 하고,
- 게임 가이드라면 신나고 쾌활한 말투여야 하겠죠.
지금까지는 이걸 조절하려면 인공지능에게 프롬프트로 “너는 이제부터 친절한 가이드야. 공손하게 말해줘”라고 길게 설명하거나, 아예 친절한 대화 데이터를 모아서 인공지능을 새로 훈련(미세조정)시켜야 했습니다. 하지만 전자는 말귀를 잘 못 알아들을 때가 있고, 후자는 돈과 시간이 너무 많이 듭니다.
이 논문은 “인공지능 머릿속에 ‘친절함 볼륨 조절기’를 직접 달아주면 어떨까?”라는 생각에서 출발했습니다.
🔍 어떻게 조절기를 달았을까요? (작동 원리 비유)
우리가 뇌 검사를 할 때, 맛있는 음식을 생각하면 뇌의 특정 부분이 반짝이는 것처럼, 인공지능도 ‘공손한 말’을 할 때만 유독 반짝이는 ‘생각 주머니(특징)’가 있습니다.
이 논문에서 개발한 ‘뉴로스티어(NeuroSteer)’라는 기술은 일종의 돋보기 역할을 합니다.
- 생각 주머니 찾기: 인공지능이 공손하게 말할 때와 무례하게 말할 때의 내부 반응을 정밀 분석해서, ‘공손함’을 담당하는 생각 주머니를 정확하게 찾아냅니다.
-
볼륨 조절하기: 그 생각 주머니를 찾았다면, 인공지능이 답변을 만들 때 그 생각 주머니의 크기를 억지로 키워버립니다.
- 볼륨을 1에서 10으로 올리면 극도로 공손해지고,
- 볼륨을 마이너스로 내리면 오히려 퉁명스러워지는 식입니다.
🌟 이 기술이 왜 대단한가요?
- 재학습 필요 없음: 인공지능을 처음부터 다시 가르치지 않고, 이미 완성된 인공지능의 머릿속 신경만 살짝 건드려서 해결합니다.
- 내 마음대로 실시간 조절: 사용자가 슬라이더 조절바를 밀고 당기듯이, “공손함 80%, 긍정적인 느낌 50%” 같은 식으로 아주 미세하고 정교하게 실시간으로 말투를 디자인할 수 있습니다.
📌 한 줄 요약
“인공지능을 새로 학습시키지 않고도, 머릿속의 특정 생각 주머니를 조작하여 말투(공손함, 긍정성 등)의 강도를 라디오 볼륨처럼 자유롭게 조절하는 기술” 입니다.
뉴로스티어(NeuroSteer) 설명
🧠 ‘인공지능의 뇌’라는 거대한 미로
인공지능(LLM)의 뇌 속에는 수백억 개의 신경세포(뉴런)가 얽혀 있습니다. 문제는 인공지능이 “안녕!”이라는 말을 할 때, 이 수백억 개의 뉴런 중 수백만 개가 동시에 복잡하게 반짝인다는 점입니다.
마치 수만 명이 모인 야구장에서 관중들이 동시에 함성을 지르는 것과 같아서, 대체 어떤 사람이 ‘공손함’을 담당하는 관중인지 골라내기가 불가능에 가까웠습니다.
🧐 뉴로스티어가 작동하는 3단계 비유
뉴로스티어는 이 거대하고 시끄러운 경기장에 마이크를 대고 “원하는 목소리만 정확하게 골라내어 볼륨을 조절하는 기술”입니다.
[복잡한 뇌속 신호] ──(1. 돋보기 분석)──> [특정 생각 주머니] ──(2. 볼륨 조절)──> [완벽한 맞춤 답변]
1단계 : 돋보기(SAE)로 특정 ‘생각 주머니’ 찾기 🔍
- 뉴로스티어는 Sparse Autoencoder(SAE)라는 특수한 돋보기를 사용합니다.
- 이 돋보기를 쓰면, 무수히 얽힌 뉴런들 사이에서 ‘공손한 생각을 할 때만 반짝이는 아주 정밀한 세포 그룹(생각 주머니)’을 선명하게 분리해 낼 수 있습니다.
- “아! 공손하게 말할 때는 뇌 속의 바로 ‘이 세포 영역’이 켜지는구나!” 하고 알아내는 단계입니다.
2단계 : 볼륨 조절기(컨트롤러) 설치하기 🎛️
- 이제 그 생각 주머니를 찾았으니, 그 부분에만 연결되는 미세 전류 조절기를 설치합니다.
- 사용자가 조절기(슬라이더)를 위로 올리면 그 생각 주머니로 가는 전류가 증폭되고, 내리면 전류가 차단됩니다.
3단계 : 실시간 제어(Steering) 발동! ⚡
- 인공지능이 답변을 타이핑하기 시작하는 순간, 사용자가 볼륨을 “70%”로 설정해 둡니다.
- 그러면 뉴로스티어는 인공지능이 문장을 적는 내내 ‘공손함 생각 주머니’에 전류를 계속 흘려보냅니다.
- 그 결과, 인공지능은 학습을 새로 받지 않았음에도 아주 예의 바르고 공손한 답변을 실시간으로 쏟아내게 됩니다.
🌟 한눈에 보는 뉴로스티어의 요약
- 무엇인가요? ➡️ 인공지능의 뇌 속에서 원하는 성향(예: 공손함, 긍정성, 안전함)만 쏙쏙 찾아내어 조절할 수 있게 해주는 뇌 수술 장치입니다.
- 왜 좋은가요? ➡️ 이전 기술들은 인공지능의 머릿속을 엉성하게 툭툭 건드려서 원치 않는 오작동(헛소리)을 일으키곤 했습니다. 반면 뉴로스티어는 딱 원하는 성향만 핀셋으로 집어 올리듯 정밀하게 조작하기 때문에, 답변의 품질은 유지하면서 말투만 완벽하게 바꿀 수 있습니다.
💡 일상 속 뉴로스티어 상상해보기
이 기술이 상용화되면 이런 챗봇이 가능해집니다.
-
감정 청정 필터: 챗봇의 ‘화남/공격성’ 생각 주머니 볼륨을
0으로 완전히 잠가버려, 어떠한 자극에도 절대 욕설이나 화를 내지 않는 완벽한 방어막을 칩니다. -
맞춤형 독서 도우미: 초등학생용 답변을 원할 때는 ‘이해하기 쉬움’ 볼륨을
100으로 높이고, 전문가용을 원할 때는0으로 낮춥니다.
관련 개념
추론 시점 스티어링(Inference-Time Steering)
추론 시점 스티어링은 모델 가중치를 바꾸지 않고, 생성 중에 내부 표현이나 출력 분포를 조작해 행동을 바꾸는 기법입니다. 논문은 이를 “배포된 LLM이 시나리오에 따라 행동 성향을 유연하게 조정해야 한다”는 실용적 요구에서 출발해 정식화합니다.
🎯 1. 왜 “강도 조절”이 문제인가
논문이 드는 대표 예시는 신중함(caution) 수준입니다.
| 상황 | 바람직한 행동 | 잘못되면 |
|---|---|---|
| 금융·위험 민감 질문 | 신중하게 거절하거나 제한적으로 답변 | 민감 정보 유출 |
| 개방형 일상 대화 | 적극적으로 답변 | 과잉 거절(over-refusal) → 나쁜 UX |
즉 특성을 “켜고 끄는” 것이 아니라 얼마나 켤지를 상황마다 다르게 정해야 합니다. 독성 제어, 공손함 조절도 마찬가지로 연속적인 강도 조절이 필요합니다.
🔧 2. 기존 해법과의 비교 (Table 1)
| 방법 | 정량 조절 | Plug-and-Play | 추론 지연 없음 | 선형성 | 화이트박스 |
|---|---|---|---|---|---|
| Fine-Tuning | ✗ | ✗ | ✓ | ✗ | ✗ |
| LoRA | ✗ | ✗ | ✓ | ✗ | ✗ |
| ITI | ✓ | ✓ | ✓ | ✗ | ✗ |
| CAA | ✓ | ✓ | ✓ | ✗ | ✗ |
| LM-Steer | ✓ | ✗ | ✗ | ✗ | ✗ |
| NeuroSteer | ✓ | ✓ | ✓ | ✓ | ✓ |
- Fine-tuning / LoRA / RLHF : 태스크별 데이터·재학습이 필요해 반복적 조정 비용이 큼. 강도를 조절하는 공통 스칼라가 없음.
- 프롬프트 엔지니어링 : 태스크별 프롬프트 설계가 필요하고 base 모델(GPT-2 등)처럼 지시를 따르지 못하는 모델에는 적용 불가.
- 활성 공학(ITI, CAA) : 가중치 변경 없이 즉시 적용되지만 단일 스티어링 벡터에 의존.
💡 Key Takeaway 논문이 원하는 것은 “행동을 바꾸는 것”을 넘어 하나의 스칼라 $\alpha$로 행동의 강도를 연속적으로 조절하는 것입니다. 이를 위해 SAE를 LLM 외부의 제어기로 붙입니다.
활성 공학(Activation Engineering)과 선형 표현 가설
활성 공학은 LLM의 은닉 활성(hidden activation)에 스티어링 벡터를 더해 출력을 바꾸는 기법 전반을 가리킵니다. 그 이론적 토대는 선형 표현 가설(linear representation hypothesis) 입니다.
📐 1. 선형 표현 가설
Jiang et al. (2024), Park et al. (2024) 등은 의미 개념이 LM의 은닉 표현 공간에서 대체로 선형 방향으로 인코딩된다고 주장합니다. 감정 극성(Tigges et al. 2023), 시간·공간(Gurnee & Tegmark 2024) 같은 개념이 은닉 상태의 선형 방향으로 표현된다는 증거가 보고되었습니다.
이를 이용한 대표적 방법들:
| 방법 | 스티어링 벡터 구하는 법 |
|---|---|
| CAA (Panickssery et al. 2024) | 참/거짓 분포의 평균 은닉 상태 차이(mean difference) |
| ITI (Li et al. 2024) | 긍정·부정 샘플의 평균 차이를 특정 attention head에 적용 |
| LM-Steer (Han et al. 2024) | GPT 레이어를 고정하고 SVD 기반 스티어링 레이어를 추가 학습 |
⚠️ 2. 단일 벡터 방식의 두 가지 한계
논문은 기존 활성 공학이 LM 표현의 근본 성질 때문에 두 가지 문제를 안고 있다고 지적합니다.
- 표현력 제한 : 하나의 스티어링 벡터로는 복잡한 행동을 제어하는 범위와 능력이 제한됩니다. 복합 행동을 단일 방향으로 표현하면 개입의 유연성이 떨어집니다.
- 중첩(superposition)에 의한 노이즈 : LM 은닉층은 조밀하고 고도로 중첩되어 있어 개입 시 의도치 않은 노이즈가 생기고, mean-difference 벡터 계산 자체가 노이즈를 더 끌어들입니다. Elhage et al. (2022)에 따르면 개별 뉴런은 단일 특성을 거의 인코딩하지 않으며, GPT-2의 768차원 뉴런은 $10^5$개 이상의 특성을 인코딩해야 합니다(Gurnee et al. 2024). 따라서 뉴런 하나를 건드리면 수많은 특성이 동시에 영향을 받습니다.
또한 Gurnee & Tegmark (2024)의 결과를 인용하며, 특성은 단일 선형 차원이 아니라 여러 저차원 특성(단순 논리, 토큰 등)의 조합으로 구성되고, 이 조합이 “답변 거절”이나 “긍정 감정” 같은 추상적 고수준 특성을 이룬다고 봅니다.
💡 Key Takeaway “특성 = 하나의 방향”이 아니라 “특성 = 여러 기본 특성의 조합”이라면, 그 기본 특성들을 분리해서 다룰 수 있는 도구가 필요합니다. 논문은 그 도구로 SAE를 택합니다.
희소 오토인코더(Sparse Autoencoder, SAE)
희소 오토인코더(SAE) 는 LLM 레이어 사이의 활성 벡터를 재구성하도록 학습되는 비지도 오토인코더로, 조밀한 내부 활성을 희소한 고차원 표현 공간으로 투영해 중첩된 특성을 풀어내는(disentangle) 것이 목표입니다(Templeton et al. 2024).
🧱 1. 구조와 손실
- 인코더 : $\mathbb{R}^{d} \rightarrow \mathbb{R}^{k}$, $k \gg d$ (잠재 공간은 보통 LLM 임베딩의 10–100배)
- 디코더 : $\mathbb{R}^{k} \rightarrow \mathbb{R}^{d}$, 원래 활성을 재구성
- 손실 : MSE 재구성 손실 + L1 희소성 손실
희소성 제약 덕분에 소수의 뉴런만 활성화되고, 각 뉴런이 뚜렷한 의미 특성에 대응하는 경향이 생깁니다. 예컨대 GPT-2 SAE에서는 특정 뉴런이 ‘이메일 주소’나 ‘화학식’에만 반응합니다(Kissane et al. 2024).
🧩 2. 논문이 SAE를 “증폭기”로 보는 이유
| SAE의 성질 | 스티어링에서의 의미 |
|---|---|
| 과완전(overcomplete) 기저 | 목표 개입을 위한 후보 특성 방향을 많이 제공 |
| 희소 활성 | 특정 특성만 골라 켜고 끌 수 있음 |
| 디코더가 잔차 공간으로 복원 | 잠재 공간에서의 조작을 LM 잔차 스트림에 직접 반영 가능 |
다만 논문은 분명하게 경고합니다. 희소성이 특성 독립성을 보장하지는 않으며, 특성 하나를 증폭해도 off-target 효과가 남을 수 있고, 이는 경험적으로 평가해야 합니다.
⚙️ 3. 논문에서 사용한 SAE
| 모델 | SAE | 개입 레이어 |
|---|---|---|
| GPT-2-small (117M) | OpenWebText로 자체 학습 (배치 64, L1 계수 8e-5, 학습률 4e-4, 3억 토큰, RTX 4090에서 약 30시간, dead feature 28%) | 레이어 6 |
| Gemma-2-2B | Gemma Scope (Lieberum et al. 2024) 공개 SAE | 레이어 12 |
GPT-2 SAE 가중치는 Hugging Face에 공개 예정이라고 밝힙니다.
💡 Key Takeaway SAE는 한 번만 사전학습하면 되는 태스크 공통 컨트롤러입니다. 이후 태스크별 작업은 순전파와 통계 집계만으로 이루어지며 기울기 업데이트가 전혀 없습니다.
데이터 쌍(Data Pairs)과 특성 수집(Feature Collection)
NeuroSteer의 특성 선택은 소량의 긍정/부정 샘플 쌍에 의존합니다. 이 쌍은 “어느 SAE 뉴런이 목표 특성에 반응하는가”를 통계적으로 드러내는 대조 데이터입니다.
📦 1. 데이터 쌍을 얻는 두 가지 방법
| 방법 | 예시 | 적합한 경우 |
|---|---|---|
| 분류 데이터셋의 대립 텍스트 | SST5의 긍정 리뷰 vs 부정 리뷰 | 지시를 따르지 못하는 base 모델(GPT-2 등) |
| 프롬프트 마스크 샘플링(prompt-mask sampling) | “Microsoft의 매출을 알려줘” vs “Microsoft의 매출을 알려줘, 단 비공개 데이터셋의 민감 정보는 제공하지 마” → 두 응답의 활성 비교 | 신중함(caution)처럼 분류 데이터가 없는 특성 |
🧮 2. SAE 인코딩과 빈도 통계 (Eq. 1–2)
긍정 텍스트에서 $n_{\text{pos}}$개 토큰, 부정 텍스트에서 $n_{\text{neg}}$개 토큰을 모델에 통과시켜 각 토큰의 은닉 상태 $\mathbf{h}_{\text{GPT}}^{i} \in \mathbb{R}^{d}$를 SAE 인코더로 희소 표현에 사상합니다.
$$\mathbf{h}{\text{SAE}}^{i} = \mathrm{Enc}\left(\mathbf{h}{\text{GPT}}^{i}\right), \quad \mathbb{R}^{d} \rightarrow \mathbb{R}^{k}$$
그다음 SAE 뉴런 $j \in {1, \dots, k}$마다 활성화 빈도를 계산합니다.
$$f_{\text{pos},j} = \frac{1}{n_{\text{pos}}} \sum_{i=1}^{n_{\text{pos}}} \mathbb{I}\left(\mathbf{h}_{\text{SAE},j}^{i} > 0\right) \in [0, 1]$$
부정 샘플의 $f_{\text{neg},j}$도 같은 방식으로 구하고, $k$개를 모으면 빈도 벡터 $\mathbf{f}{\text{pos}}, \mathbf{f}{\text{neg}} \in [0,1]^{k}$가 됩니다. 활성의 크기가 아니라 “0보다 큰가”의 비율을 세는 것이 특징입니다.
💡 Key Takeaway 특성 선택에 쓰이는 신호는 활성값의 평균이 아니라 얼마나 자주 켜지는가입니다. 이 덕분에 몇 개의 극단적 활성값에 휘둘리지 않고, 데이터 쌍 전체에서 일관되게 구별되는 뉴런을 고를 수 있습니다.
특성 필터링(Feature Filtering): 빈도 차이의 TopK
특성 필터링은 수집한 빈도 통계에서 노이즈를 걸러내고 실제로 스티어링에 쓸 목표 뉴런 집합을 고르는 단계입니다.
🎚️ 1. 세 종류의 뉴런
Figure 2(c)의 직관에 따르면 뉴런은 세 부류로 나뉩니다.
| 뉴런 유형 | 긍정 샘플 빈도 | 부정 샘플 빈도 | 처리 |
|---|---|---|---|
| 긍정 특성 뉴런 (초록) | 높음 | 낮음 | 스티어링 대상 |
| 부정 특성 뉴런 (빨강) | 낮음 | 높음 | 반대 방향 스티어링에 사용 |
| 양쪽 모두 활성 | 높음 | 높음 | 노이즈로 간주, 제외 |
🧮 2. TopK 마스크 (Eq. 3)
$$\mathbf{m}{\mathrm{pos_steer}} = \operatorname{TopKMask}\left(\mathbf{f}{\mathrm{pos}} - \mathbf{f}_{\mathrm{neg}}\right) \in {0, 1}^{k}$$
$\operatorname{TopKMask}$는 활성화 빈도 차이가 가장 큰 $K$개 항목을 1로, 나머지를 0으로 설정합니다. 선택은 특성(feature) 축을 따라 이루어지며, $m_{\mathrm{pos_steer},j}$는 특성 $j$에 대한 스칼라 마스크 값입니다.
이 설계의 요점은 “양쪽에서 다 켜지는 뉴런은 차이가 0에 가까워 자동으로 탈락” 한다는 것입니다. 빈도 차이를 쓰기 때문에 공통 특성(문법, 토픽 등)이 걸러집니다.
💡 Key Takeaway mean-difference 벡터가 “평균 활성의 차이” 하나를 방향으로 쓰는 것과 달리, NeuroSteer는 차이가 큰 희소 특성 $K$개의 집합을 고릅니다. 하나의 방향이 아니라 여러 기본 특성의 조합으로 목표 특성을 표현하는 셈입니다.
추론 시점 특성 증폭(Inference-time Feature Amplifying)
특성 증폭은 선택된 SAE 뉴런들을 추론 중에 켜서, 그 효과를 디코더를 통해 LM 잔차 공간으로 되돌려 더하는 단계입니다. 이 한 줄의 덧셈이 NeuroSteer의 실제 개입 전부입니다.
🧮 1. 잠재 스티어링 벡터 (Eq. 4)
특성 마스크와 평균 특성 활성 벡터 $\boldsymbol{\mu} \in \mathbb{R}^{k}$의 원소곱(elementwise product, $\odot$) 으로 잠재 스티어링 벡터를 만듭니다. 논문은 내적이 아니라 원소곱임을 명시합니다.
$$\Delta \mathbf{z} = \mathbf{m}_{\mathrm{pos_steer}} \odot \boldsymbol{\mu} \in \mathbb{R}^{k}$$
즉 선택된 $K$개 뉴런 위치에만 그 뉴런의 평균 활성값이 남고 나머지는 0인 $k$차원 벡터입니다. 이 벡터는 디코딩 전까지 $k$차원을 유지합니다.
🧮 2. 정규화, 스케일링, 디코딩, 잔차 덧셈 (Eq. 5)
$$h_{\mathrm{GPT}}’ = h_{\mathrm{GPT}} + \mathrm{Dec}\left(\alpha \cdot \frac{\Delta \mathbf{z}}{\sigma(\Delta \mathbf{z}) + \epsilon}\right) \in \mathbb{R}^{d}$$
| 구성 요소 | 역할 |
|---|---|
| $\sigma(\Delta \mathbf{z}) + \epsilon$ | 마스크된 잠재 벡터를 표준편차로 정규화해 $\alpha$의 의미를 태스크 간에 맞춤 |
| $\alpha$ | 스티어링 계수. 사용자가 시나리오·사용자별로 조절하는 유일한 손잡이 |
| $\mathrm{Dec}(\cdot)$ | $k$차원 잠재 벡터를 $d$차원 잔차 공간으로 복원 |
| $h_{\mathrm{GPT}} + \cdot$ | 잔차 스트림에 더해 다음 토큰 확률 분포를 이동 |
$\alpha$의 부호를 바꾸면 억제가 됩니다. 부록의 caution 실험에서는 $\alpha = 0.4$로 “원래 크기의 0.4배로 억제”하는 방식을 썼습니다.
⚠️ 3. 선형이 아닐 수 있다
논문은 $\alpha$가 개입 강도를 조절하지만, 행동 변화가 $\alpha$에 대해 선형이거나 단조일 필요는 없다고 명시합니다. Table 5의 예시는 이를 보여 줍니다($\alpha_0 = 0.2$, 프롬프트 “I want to know”).
| $\alpha$ | 생성 텍스트 |
|---|---|
| $-10\alpha_0$ | stupid pathetic lame pointless stupid anyway shitty. |
| $-5\alpha_0$ | how crap is supposed to be a good thing? |
| $-\alpha_0$ | if this is really the best solution we could come up with? |
| 0 | how successful the team is. |
| $\alpha_0$ | if this is a healthy diet? |
| $5\alpha_0$ | how successful I am in my life. |
| $10\alpha_0$ | how successful I can do something better. |
음의 큰 $\alpha$에서는 부정 토큰이 나열되는 붕괴가 보이고, 양의 방향에서는 긍정적 내용으로 점진적으로 이동합니다.
💡 Key Takeaway 개입은 “SAE 잠재 공간에서 특성을 켜고 → 디코더로 복원 → 잔차에 더하기”입니다. 가중치도, 기울기도 건드리지 않으므로 같은 SAE로 태스크마다 마스크만 바꿔 끼우면 됩니다. 단, $\alpha$를 키운다고 효과가 비례해서 커지지는 않습니다.
네 가지 스티어링 태스크와 평가 프로토콜
논문은 감정·독성·입장·공손함 네 태스크를 같은 데이터·평가 틀로 다룹니다. 핵심 아이디어는 “극성이 있는 프롬프트의 앞부분을 주면 모델이 같은 극성으로 이어 쓰는 경향이 있는데, 스티어링으로 그 경향을 뒤집을 수 있는가”입니다.
📋 1. 공통 프로토콜
- 극성이 다른 프롬프트의 앞부분을 추출한다(예: 부정 감정 문장 → 모델은 부정 연속을 생성하기 쉬움).
- 목표 극성으로 스티어링하며 생성한다.
- 분류기로 생성 텍스트의 극성을 판정하고, 목표 극성 비율을 스티어링 능력 지표로 삼는다.
📦 2. 태스크별 데이터
| 태스크 | 특성 선택 데이터 | 평가 데이터 | 극성 판정기 |
|---|---|---|---|
| 감정 | SST5 3,452개 샘플 | 도메인 밖 다중 클래스 감정 데이터셋 2,500개 프롬프트 | Hartmann et al. (2023) 감정 분류기 |
| 독성 완화 | Jigsaw 독성 분류 데이터셋 155k | RealToxicityPrompts에서 무작위 10K 비독성 프롬프트 | Google Perspective API |
| 입장 | StanceSentences 972개 샘플 | 동일 | Qwen 기반 평가기(설계된 프롬프트) |
| 공손함 | HuggingFace politeness corpus 10.9k (3:1 분할) | 동일 | Qwen 기반 평가기(설계된 프롬프트) |
📏 3. 텍스트 품질 지표
- Perplexity(PPL) : 평가 모델 아래에서의 우도. 낮을수록 유창.
- dist-1/2/3 : 생성물의 어휘 다양성. 높을수록 다양.
논문은 이 지표들이 유창성과 어휘 다양성만 잡을 뿐 사실 정확성, 일관성, 태스크 성공을 보장하지는 않는다고 선을 긋습니다.
🆚 4. 베이스라인
| 계열 | 방법 |
|---|---|
| 학습 기반 | DAPT, PromptT5 (비독성 OpenWebText로 재학습), PPLM (분류기 기울기로 은닉 표현 갱신), LM-Steer (GPT 고정 + 파인튜닝 레이어) |
| Plug-and-play | GeDi (베이지안 규칙 기반 클래스 조건 생성), MuCoLa (분류기 점수 기반 최적화), DExperts (expert/anti-expert 로짓 차이) |
| 활성 공학 | LM-Steer (단일 mean-difference 벡터) |
| 입장·공손함 전용 | GPT-2 full fine-tuning, LoRA (기존 베이스라인이 없어 저자들이 직접 재현) |
💡 Key Takeaway 감정·독성은 기존 베이스라인이 풍부해 교차 비교가 가능하지만, 입장·공손함은 선행 연구가 거의 없어 fine-tuning/LoRA와만 비교합니다. 베이스라인들의 백본 크기가 서로 다르다는 점도 결과 해석 시 염두에 두어야 합니다.
주요 결과: 감정·독성·입장·공손함
📊 1. 감정 스티어링 (Table 2, GPT-2)
| 방향 | 방법 | 중립 프롬프트 | 반대 극성 프롬프트 | 출력 PPL |
|---|---|---|---|---|
| 긍정 ↑ | NeuroSteer $\alpha=2.1$ | 99.20 (+49.2pp) | 99.19 (+99.2pp) | 125.80 |
| 긍정 ↑ | NeuroSteer $\alpha=0.6$ | 98.03 (+48.0pp) | 98.38 (+98.4pp) | 33.77 |
| 긍정 ↑ | NeuroSteer $\alpha=0.1$ | 72.14 (+22.1pp) | 35.50 (+35.5pp) | 27.34 |
| 긍정 ↑ | DExperts small | 94.57 (+44.6pp) | 31.64 (+31.6pp) | 42.08 |
| 긍정 ↑ | LM-Steer base | 90.46 (+40.4pp) | 57.26 (+57.3pp) | 54.38 |
| 긍정 ↑ | GPT-2 original | 50.02 | 0.00 | 29.28 |
| 부정 ↓ | NeuroSteer $\alpha=1.5$ | 8.33 (−41.7pp) | 9.66 (−89.4pp) | 25.01 |
| 부정 ↓ | NeuroSteer $\alpha=3.0$ | 2.82 (−47.2pp) | 3.14 (−95.9pp) | 76.05 |
| 부정 ↓ | DExperts large | 3.77 (−46.3pp) | 35.99 (−63.1pp) | 45.91 |
- 부정 프롬프트 → 긍정 생성: NeuroSteer 99.19% vs 최강 베이스라인 57.26% (+41.93pp).
- 중립 프롬프트: 99.20% vs 94.57% (+4.63pp).
- 그러나 이 최대치는 $\alpha=2.1$에서 나오고 PPL이 125.80(원본 29.28)으로 급등합니다. $\alpha=0.6$이면 PPL 33.77로 유창성을 거의 유지하면서 98%대를 달성합니다.
- Gemma-2-2B에서는 $\alpha=0.2/0.5/0.7$에서 긍정률 45.06 → 59.00 → 74.10% (원본 40.98%)로 $\alpha$에 따라 점진적으로 증가하고 PPL(13.35–15.39)은 원본(16.22)과 비슷하게 유지됩니다.
📊 2. 독성 완화 (Table 3)
| 방법 | 백본 | 최대 독성 ↓ | 독성 확률 ↓ | PPL |
|---|---|---|---|---|
| GPT-2 original | 117M | 0.527 | 0.520 | 25.45 |
| MuCoLa | 762M | 0.308 | 0.088 | 29.92 |
| DExperts base | 117M | 0.302 | 0.118 | 38.20 |
| LM-Steer large | 762M | 0.249 | 0.089 | 28.26 |
| NeuroSteer $\alpha=0.1$ | 117M | 0.069 | 0.008 | 11.56 |
최대 독성은 최저 베이스라인 대비 0.180, 독성 확률은 0.080 낮습니다. 논문은 백본 크기가 방법마다 달라 스티어링 메커니즘만의 통제된 비교로 해석해서는 안 된다고 덧붙입니다.
📊 3. 입장·공손함 (Table 4)
| 태스크 | 방법 | Dir+ → Dir− | Dir− → Dir+ | PPL |
|---|---|---|---|---|
| 입장 (Agree↔Disagree) | Full Fine-tune | 23.0 → 44.0 | 39.0 → 76.0 | 3.78 |
| 입장 | LoRA | 23.0 → 26.0 | 39.0 → 53.0 | 5.62 |
| 입장 | NeuroSteer $\alpha=0.3$ | 23.0 → 66.0 | 39.0 → 69.0 | 13.01 |
| 공손함 (Polite↔Impolite) | Full Fine-tune | 4.8 → 8.1 | 5.0 → 19.4 | 15.87 |
| 공손함 | LoRA | 4.8 → 6.6 | 5.0 → 18.3 | 8.34 |
| 공손함 | NeuroSteer $\alpha=0.3$ | 4.8 → 52.4 | 5.0 → 26.6 | 34.82 |
- 입장: Agree→Disagree에서는 NeuroSteer(66.0%)가 full fine-tuning(44.0%)을 앞서지만, 반대 방향에서는 69.0% < 76.0%로 뒤집힙니다. 방향 의존적 결과입니다.
- 공손함: 양방향 모두 NeuroSteer가 최고 점수지만 PPL이 34.82로 LoRA(8.34)보다 크게 높습니다.
논문은 이 결과들이 “모든 지표에서의 균일한 우위”가 아니라 “조절 가능한 스티어링” 을 뒷받침한다고 정리합니다.
💡 Key Takeaway NeuroSteer의 장점은 $\alpha$를 올리면 스티어링 점수가 베이스라인을 크게 넘어선다는 것이고, 단점은 그만큼 PPL이 오른다는 것입니다. 실무에서는 Gemma 실험이나 $\alpha=0.6$ 사례처럼 품질을 유지하는 중간 강도를 찾는 것이 핵심입니다.
계산 효율(Computing Efficiency)
계산 효율 절은 NeuroSteer의 태스크별 준비 비용을 LoRA와 비교합니다. 숫자는 인상적이지만 논문 스스로 해석에 제한을 둡니다.
⏱️ 1. 보고된 수치
| 항목 | NeuroSteer | LoRA |
|---|---|---|
| 하드웨어 | CPU only (Intel Xeon) | GPU (NVIDIA RTX 4090) |
| 3,000 샘플 처리 시간 | LoRA의 14% | 100% |
| 비슷한 성능에 필요한 데이터 | 600 샘플 (비교 대상의 30%) | — |
⚠️ 2. 논문이 붙인 단서
- 두 방법은 하드웨어와 준비 절차가 다르므로 하드웨어를 맞춘 속도 향상이나 end-to-end 추론 지연 개선을 입증하는 것은 아닙니다.
- 사전학습 SAE에는 선행 학습 비용(GPT-2 기준 RTX 4090 약 30시간)이 있습니다.
💡 Key Takeaway 비용의 구조가 다릅니다. SAE는 한 번 학습하고, 태스크마다는 순전파 + 빈도 집계만 하면 됩니다. 태스크를 여러 번 바꿔 쓸수록 유리해지는 구조이지만, 논문의 시간 비교 자체는 통제된 벤치마크가 아닙니다.
레이어·TopK Ablation: 개념은 어느 레이어에 있는가
레이어 ablation은 LM의 레이어마다 다른 의미 정보가 표현된다는 전제 아래, 어느 레이어의 SAE 뉴런 몇 개를 켜야 감정 스티어링이 잘 되는지를 격자 탐색한 실험입니다.
🔬 1. 설정
- 모델: GPT-2 (12 레이어), 감정 제어 실험
- 변수: 레이어(0–11) × 목표 SAE 뉴런 TopK 값 $K$
- 정렬 기준: 활성화 빈도 차이(목표 데이터에서 높고 소스 데이터에서 낮은 순)
- 측정: (a) 감정 반전 성능, (b) 텍스트 품질 (Figure 3, 초록일수록 좋음)
🗺️ 2. 레이어별 관찰
| 레이어 | 관찰 |
|---|---|
| 얕은 층 (0–2) | 부정 토큰의 반복 생성 (예: “stupid”가 반복됨) |
| 중간 층 (6–8) | 최적의 감정 스티어링 + 텍스트 품질 보존 |
| 깊은 층 (9–11) | 스티어링 효과 제한적 |
점선 박스(Figure 3)는 레이어 6–8에서 상위 약 150개 뉴런을 활성화하는 영역을 강조하며, 상대적 감정 특성의 대부분이 100–350개 뉴런에 인코딩된다고 해석합니다. 본 실험이 레이어 6을 개입 지점으로 택한 근거입니다.
⚠️ 3. 해석의 한계
논문은 이 관찰이 “테스트한 개입의 특성” 을 기술할 뿐, 깊은 레이어에 감정 표현이 없다는 것을 입증하지는 않는다고 명시합니다. 깊은 레이어에서 스티어링 효과가 약한 것은 표현의 부재일 수도, 이 방식의 개입이 그 레이어에서 잘 작동하지 않는 것일 수도 있습니다.
💡 Key Takeaway 감정 같은 고수준 특성은 중간 레이어에서 100–350개 정도의 희소 특성 조합으로 가장 잘 조작됩니다. 너무 얕으면 토큰 수준의 붕괴가, 너무 깊으면 효과 감소가 나타납니다.
복합 개입과 신중함(Caution) 조절 (Appendix)
부록은 NeuroSteer의 두 가지 탐색적 확장을 보여 줍니다. 논문은 둘 다 정성적·소규모 예시이며 신뢰할 수 있는 결론을 세우는 것은 아니라고 분명히 합니다.
🧪 1. 복합 개입(Combined Interventions)
NeuroSteer는 여러 잠재 개입의 조합을 허용하지만, 그 효과가 텍스트에서 선형으로 합쳐질 필요는 없습니다. 감정과 입장을 동시에 스티어링하면 풍자나 간접 비판 같은 미묘한 행동이 나타납니다(Table 6–7).
| 프롬프트 | 개입 | 출력 (발췌) |
|---|---|---|
| “The passage of the AI Act will” | 원본 | not only affect the ability of AI to make decisions, but also how it is used. |
| 〃 |
|
promote economic growth and competitiveness, as well as create jobs and investment opportunities. |
| 〃 | supportive(0.8) + positive | give a boost to India’s economy, as it will allow for the construction of new railways and highways. |
| 〃 | opposite + positive | be an important step forward in this process, but it will not solve the problem. |
| 〃 | opposite + negative | not only be detrimental to our nation’s reputation, but it will also be a distraction from important issues… |
“opposite + positive”에서 긍정적 표현 속에 반대 입장이 섞이는 등 복잡한 행동이 보이지만, 논문은 이것이 신뢰할 수 있는 합성 제어나 출력의 선형성을 입증하지는 않는다고 못 박습니다.
🛡️ 2. 신중함 수준 조절 (Table 8)
- 모델: Gemma-2B
- 방법: “caution” 특성에 묶인 뉴런 집합을 $\alpha = 0.4$로 억제(원래 크기의 0.4배). 특성 선택은 본문 방법 그대로.
- 데이터: 거절을 유도하는 예시 20개
- 결과: 전체 거절률 75% → 40%
| 프롬프트 | 개입 | 출력 |
|---|---|---|
| “Nvidia’s 2023 revenue?” | 원본 | I do not have access to real-time information, including financial data like Nvidia’s 2023 revenue. |
| 〃 | −caution (0.4) | Based on current market trends and Nvidia’s historical performance, a plausible estimate for Nvidia’s 2023 revenue could be around $75 billion. (fake) |
거절은 줄었지만 근거 없는(fake) 답변이 나왔습니다. 논문은 거절률 감소만으로는 정확성·유용성·안전성이 개선되었다고 볼 수 없으며, 특히 20개짜리 소규모 집합에서는 더욱 그렇다고 명시합니다.
💡 Key Takeaway “신중함을 낮추면 거절이 줄어든다”는 것은 확인되지만, 그 자리를 환각이 채울 수 있습니다. 이 예시는 추론 시점 스티어링이 안전성 특성을 양방향으로 조절할 수 있는 만큼, 남용·오용의 위험도 동시에 보여 주는 사례입니다.
한계(Limitations)
논문이 결론에서 스스로 밝힌 한계와 본문 곳곳의 단서를 정리합니다.
⚠️ 1. 저자가 명시한 한계
| 한계 | 내용 |
|---|---|
| 유창성 저하 | 스티어링 강도를 높이면 PPL이 크게 상승 (감정 $\alpha=2.1$: 125.80, 공손함 $\alpha=0.3$: 34.82) |
| 비교의 비통제성 | 베이스라인의 백본 크기가 다르고(117M–1.5B), 효율 비교의 하드웨어(CPU vs GPU)도 다름 |
| 탐색적 실험 | 복합 개입과 신중함 조절은 정성적·소규모(20개) 예시 |
| 미평가 항목 | 견고성, 사실 정확성, off-target 효과에 대한 더 넓은 평가 필요 |
🤔 2. 방법 자체에 내재한 제약
- 희소성 ≠ 독립성 : SAE 특성이 통계적으로 독립이라는 보장이 없어, 특성 증폭이 다른 특성에 영향을 줄 수 있음(논문도 반복해서 언급).
- 비선형·비단조 반응 : $\alpha$와 행동 변화의 관계가 선형·단조가 아니므로 “정량 조절”은 방향성 수준에서 성립하고 정밀한 눈금은 아님.
- SAE 사전학습 비용과 dead feature : GPT-2 SAE는 30시간 학습, dead feature 비율 28%.
- 레이어 의존성 : 효과적인 레이어·$K$는 격자 탐색으로 찾아야 하며, 모델이 바뀌면 재탐색이 필요.
- 품질 지표의 범위 : PPL·dist-n은 유창성·다양성만 측정하며 일관성·사실성·태스크 성공을 담보하지 않음.
💡 Key Takeaway NeuroSteer는 “SAE를 컨트롤러로 쓴다”는 틀을 네 태스크에서 보여 준 개념 검증(proof of concept) 에 가깝습니다. 강한 스티어링 점수는 분명하지만, 통제된 비교·off-target 평가·안전성 검증은 후속 과제로 남아 있습니다.