You know maize mean?
Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models
0. Summary
- 기본 정보 : ArXiv,2026.10.29, Discovering Interpretable Acoustic Features in Autoregressive Voice-Cloning TTS Models
- 연구 배경 : 제로샷 음성 복제(zero-shot voice-cloning) TTS 모델은 몇 초의 참조 음성만으로 처음 듣는 화자의 목소리를 합성하지만, 모델이 어떤 음향 속성을 내부에 표현하고 실제로 사용하는지는 알려져 있지 않다. 음성은 화자 정체성, 음색, 감정, 속도가 서로 얽혀 있어 텍스트보다 개념 분리가 어렵다. 기존 음성 SAE 연구는 인코더를, 기존 TTS 해석 연구는 음성 복제가 아닌 모델의 알려진 개념만 다뤘고, AudioSAE 류의 자연어 라벨링은 정성적 검토에 머물렀다.
- 제안 방법 : 자기회귀 백본의 잔차 스트림(residual stream) 활성을 TopK SAE, PCA, 무작위 방향, 미학습 SAE 네 가지 특징 집합으로 변환하고, (1) 알려진 개념에 대한 희소 프로빙(sparse probing), (2) 생성 중 활성 조향(steering), (3) 오디오 LLM(Gemini)을 이용한 정량적 자동 해석가능성(auto-interpretability)의 세 축으로 평가한다. 주 모델은 Qwen3-TTS-12Hz-0.6B-Base이고, 프로빙·조향은 Fish S1-mini, Fish S2 Pro, Higgs TTS 2, Higgs TTS 3, CosyVoice2-0.5B까지 총 6개 모델로 확장한다. 추출기 기반 개념 55개와 사람 라벨 개념 21개를 프로빙하고 추출기 개념 55개 전부를 조향한다.
- 발견 사실 : 모델들은 피치, 에너지, 잡음, 억양, 감정을 인코딩하지만, 두 개 특징만으로 예측되는 개념은 일부(피치·에너지·성별·속삭임)뿐이다. 전체 특징을 쓰는 프로빙에서는 PCA와 무작위 방향이 SAE보다 추출기 개념을 더 잘 복원하고, 사람 라벨 개념의 희소 복원에서는 SAE가 6개 모델 모두에서 PCA를 앞선다. 조향에서는 무작위 방향이 프로빙 성능과 달리 거의 효과가 없고, SAE는 PCA보다 부작용(off-target change)이 작으며, 지도형 DiffMean 기준선이 가장 부작용이 작다. 강한 프로빙이 강한 조향으로 이어지지 않는다(Spearman 상관 0.20/0.22, Fish에서는 -0.07/0.00). 자동 해석가능성에서 SAE는 500개 중 92개가 검증을 통과했고(무작위 방향 17, PCA 1), 전체 층으로 확장하면 684개의 자동 검증 특징이 나왔다.
- 핵심 기여 :
- 특징 기반 해석 프레임워크 : 제로샷 음성 복제 TTS를 대상으로 SAE·PCA·무작위 특징을 희소 프로빙과 생성 중 조향으로 비교하는 통일된 파이프라인을 제안했다. 추출기 개념 55개, 사람 라벨 개념 21개를 프로빙하고 추출기 개념 전부를 조향했다.
- 아키텍처 간 일반화 검증 : Qwen3-TTS에 대한 상세 연구를 Fish·Higgs·CosyVoice2 계열 5개 모델로 확장해, 파이프라인과 발견이 여러 아키텍처에서 재현되는지 검사했다.
- 정량적 자동 해석가능성 : 라벨된 특징을 Coherence, Label Fit, Label Stability 세 지표로 검정하는 파이프라인을 개발해 Qwen3-TTS에서 화자 군집, 발화 스타일, 녹음 조건에 걸친 684개의 자동 검증 SAE 특징을 발견했다. 사람 평가로 검증된 특징의 Label Fit이 더 높음(64.4% vs 51.0%)을 확인했다.
Abstract 쉬운 설명(Gemini)
관련 개념
제로샷 음성 복제 TTS와 세 가지 해석 질문
제로샷 음성 복제 TTS 는 몇 초의 프롬프트 음성을 받아 처음 보는 화자의 목소리로 임의의 텍스트를 읽어 주는 모델입니다. 이 논문이 다루는 모델은 모두 자기회귀(autoregressive) 구조로, 참조 텍스트·목표 텍스트·참조 음성을 프리필(prefill)한 뒤 목표 음성의 코덱 토큰을 순차 생성하고, 마지막에 디코더가 토큰을 파형으로 바꿉니다.
🎯 1. 세 가지 질문
음성에는 화자 정체성, 음색, 감정, 속도가 한꺼번에 얽혀 있습니다. 저자들은 다음을 묻습니다.
| 질문 | 평가 방법 |
|---|---|
| 모델은 어떤 개념을 표현하는가 | 알려진 개념에 대한 프로빙(probing) |
| 그 개념은 몇 개의 특징만으로 예측되고, 생성 중 조향(steering)될 수 있는가 | 희소 프로빙 + 활성 조향 |
| 미리 정의된 라벨 밖에서 특징은 무엇을 잡아내는가 | 정량적 자동 해석가능성(auto-interpretability) |
📚 2. 선행 연구와의 차이
| 선행 연구 | 대상 | 이 논문의 차이 |
|---|---|---|
| AudioSAE (Aparin et al. 2026) | 음성 인코더, 자연어 라벨의 정성적 검토 | 생성형 음성 복제 모델, 라벨을 정량적으로 검정 |
| Varshavsky-Hassid et al. 2024, Lenglet et al. 2026 | 음성 복제가 아닌 TTS의 알려진 개념 | 제로샷 음성 복제 모델의 알려진 개념 + 새로운 개념 |
| CoCoEmo, EmoSteer-TTS | 지도형 감정 방향으로 조향 | 비지도 특징 사전으로 조향 |
| CosyVoice3 SAE 연구 (Koriagin et al. 2026, 동시기) | 선택된 3개 개념 조향 | 55개 추출기 개념 전부 조향, 6개 모델 비교, 부작용·음질까지 측정 |
💡 Key Takeaway 이 논문은 텍스트 LLM에서 발전한 SAE 평가 도구(희소 프로빙, 조향, 자동 해석)를 생성형 음성 복제 TTS 에 그대로 옮겨 적용하고, 그 도구들이 음성 영역에서 어디까지 통하는지를 묻습니다.
연구 대상 모델 6종과 활성 추출
분석은 모든 모델에서 자기회귀 백본의 잔차 스트림 으로 제한됩니다. 디코더나 플로우 모델은 보지 않습니다.
🏗️ 1. 모델 사양
| 모델 | 크기 | 백본 층 수 | 은닉 차원 $d$ | 코덱 구조 |
|---|---|---|---|---|
| Qwen3-TTS-12Hz-0.6B-Base (주 모델) | 0.6B | 28 | 1024 | 16개 코드북, 12Hz. 백본이 첫 코드북 토큰을 예측하고 5층 MTP(multi-token prediction) 모듈이 나머지 15개를 예측 |
| Fish S1-mini | 0.5B | 28 | 1024 | 10개 코덱 스트림. 백본이 첫 스트림, fast transformer가 나머지 9개 예측 |
| Fish S2 Pro | 4B 백본 + 400M fast transformer | 36 | 2560 | 위와 동일 |
| Higgs TTS 2 | 5.8B (언어 모델 3.6B + 오디오 전용 FFN 2.2B) | 28 | 3072 | 8개 스트림을 백본에서 직접 예측, 스트림을 생성 스텝에 걸쳐 오프셋 |
| Higgs TTS 3 | 4B | 36 | 2560 | 위와 동일 |
| CosyVoice2-0.5B | 0.5B | 24 | 896 | 단일 스트림 의미 토큰 예측. 조건부 플로우 모델이 멜 특징으로 변환 후 보코더. 플로우 모델은 참조 음성 토큰과 참조 멜 특징도 받음 |
Qwen3-TTS를 주 모델로 고른 이유는 텍스트 SAE와의 구조적 호환성, 경쟁력 있는 TTS 성능, 명시적 스타일 지도(supervision)가 없다는 점입니다.
🔬 2. 활성 추출
| 항목 | 설정 |
|---|---|
| Qwen3-TTS 추출 층 | ${3, 9, 14, 19, 26}$ (초기, 1/3 깊이, 1/2 깊이, 2/3 깊이, 최종 근처) |
| 다른 모델 추출 층 (Qwen3-TTS 19층과 비슷한 상대 깊이 한 층만) | Fish S1-mini·Higgs TTS 2: 19층, Fish S2 Pro·Higgs TTS 3: 24층, CosyVoice2: 16층 |
| 입력 | 각 발화의 전사와 관측 음성을 토큰화해 교사 강제(teacher-forced) 순전파, 음성 영역 활성만 추출 |
| 서브샘플링 | 특징 적합 시 stride-3 토큰 서브샘플링, 그 외에는 없음 |
💡 Key Takeaway 프로빙·조향 비교는 Qwen3-TTS는 다섯 층, 나머지 모델은 상대 깊이 약 2/3의 한 층 에서만 이뤄집니다. 따라서 모델 간 차이는 “그 층에서의” 차이이며, 저자들도 뒤에서 “studied layers” 라는 단서를 붙입니다.
데이터: 메인 코퍼스와 평가 코퍼스
📦 1. 메인 코퍼스 (Table 2)
깨끗한 오디오북, 야생(in-the-wild) 음성, 억양, 감정 데이터를 섞은 3.3k 시간 코퍼스입니다.
| 데이터셋 | 발화 수 | 시간 | 화자 ID 수 |
|---|---|---|---|
| LibriTTS-R | 230.7k | 489.5 | 2.3k |
| MSP-Podcast | 157.8k | 247.9 | 54.3k |
| Emilia | 766.0k | 2.0k | 88.8k |
| VCTK | 49.0k | 55.4 | 109 |
| VoxCeleb | 234.4k | 500.0 | 5.6k |
| ESD | 5.5k | 5.4 | 10 |
| RAVDESS | 1.4k | 1.5 | 24 |
| EARS | 11.4k | 45.8 | 75 |
| 합계 | 1.5M | 3.3k | 151.2k |
화자 ID는 코퍼스별 ID를 씁니다. Emilia는 배치 로컬 화자 ID, MSP-Podcast는 주석된 화자 ID가 있으면 그것을, 없으면 발화 ID를 씁니다. 분할은 ID를 함께 묶습니다.
✂️ 2. 분할 (Table 3)
화자 ID 기준 85%/15%로 나눕니다.
| 분할 | 발화 수 | 시간 | 화자 ID 수 | 용도 |
|---|---|---|---|---|
| 특징 적합(feature-fitting) | 1.2M | 2.8k | 128.1k | SAE 학습, PCA 적합, 나머지 특징 집합 생성 |
| 분석(analysis) | 218.4k | 506.1 | 23.2k | 모든 평가 |
Qwen3-TTS와 CosyVoice2는 특징 적합 분할 전체를, Fish·Higgs 모델은 계산 제약으로 20% 무작위 부분집합 을 씁니다.
🏷️ 3. 평가 코퍼스 (Table 4)
| 코퍼스 | 발화 수 | 시간 | 화자 수 | 용도 |
|---|---|---|---|---|
| ParaSpeechCaps 태그 개념 집합 (PSC tags) | 102.4k | 224.3 | 566 | 사람 라벨 개념 프로빙 |
| 조향 평가 집합 | 100 | 0.22 | 32 | 조향. 소스 발화 100개 + LibriTTS-R test-clean에서 뽑은 목표 전사 100개 |
PSC 태그는 ParaSpeechCaps-Base에서 양성 예시 500개 미만인 태그를 걸러 35개 개념을 남기고, 70/10/20 화자 분할 후 양성 테스트 화자가 5명 이하인 개념을 다시 걸러 최종 21개 가 됩니다.
💡 Key Takeaway 특징 적합과 분석이 화자 단위로 분리 되어 있어, SAE가 특정 화자를 외워서 프로빙 점수를 올리는 경로는 차단됩니다. 반면 Fish·Higgs의 SAE는 데이터의 20%만으로 학습되었으므로 모델 간 SAE 품질 비교에는 이 비대칭이 깔려 있습니다.
특징 집합: TopK SAE, PCA, 무작위 방향, 미학습 SAE
Figure 2가 보여주듯 잔차 스트림 활성은 네 가지 방식으로 발화 수준 특징 으로 변환됩니다.
🧮 1. TopK SAE (Eq. 1–3)
활성 $\mathbf{x} \in \mathbb{R}^{d}$ 에 대해
$$\mathbf{z} = W_{\mathrm{enc} }(\mathbf{x} - \mathbf{b}{\mathrm{dec} }) + \mathbf{b}{\mathrm{enc} }$$
$$\mathbf{f} = \mathrm{ReLU}\bigl(\mathrm{TopK}(\mathbf{z})\bigr)$$
$$\hat{\mathbf{x} } = W_{\mathrm{dec} }^{\top}\mathbf{f} + \mathbf{b}_{\mathrm{dec} }$$
$\mathrm{TopK}$ 는 $\mathbf{z}$ 의 가장 큰 $K$ 개만 남기고 나머지를 0으로 만듭니다. $W_{\mathrm{enc} }, W_{\mathrm{dec} } \in \mathbb{R}^{M \times d}$ 이고 $W_{\mathrm{dec} }$ 의 각 행이 디코더 방향입니다. 초기 SAE의 $L_1$ 패널티 대신 TopK의 하드 희소성을 씁니다. 손실은 재구성 오차에 죽은 특징(dead-feature) 보조 손실을 더한
$$\mathcal{L} = |\mathbf{x} - \hat{\mathbf{x} }|{2}^{2} + \alpha \mathcal{L}{\mathrm{aux} }, \quad \alpha = 1/32$$
입니다. 최근 5000 스텝 동안 활성화되지 않은 특징을 죽은 것으로 보고, 보조 손실은 죽은 특징에게 현재 잔차 $\mathbf{x} - \hat{\mathbf{x} }$ 를 재구성하게 해 살아 있는 특징이 설명하지 못한 분산에 대한 기울기를 줍니다.
| 항목 | Qwen3-TTS | Fish·Higgs·CosyVoice2 |
|---|---|---|
| 사전 크기 $M$ | 층 ${3,9,14,19,26}$ 에 ${d, 2d, 2d, 4d, 12d}$ (스윕으로 선택) | $4d$ (Qwen3-TTS 19층을 따름, 별도 스윕 없음) |
| $K$ | 96 | 96 |
| 최적화 | Adam, lr $5\times 10^{-4}$, 배치 4096 토큰, 선형 워밍업 5000 스텝, 30 에폭, 발화 1% 검증 홀드아웃 | Adam, lr $5\times 10^{-4}$, 배치 4096, 워밍업 2000 스텝, 100000 스텝, 재구성 검증 최고 체크포인트 선택 |
| 기타 | 디코더 방향 단위 노름 투영, 디코더 방향에 평행한 기울기 성분 제거, 인코더를 디코더 방향으로 초기화, 입력을 $\mathbb{E}[|s\mathbf{x}|{2}^{2}] = d$ 가 되게 스칼라 $s$ 로 정규화, $\mathbf{b}{\mathrm{dec} }$ 를 기하 중앙값으로 초기화 | Higgs TTS 3은 학습 후반에 악화되어 42000 스텝 체크포인트 사용 |
발화 수준 특징은 토큰에 대한 max-pooling 으로 얻습니다(AudioSAE와 같은 방식).
📐 2. 진단 지표 (Eq. 5)
설명 분산(explained variance, EV)은
$$\mathrm{EV} = 1 - \frac{\sum_{i}|\mathbf{x}{i} - \hat{\mathbf{x} }{i}|{2}^{2} }{\sum{i}|\mathbf{x}{i} - \bar{\mathbf{x} }|{2}^{2} }$$
이고, 특징 $j$ 의 밀도는 $p_{j} = \frac{1}{N}\sum_{i}\mathbf{1}[f_{ij} > 0]$, 죽은 특징 비율(DFF)은 $\frac{1}{M}\sum_{j}\mathbf{1}[p_{j} = 0]$ 입니다.
🔍 3. 하이퍼파라미터 스윕 (Appendix B.1, Figure 7)
10 에폭 Qwen3-TTS 실행으로 $M \in {d, 2d, 4d, 8d, 12d, 16d}$, $K \in {32, 64, 96, 128, 256}$ 을 비교했습니다. $K \in {32, 64, 96}$ 에서 DFF가 대략 0.15 아래로 유지되는 $M$ 을 고르는 규칙을 썼고, 3층만 이 규칙을 깨끗이 만족하지 못해 가장 작은 $M = 1024$ 를 택했습니다(더 큰 $M$ 은 DFF를 악화). 결과적으로 초기 층은 작은 사전, 후기 층은 넓은 사전 을 선호합니다. $K$ 는 EV-vs-$K$ 곡선의 어깨점으로 96을 택했습니다. EV는 $K$ 와 함께 계속 오르지만, 일부 층에서 $K = 128$ 부터 DFF가 뛰었기 때문입니다.
🎲 4. 다른 특징 집합
| 특징 집합 | 구성 |
|---|---|
| PCA | 특징 적합 분할의 20% 무작위 부분집합에서 mean-pooling 한 활성으로 주성분 적합 |
| 무작위 방향 | mean-pooling 한 활성을 무작위 단위 벡터에 투영. 각 층의 SAE 폭과 개수를 맞춤 |
| 미학습 SAE | 학습된 SAE와 같은 구조의 초기화 상태 SAE |
💡 Key Takeaway SAE는 토큰 단위 활성에 max-pooling, PCA와 무작위 방향은 mean-pooling 활성에 투영 이라는 풀링 방식의 차이가 있습니다. 네 특징 집합의 비교에는 이 설계 차이가 함께 들어 있다는 점을 염두에 둘 필요가 있습니다.
알려진 개념 라벨과 희소 프로빙 설정
Figure 1의 파이프라인은 Wu et al. (2025, AxBench)에서 영감을 받았고, 희소 top-$k$ 프로빙은 Karvonen et al. (2025, SAEBench)을 따릅니다.
🎚️ 1. 추출기 개념 (Table 5)
메인 코퍼스 분석 분할에 자동 추출기를 돌려 스칼라 값을 얻습니다. 각 추출기는 값과 신뢰도 마스크를 함께 내고, 신뢰도가 낮거나 값이 없거나 유한하지 않은 행은 프로빙에서 제외합니다.
| 계열 | 추출기 | 사용 스칼라 |
|---|---|---|
| 피치·유성음 | PENN | f0 평균, 유성 비율, 평균 유성 구간 길이(초), f0 기울기 |
| 에너지·스펙트럼 | librosa RMS, 스펙트럼 중심 | RMS 평균, RMS 기울기, 스펙트럼 중심 평균 |
| 타이밍 | WebRTC VAD, g2p 발화 속도, 매니페스트 길이 | 휴지 비율, 평균 휴지 길이(초), 발화 속도, 길이 |
| 녹음 품질 | Brouhaha, librosa STFT 스펙트럼 기울기 | SNR, C50, 스펙트럼 기울기 |
| 음질(voice quality) | Praat/Parselmouth | 지터(local), 시머(local), HNR(dB) |
| 포먼트 | Praat/Parselmouth | F1·F2·F3 중앙값 |
| 성별 | wav2vec2/XLS-R 성별 분류기 | 남성 확률 |
| 감정 | emotion2vec, MSP-DIM | emo2vec happy, emo2vec sad, arousal, valence |
| 억양 | VoxProfile/Whisper | 동아시아, 영국, 게르만, 북미, 오세아니아, 로망스, 스코틀랜드 |
🔀 2. 이진화
| 개념 종류 | 양성 | 음성 |
|---|---|---|
| 양방향 스칼라 (피치 등) | 신뢰 가능 발화의 상위·하위 20% 꼬리 → 고꼬리(high-tail)·저꼬리(low-tail) 두 개념 | 꼬리 밖 발화에서 양성 수에 맞춰 무작위 샘플 |
| emotion2vec·억양 점수 | 상위 5% 꼬리만(고꼬리 개념만) | 같은 계열의 다른 클래스에서 고신뢰 양성 |
| 사람 라벨 태그 | 태그된 발화 | 나머지 |
이렇게 해서 추출기 개념 55개 와 사람 라벨 개념 21개 가 나옵니다. 각 이진 데이터셋은 화자 ID 기준 70%/10%/20%로 train/val/test를 나눕니다.
21개 ParaSpeechCaps 태그는 다음과 같습니다.
| 종류 | 태그 |
|---|---|
| 내재적(intrinsic) | American, authoritative, booming, British, crisp, deep, flowing, hesitant, husky, loud, nasal, raspy, shrill, silky, slurred, stammering |
| 상황적(situational) | confused, disgusted, happy, saddened, whispered |
사람 라벨 개념은 프로빙에만 쓰고 조향에는 쓰지 않습니다. 생성된 파형에 이런 태그를 신뢰성 있게 매기려면 새 사람 주석이 필요하기 때문입니다.
📊 3. 특징 선택과 프로브 학습
| 단계 | 내용 |
|---|---|
| 특징 순위 | train 분할에서 양성-음성 평균 활성 차이의 절댓값으로 순위. 동점은 특징 인덱스 |
| 사전 필터 | 프로브 학습 발화의 0.1% 미만에서만 0이 아닌 특징은 제외 |
| 프로브 | 상위 $k \in {1, 2, 5, 10, \mathrm{all}}$ 특징(train 평균·표준편차로 표준화)에 $\ell_2$ 정규화 로지스틱 회귀. sklearn liblinear, $C = 1.0$, 최대 1000 반복 |
| 임계값 | val F1 최대화로 선택(동점 시 정밀도, 그다음 가장 작은 임계값) |
| 추가 $k$ | Qwen3-TTS와 CosyVoice2는 $k \in {20, 50, 100, 200}$ 도 평가 |
모든 모델이 같은 분할을 씁니다. 모델 간 비교는 Qwen3-TTS 19층과 다른 모델의 지정 층에서 합니다.
📏 4. 정규화 F1
개념마다 양성 비율이 다르므로 정규화 F1을 씁니다. 항상 양성으로 분류하는 분류기의 test F1을 $\mathrm{F1}_{\mathrm{null} }$ 이라 할 때
$$\mathrm{nF1}{k} = \frac{\mathrm{F1}{k} - \mathrm{F1}{\mathrm{null} } }{1 - \mathrm{F1}{\mathrm{null} } }$$
| 지표 | 정의 |
|---|---|
| 복원 가능성(Recoverability) | $\mathrm{nF1}_{k=\mathrm{all} }$. 전체 특징 집합이 개념을 얼마나 잘 복원하는가 |
| 희소 복원 가능성(Sparse recoverability) | $\mathrm{nF1}_{k=2}$. 특징 2개 만으로 얼마나 복원하는가 |
💡 Key Takeaway 이 논문의 “프로빙”은 두 개의 다른 질문입니다. 전체 특징 프로빙은 “정보가 표현에 있는가”, top-2 프로빙은 “그 정보가 소수 특징에 모여 있는가” 입니다. SAE에 기대하는 것은 후자입니다.
희소 프로빙 결과
Figure 3(a)는 Qwen3-TTS 19층에서 SAE 복원 가능성 기준 상위 10개 추출기·사람 라벨 개념의 전체 특징 nF1과 top-2 nF1을, Figure 3(b)는 6개 모델에서 55개 추출기 개념과 21개 사람 라벨 개념의 평균 nF1을 보여줍니다. 전체 목록은 Appendix E.1(Figure 10, 11)에 있습니다.
🔊 1. 어떤 개념이 복원되는가
| 구분 | 결과 |
|---|---|
| 추출기 개념 | 폭넓게 복원됨. 길이, 에너지, 피치, 스펙트럼 기울기, 성별 이 가장 강함 |
| 희소 복원이 강한 추출기 개념 | 피치, 에너지, 성별 |
| 전체 특징으로만 잘 되는 추출기 개념 | 발화 속도, 억양, 다수의 스펙트럼 속성 |
| 사람 라벨 개념 | 일관성이 떨어짐. 억양과 일부 스타일 만 복원됨 |
| 속삭임(whispered) | 모든 모델에서 SAE 희소 복원이 강함 |
| 영국 억양(British) | Fish·CosyVoice2에서 SAE 희소 복원이 Qwen3-TTS 19층보다 좋음. Qwen3-TTS는 26층에서 개선(Appendix E.3) |
⚖️ 2. 특징 집합 간 비교 (Figure 3(b))
| 비교 | 결과 |
|---|---|
| 추출기 개념, 전체 특징 | PCA와 무작위 방향이 SAE보다 높음 (모델 전반) |
| 사람 라벨 개념, top-2 | SAE가 PCA보다 높음 (6개 모델 모두) |
| 추출기 개념, top-2 | SAE가 앞서는 것은 Qwen3-TTS에서만 |
Appendix E.2(Figure 12, 13)에 따르면 추출기 개념 예측은 6개 모델·4개 방법 모두에서 $k$ 가 늘수록 좋아지고, 사람 라벨 개념에서는 $k = 2, 5, 10$ 에서 SAE가 6개 모델 모두 PCA를 앞섭니다.
🧭 3. 모델 간 비교
| 비교 | 결과 |
|---|---|
| 추출기 개념 전체 특징 nF1 | Qwen3-TTS, Fish, Higgs가 대체로 비슷 |
| top-2 평균 nF1 | Qwen3-TTS와 Fish가 Higgs·CosyVoice2보다 높음 |
| CosyVoice2 | 전체 특징 nF1도 낮음, 특히 에너지·스펙트럼 개념. 길이와 발화 속도는 잘 예측됨 |
📈 4. 층별 경향 (Appendix E.3, Figure 14)
Qwen3-TTS SAE 특징 기준으로, 추출기 개념은 초기 층에서 이미 복원 되지만 희소 복원은 후기 층에서 가장 강합니다. 사람 라벨 개념은 두 지표 모두 초기에서 후기로 갈수록 개선됩니다. SAE top-2 예측은 추출기 개념에서 19층, 사람 라벨 개념에서 26층 에서 정점을 찍습니다.
💡 Key Takeaway “표현에 정보가 있는가”에서는 PCA나 무작위 방향도 충분하고 SAE가 오히려 뒤처집니다. SAE의 장점은 사람이 붙인 스타일·억양 라벨을 두 개 특징으로 읽어낼 때 드러납니다. 텍스트 LLM에서 보고된 “단순 기준선이 강하다”는 결과(AxBench)가 음성에서도 재현되는 셈입니다.
조향(steering) 설정
조향은 알려진 개념과 연관된 특징이 생성에 인과적으로 영향을 주는지 묻습니다. 55개 추출기 개념 전부를 상위 2개 SAE·PCA·무작위 특징으로 조향합니다. 학습을 통한 스타일 조건화(style tokens, ParaSpeechCaps 류)가 아니라 추론 시 개입 입니다.
⚙️ 1. 생성 설정
각 예시는 소스 오디오·전사와 목표 전사의 쌍입니다. 소스로 프리필한 뒤, 생성 중 한 층의 잔차 스트림에 $\lambda$ 배의 조향 벡터를 더합니다. Qwen3-TTS에서는 균일한 조향이 시간에 따라 누적 되었기 때문에(예: 피치가 점점 올라감), 개입을 예상 생성 길이에 걸쳐 선형으로 0까지 감쇠시킵니다. 생성 스텝 $t$ 에서
$$\alpha_{t} = \max(0, 1 - t/T)$$
를 곱하며, $T$ 는 목표/소스 전사의 공백 제외 문자 수 비율에 소스 프롬프트 코덱 토큰 수를 곱해 추정합니다. 개입은 생성 토큰 스텝에만 적용하고 프리필은 건드리지 않습니다. 같은 100개 예시에 대해 $\lambda = 1$ 로 비조향·조향 음성을 생성하며, Qwen3-TTS는 19층과 26층, 다른 모델은 지정 층을 씁니다.
🧭 2. 조향 벡터 (Appendix C.2)
SAE 조향 벡터는
$$\Delta_{c}(\lambda) = \lambda \sum_{j \in J_{c} } \sigma_{j} s_{j} W_{\mathrm{dec}, j} / s_{\mathrm{in} }$$
입니다. $J_{c}$ 는 희소 프로빙 상위 2개 특징, $\sigma_{j}$ 는 특징의 캐시된 0이 아닌 활성 표준편차, $s_{j} \in {-1, 1}$ 은 train 분할의 연관 부호, $W_{\mathrm{dec}, j}$ 는 SAE 디코더 방향, $s_{\mathrm{in} }$ 은 SAE 입력 스케일입니다. PCA와 무작위 방향은 $W_{\mathrm{dec}, j}/s_{\mathrm{in} }$ 자리에 해당 단위 기저 벡터를 넣습니다. 선행 연구가 조향 강도를 튜닝하는 것과 달리 여기서는 표준편차 스케일링으로 고정합니다.
지도형 DiffMean 토플라인 (Marks and Tegmark 2024)은
$$\Delta_{c}(\lambda) = \lambda \sigma_{c} v_{c}$$
로, $v_{c}$ 는 양성·음성 train 행 평균 은닉 상태 차이를 단위 정규화한 것, $\sigma_{c}$ 는 그 축을 따른 train 행 표준편차입니다.
📏 3. 평가 지표
조향 전후 파형의 추출기 점수 변화를 각 개념의 분석 분할 95–5 백분위 범위 로 정규화합니다. 측정과 변화를 클리핑하지 않으므로 점수가 1을 넘을 수 있습니다.
| 지표 | 정의 |
|---|---|
| Target Change | 의도한 변화. 발화별 부호 있는 정규화 변화의 중앙값, 요청 방향이 양수 |
| Off-target change | 부작용. 보호 개념(protected concept)마다 발화별 절대 정규화 변화의 중앙값을 구한 뒤 개념들에 대한 중앙값 |
| Quality | 짝지은 평균 $\Delta$WER (퍼센트포인트, Whisper large-v3)과 $\Delta$UTMOS |
보호 개념은 목표 스칼라와, 분석 분할에서 목표와 절대 Spearman 상관 $\geq 0.35$ 인 개념을 제외한 비목표 개념입니다. 같은 스칼라의 고/저 라벨은 하나의 보호 속성으로 셉니다. 모델 비교와 강도 스윕은 개념별 점수를 동일 가중 평균하며(고/저 방향 분리), 누락 점수는 제외하고, 보호 속성 중 유효 쌍이 없는 것이 하나라도 있으면 off-target change를 생략합니다.
🎛️ 4. 강도 스윕 대상
Qwen3-TTS 19층과 26층에서 $\lambda \in {0.5, 0.75, 1.0, 1.25}$ 를 100개 예시에 스윕합니다. 두 층·모든 방법이 같은 9개 목표 를 씁니다. 길이 ↑, F0 평균 ↑/↓, 남성 확률 ↑/↓, 휴지 길이 ↑, RMS 평균 ↑/↓, SNR ↓.
💡 Key Takeaway 조향 평가에서 중요한 설계는 두 가지입니다. (1) 프로빙으로 고른 상위 2개 특징을 그대로 조향에 쓰므로 “프로빙이 찾은 특징이 인과적인가”를 직접 검사하고, (2) 부작용을 상관이 높은 개념을 뺀 보호 개념에서만 재서, 목표와 물리적으로 연동된 변화(예: RMS를 올리면 SNR도 변함)는 부작용으로 세지 않습니다.
조향 결과
Figure 4는 55개 추출기 개념의 평균으로 모델을 비교하고, Figure 5는 Qwen3-TTS 19층에서 SAE Target Change 상위 10개 개념을, Figure 6은 Qwen3-TTS 강도 스윕을 보여줍니다. 확장 결과는 Appendix C.3(Figure 8, 9)에 있습니다. 사람 라벨 개념은 조향에서 제외됩니다.
🧪 1. 특징 집합 간 비교
| 관찰 | 내용 |
|---|---|
| 강도 증가 | SAE, PCA, DiffMean 모두 강도에 따라 Target Change 증가. 동시에 off-target change가 늘고 때로 음질 저하 (Figure 6) |
| 무작위 방향 | 프로빙 성능은 경쟁력 있었지만 Target Change는 거의 0 |
| 부작용 순위 (Qwen3-TTS·Fish) | 지도형 DiffMean이 가장 작고, 그다음 SAE, 그다음 PCA |
| 음질 | SAE가 PCA보다 $\Delta$WER·$\Delta$UTMOS 비용이 작음. DiffMean은 UTMOS 하락이 더 작음 (Figure 4) |
Figure 6의 요약: SAE·PCA·DiffMean은 강도와 함께 목표 변화가 늘고 무작위 방향은 효과가 없으며, SAE는 PCA보다 off-target change가 낮지만 WER/UTMOS 비용을 치릅니다.
🎵 2. 개념별 결과 (Figure 5)
| 잘 되는 개념 | 설명 |
|---|---|
| RMS, 저SNR, 피치, 스펙트럼·음질 속성 | SAE Target Change가 가장 큼 |
| 저SNR·RMS의 음질 비용 | 어느 정도 예상된 것. 저SNR 조향은 잡음을 더해야 하고, RMS 개입은 음성을 매우 크거나 작게 만듦 |
| 스펙트럼·음질 효과 | Fish에서도 나타남 |
| 잘 안 되는 개념 | 설명 |
|---|---|
| 억양·감정 | 대부분의 SAE 변화가 작음 |
| 타이밍 | 결과가 엇갈림 |
🏗️ 3. 모델 간 비교
| 모델 | 결과 |
|---|---|
| Qwen3-TTS, Fish | SAE·PCA·DiffMean 평균 Target Change가 큼 |
| Higgs TTS 2, CosyVoice2 | 평균 Target Change가 작음 |
| Higgs TTS 2 세부 | SAE 피치 조향은 약하고 PCA·DiffMean이 더 효과적. SAE는 대신 RMS와 포먼트를 조향 |
| Higgs TTS 3 | SAE 조향이 음성을 심하게 망가뜨림 (Figure 9, 별도 축에 표시). Hollow marker는 추출기 측정 불가로 목표 51/55, off-target 31/55 점수만 사용. 음질 평균은 망가진 음성 포함 55/55 유지 |
Figure 9는 추가로 더 큰 off-target change(보호 개념 중앙값의 90 백분위)와 음질 손실(발화 수준 $\Delta$WER/$\Delta$UTMOS의 90/10 백분위)도 보여줍니다.
⏱️ 4. 시간 누적 현상
Qwen3-TTS의 균일 조향은 시간에 따라 누적될 수 있었고(피치가 점진적으로 상승), 이것이 감쇠 스케줄의 동기였습니다. 저자들은 이 일화가 모델이 피치를 발화 수준이 아니라 국소적으로 인코딩할 가능성을 시사하며, 시간에 따라 변하는 제어의 가능성을 연다고 봅니다.
💡 Key Takeaway 조향에서는 프로빙과 순위가 뒤집힙니다. 프로빙에서 강했던 무작위 방향은 조향에서 무력하고, SAE는 PCA보다 깨끗한 조향(부작용·음질 비용이 작음)을 줍니다. 다만 가장 깨끗한 것은 지도형 DiffMean이며, 효과는 모델·개념·층에 크게 의존합니다.
프로빙과 조향의 불일치
이 논문의 반복되는 메시지는 “강한 프로빙이 강한 조향을 보장하지 않으며 그 역도 성립하지 않는다” 입니다.
📉 1. 상관 수치 (Appendix C.2)
55개 목표에 대해 SAE top-2 nF1과 Target Change의 Spearman 상관은
| 모델·층 | $\rho$ |
|---|---|
| Qwen3-TTS 19층 | 0.20 |
| Qwen3-TTS 26층 | 0.22 |
| Fish S1 | -0.07 |
| Fish S2 | 0.00 |
Qwen3-TTS에서는 약한 양의 상관, Fish에서는 사실상 무상관입니다.
🔄 2. 구체적 사례
| 사례 (Qwen3-TTS) | 프로빙 | 조향 |
|---|---|---|
| 길이(duration), 19층 | 희소 복원 강함 | top-2 SAE 조향으로 거의 변하지 않음 |
| 스펙트럼 중심, 26층 | 희소 복원 약함 | 조향으로 증가함 |
💡 Key Takeaway 특징이 개념을 “읽어내는” 능력(상관)과 개념을 “바꾸는” 능력(인과)은 별개의 성질입니다. 음성 복제 TTS에서 SAE 특징을 제어 손잡이로 쓰려면 프로빙 점수가 아니라 조향 실험 으로 직접 골라야 한다는 결론이 따라옵니다.
정량적 자동 해석가능성 파이프라인
알려진 개념 평가는 미리 정한 라벨만 봅니다. 그 밖의 모델 행동을 보기 위해 저자들은 Bills et al. (2023)식 자동 해석을 오디오 LLM 으로 수행합니다. API 비용 때문에 Qwen3-TTS에만 적용합니다. AudioSAE가 자연어 라벨을 정성적으로 쓴 것과 달리, 여기서는 라벨을 세 정량 지표로 평가합니다.
🎯 1. 특징·발화 샘플링
| 항목 | 설정 |
|---|---|
| 층 | Qwen3-TTS 19층, 분석 분할 |
| 특징 수 | 집합당 500개 무작위 샘플. 적격 SAE 특징 3583개(4096개 중), PCA 1024개, 무작위 방향 4096개에서 추출 |
| 적격 조건 | 활성·대조 후보가 각각 20개 이상 |
| SAE 활성/대조 | 0이 아닌 활성을 z-score, $z > 2$ 면 활성(activating), 활성 0이면 대조(contrast) |
| PCA·무작위 활성/대조 | 모든 발화에 대해 z-score, $z > 2$ 활성, $z \leq 0$ 대조 |
| 오디오 길이 | 최대 20초로 자름 |
🏷️ 2. 라벨 생성
각 특징에 대해 활성 5개·대조 5개 발화를 무작위로 뽑아 Gemini 3.5 Flash 에게 두 그룹을 가장 잘 가르는 음향 속성을 묻습니다. 프롬프트(Appendix D.1)는 미리 정한 범주에 가두지 않고 가장 두드러진 패턴을 먼저 듣게 한 뒤, 음질·녹음 조건·운율·발화 스타일·템포·피치 레지스터·에너지·감정·조음 등의 목록을 “놓친 것 점검용”으로만 쓰게 합니다. 출력은 primary_pattern, confidence, details, secondary_patterns, counter_examples, distinguishing_cues, label_short, is_likely_speaker_identity, notes_for_human_reviewer 키를 가진 JSON 하나입니다. 생성된 라벨의 예: “Whispered or highly breathy, hushed speech”.
📐 3. 세 지표
| 지표 | 정의 | 무작위 기준 |
|---|---|---|
| Coherence | 활성 10개 + 대조 1개 중 침입자(intruder)를 Gemini가 찾는 5회 시행의 평균 정확도 (Paulo and Belrose 2026의 침입자 평가 방식) | $1/11 \approx 0.09$ |
| Label Fit | 홀드아웃 발화(활성 10, 대조 10)를 Gemini가 라벨과 일치/불일치로 분류하는 정확도 (detection 기반 채점) | 0.5 |
| Label Stability | 원래 발화와 분리된 새 활성 5·대조 5 발화에서 라벨을 재생성해 주 라벨과 비교. Gemini가 same 1.0, overlapping 0.5, different/unclear 0으로 채점하고 두 점수를 평균 | 0.375 (same/overlapping/different/unclear 균등 추측 시 $0.25 \cdot 1.0 + 0.25 \cdot 0.5$) |
자동 검증(automatically validated) 특징은 Coherence $\geq 3/5$, Label Fit $\geq 0.75$, Label Stability $\geq 0.5$ 를 모두 만족하는 것입니다. Coherence 임계 3/5는 무작위 추측($p = 1/11$) 하에서 단측 이항 확률이 0.05 아래가 되는 가장 작은 정수 임계값입니다.
🧷 4. 통제 조건
| 통제 | 내용 |
|---|---|
| 섞인 라벨(shuffled labels) | 같은 집합·층의 다른 특징 라벨로 Label Fit 측정. 어떤 특징도 자기 라벨을 유지하지 않음 |
| 무작위 오디오(random audio) | 클립을 무작위 발화로 바꿔 Coherence·Label Fit 측정 |
두 통제 모두 원래 프롬프트와 응답 형식을 유지합니다.
⚠️ 5. 저자들의 주의
Gemini가 라벨 생성과 평가를 둘 다 하므로, 이 자동 지표만으로는 독립적인 정답 검증이 되지 않습니다. 저자들은 이 지표들이 Gemini의 라벨링 능력과 특징-라벨 정렬을 함께 검정하는 것이며, 고정된 오디오 LLM과 프로토콜 하에서 특징이 얼마나 일관되게 기술·예측되는지를 비교하는 것이라고 명시합니다. 독립 점검으로 SAE 특징 일부에 사람 Label Fit을 측정합니다.
💡 Key Takeaway 텍스트 SAE 자동 해석의 세 요소(침입자 탐지, detection 채점, 재표본 안정성)를 오디오로 옮긴 것이 핵심입니다. 세 지표를 동시에 요구하는 이유는 뒤에서 드러납니다. Label Fit 하나만으로는 무작위 방향도 꽤 높은 점수를 받기 때문입니다.
자동 해석가능성 결과와 발견된 개념
📊 1. 특징 집합 비교 (Table 1)
Qwen3-TTS 19층 특징 500개씩, 95% 부트스트랩 구간입니다.
| 특징 집합 | Coherence | Label Fit | Label Stab. | 검증 통과 |
|---|---|---|---|---|
| 무작위 추측 | 0.09 ± 0.03 | 0.50 ± 0.04 | 0.38 ± 0.04 | – |
| 무작위 방향 | 0.25 ± 0.02 | 0.60 ± 0.01 | 0.32 ± 0.02 | 17 |
| PCA | 0.08 ± 0.01 | 0.50 ± 0.01 | 0.22 ± 0.02 | 1 |
| SAE | 0.43 ± 0.03 | 0.63 ± 0.01 | 0.41 ± 0.03 | 92 |
| ↳ 섞인 라벨 | – | 0.50 ± 0.01 | – | – |
| ↳ 무작위 오디오 | 0.10 ± 0.01 | 0.50 ± 0.01 | – | – |
| 관찰 | 내용 |
|---|---|
| SAE | 세 지표 모두 최고, 검증 특징 92개 |
| 무작위 방향 | Label Fit은 SAE에 근접하지만 Coherence·Stability가 뒤처짐 → Label Fit 하나로는 해석가능성을 판단할 수 없음 |
| PCA | Coherence·Label Fit이 거의 우연 수준 |
| 통제 | 섞인 라벨·무작위 오디오 모두 우연 수준 → 결과가 특징에 맞는 라벨과 오디오에 의존함 |
👥 2. 사람 평가
원래 500개 19층 SAE 특징에서 검증 50개·비검증 50개를 무작위로 뽑아, Amazon Mechanical Turk 주석자가 각 특징의 라벨이 활성 5개·대조 5개 발화 각각에 맞는지 판단했습니다(클립당 2–3명).
| 특징 | 사람 Label Fit (특징 평균) |
|---|---|
| 검증 통과 | 64.4% |
| 비검증 | 51.0% (50% 우연 기준 근처) |
검증 절차가 활성과 대조 발화를 더 잘 가르는 라벨을 고른다는 것을 시사합니다.
🗂️ 3. 발견된 개념 (92개 수동 분류)
| 대분류 | 개수 | 세부 |
|---|---|---|
| 화자 군집(speaker cluster) : 음색·억양 | 72 | 남성 내레이션·합성 느낌의 낭독 음성 37, 영국 내레이션·대화·숨소리 섞인 스토리텔링의 여성 음성 14, 스포츠·팟캐스트 음성·거친 남성 음성·억양 있는 안내 등 기타 21 |
| 억양 | 5 | |
| 웃음 | 4 | |
| 녹음 조건 | 3 | |
| 속삭임 | 2 | |
| 합성 느낌 음성 | 2 | |
| 기타 | 4 | 보컬 프라이(vocal fry), 비유창성(disfluencies), 스포츠 중계, 표현적 팟캐스트 전달 |
SAE가 가장 좋았으므로 나머지 적격 19층 특징 전체로 확장해 592개 를 추가 검증, 합계 684개 입니다. 추가 특징은 더 세밀한 내레이션 스타일(깊은 오디오북 음성, 영국 학술 낭독, 극적 스토리텔링, 로봇 같은 전달), 대화 프로파일(쉰 목소리의 스포츠 중계, 젊은 게임 음성, 거친 강의), 웃음(발화 중, 즐거운 전달, 배경 웃음)을 구분하고, 그 밖에 고함, 설교, 느린 속도, 배경 음악, 잔향, 기침, 목 가다듬기, 맞장구(backchannel)를 기술합니다. 684개 통과 특징의 Stability 두 성분(원본 재생성, 분리 집합) 평균은 각각 0.849와 0.662입니다.
🔢 4. 화자 다양성 분석
화자 군집 특징이 많이 나와 추가 분석을 했습니다. 각 SAE 특징의 강한 활성 발화 전체(분류된 특징 기준 20–11778개)에서 SpeechBrain 화자 임베딩을 뽑아 평균 연결, 코사인 거리 컷오프 0.4로 응집 군집화합니다.
| 4096개 SAE 특징의 임베딩 군집 수 | 특징 수 |
|---|---|
| 1–2 | 518 |
| 3–5 | 181 |
| 5 초과 | 2903 |
| 활성 발화 20개 미만(미분류) | 494 |
| 비교 | 값 |
|---|---|
| 검증 특징이 걸치는 경로 기반 화자 ID 중앙값 | 26 |
| 군집 5개 이하 특징 비율 (적격 3583개 중 699개) | 19.5% |
| 군집 5개 이하 특징이 684개 검증 특징에서 차지하는 비율 | 63.7% |
군집은 화자 ID와 다릅니다. 검증 특징이 중앙값 26개의 화자 ID를 걸치면서도 임베딩 군집은 적다는 것은, 서로 다른 ID의 비슷한 목소리를 묶는 특징이라는 뜻입니다. 저자들은 이 편중이 음성 복제에 필요한 큰 음색 용량을 반영할 수도 있지만, 자동 해석 파이프라인 자체의 편향 일 수도 있다고 봅니다. 음색은 판정자가 지각·기술·검증하기 쉬워서 세 검사를 모두 통과할 확률이 높기 때문입니다.
💡 Key Takeaway SAE는 정량 자동 해석에서 PCA·무작위 방향을 크게 앞서지만, 검증된 684개 중 63.7%가 소수 음색 군집 특징이라는 사실은 결과와 측정 도구의 편향 이 섞여 있음을 보여줍니다. “무엇이 발견되었는가”만큼 “무엇이 발견되기 쉬운가”를 함께 읽어야 합니다.
관련 연구 속 위치
| 분야 | 선행 연구 | 이 논문 |
|---|---|---|
| 기계론적 해석을 위한 SAE | 과완전 희소 사전이 뉴런보다 해석 가능(Huben et al. 2024, Bricken et al. 2023). 희소 예측·인과 개입·조향으로 유용성 평가(Gao et al. 2025, SAEBench, AxBench) | 같은 평가 틀을 음성 생성 모델에 적용 |
| 음성·오디오 인코더 해석 | WavLM·HuBERT·EnCodec 등에 SAE·PCA 적용, 피치·감정·억양·음량 특징 발견. 일부는 보코더 조향이나 전사 오류 감소에 사용 | 인코더가 아닌 생성형 음성 복제 TTS. 미리 정한 개념이 아닌 라벨을 정량 평가 |
| TTS 해석 | Grad-TTS의 성별·강도 PCA 성분, 인코더-디코더 TTS의 음절·음소 프로빙. 비음성복제 모델의 알려진 개념 | 6개 제로샷 음성 복제 모델에서 여러 특징 집합을 프로빙·조향, Qwen3-TTS에서 새 개념 발견 |
| 제어 가능 TTS | 라벨·스타일 지시·참조 오디오로 학습(PromptTTS, InstructTTS, ParaSpeechCaps, FlexiVoice 등). CoCoEmo·EmoSteer-TTS는 지도형 감정 방향만 조향. 감정 민감 뉴런 연구도 미리 정한 감정 대상 | 비지도 사전의 특징이 학습 없는 제어 로 다양한 음향 개념에 직접 쓰일 수 있는지 검사 |
💡 Key Takeaway 가장 가까운 동시기 연구(CosyVoice3 SAE)와의 차별점은 규모와 통제입니다. 3개 선택 개념 대신 55개 전부, 1개 모델 대신 6개 모델, 목표 변화뿐 아니라 부작용과 음질까지 잽니다.
한계와 향후 과제
⚠️ 1. 저자들이 명시한 범위 제한
| 한계 | 내용 |
|---|---|
| 자동 해석의 모델 범위 | API 비용으로 Qwen3-TTS 19층만 분석 |
| 다른 모델의 층 | 한 층씩만 분석. 모델 간 조향 차이는 “studied layers” 에서의 차이 |
| 다른 모델의 SAE 데이터 | Fish·Higgs는 특징 적합 분할의 20%만 사용, 별도 하이퍼파라미터 스윕 없음 |
| 사람 라벨 개념 조향 | 생성 음성에 대한 사람 주석이 없어 조향 평가에서 제외 |
| 자동 지표의 독립성 | Gemini가 라벨 생성과 평가를 모두 담당. 자동 지표만으로는 정답 검증이 아님 |
| 발견 특징의 편향 | 검증 특징의 63.7%가 음색 군집. 파이프라인이 음색을 더 쉽게 통과시킬 가능성 |
| Higgs TTS 3 | SAE 조향이 음성을 심하게 망가뜨림. SAE 학습도 후반에 악화되어 중간 체크포인트 사용 |
🔭 2. 향후 과제
| 방향 | 내용 |
|---|---|
| 다국어 | 분석을 다국어 음성으로 확장 |
| 시간 변화 | 특징이 시간에 따라 어떻게 변하는지 연구. 균일 조향의 누적 현상은 피치가 국소적으로 인코딩될 가능성을 시사 |
| 제어 조합 | 여러 제어의 조합(composition) 탐색 |
| 파인튜닝 추적 | 이 프로빙 설정으로 파인튜닝 중 표현 변화 추적 |
| 원치 않는 전이 | 발견된 특징으로 참조 음성의 배경 음악·잔향이 생성 음성으로 전이 되는 현상 조사 |
📝 3. 읽을 때 주의할 점
- Appendix A 본문의 “Tables 4–4” 는 표 번호 참조 오류로 보이며, 실제로는 Table 2–4를 가리킵니다.
- 조향 결과 수치는 대부분 Figure 4–6, 8–9에 그래프로만 제시되어 있어, 본문에서 숫자로 확인되는 것은 프로빙-조향 상관($\rho$)과 Higgs TTS 3의 유효 점수 수뿐입니다.
- 자동 해석에 쓰인 오디오 LLM은 논문 표기대로 Gemini 3.5 Flash 입니다.
💡 Key Takeaway 이 논문의 결론은 세 겹입니다. (1) 음성 복제 TTS는 피치·에너지·잡음·억양·감정을 표현하지만 소수 특징으로 모이는 개념은 일부이고, (2) 프로빙 성능과 조향 효과는 별개이며, (3) SAE의 고유한 쓸모는 사람 라벨 개념의 희소 예측과 새 개념 발견 에 있습니다. 전체 특징 프로빙과 조향에서는 PCA, 특히 지도형 DiffMean이 여전히 강한 기준선입니다.