0. Summary

  • 기본 정보 : ArXiv,2026.10.26, Mechanistic Insights into LoRA: Layer Sparsity for Adaptive Fine-Tuning via Path Patching
  • 연구 배경 : LoRA(Low-Rank Adaptation)는 LLM 파라미터 효율 파인튜닝(PEFT)의 사실상 표준이지만, 표준 전층(all-layer) LoRA는 모든 트랜스포머 층에 같은 랭크의 어댑터를 붙인다. 층별 구조적 가지치기 연구(ShortGPT)는 층 중요도가 크게 다르다고 보고하고, 유도 헤드(induction head) 연구는 특정 어텐션 회로를 인컨텍스트 학습과 연결한다. 추론에서 층이 동등하지 않다면 파인튜닝에서 왜 동등하게 적응시켜야 하는가가 이 논문의 출발점이다. 기존 LoRA 변형(랭크 할당, 학습률 최적화, 동적 랭크 탐색)과 달리, 이 논문은 “학습 전에 고정된 기본 모델에 개입해 적응할 가치가 있는 과제별 층을 찾을 수 있는가”를 묻는다.
  • 제안 방법 : 먼저 Qwen2.5-0.5B(24층)에 네 데이터셋(Alpaca-ZH, Alpaca-EN, Code-Alpaca, Dolly)으로 학습한 LoRA 어댑터에 활성 패칭(activation patching)과 경로 패칭(path patching)을 적용해, 구성요소(MLP vs 어텐션), 투영(Q/K/V), 층 깊이의 세 축에서 적응 효과의 인과적 기여를 잰다. 이어 그 관찰에 기반한 Adaptive-LoRA 를 제안한다. 고정된 기본 모델에서 각 층의 어텐션 출력과 MLP 출력을 독립적으로 0으로 만드는 영 제거(zero-ablation)로 층 중요도를 보정(calibration)하고, 상위 $k$ 개 층만 선택해 그 층에만 LoRA를 학습하는 3단계 방법이다. 기본 보정 집합 크기는 $N=30$ 이고 기울기 계산이 필요 없다.
  • 발견 사실 : (1) MLP 블록이 측정된 구성요소 효과의 58.4%를 매개하고 어텐션은 41.6%이며, 네 데이터셋에서 비율이 57.3–59.5%로 거의 일정하다. (2) 어텐션 안에서는 V 투영이 약 46%로 Q·K(각 약 27%)를 앞선다. (3) 층별 기여는 깊이에 따라 비균일하며 초기 층에 집중된다. (4) 과제별 상위 7개 층의 평균 Jaccard 유사도는 39.5%에 그치고 L0–L2만 모든 과제에서 공통으로 선택된다. (5) Qwen2.5-1.5B(28층)에서 8개 층(30%)만 적응시킨 Adaptive-LoRA는 11개 추론 과제에서 모든 랭크에 걸쳐 전층 LoRA·LoRA+·DoRA를 평균 정확도로 앞서며(r16 상식 추론 59.1% vs LoRA 56.9%), 어댑터 파라미터는 3.5배 적다. 0.5B–32B 여섯 모델에서도 약 30% 층으로 전층 LoRA를 1.2–2.2pp 앞서거나(0.5B–3B) 0.2pp 이내로 보존한다(8B·32B). 36층 중 12층 예산에서는 무작위 선택보다 퍼플렉시티를 25.0% 낮춘다.
  • 핵심 기여 :
    1. LoRA 내부 메커니즘의 첫 체계적 기계론적 분석 : 활성·경로 패칭으로 LoRA 적응 효과가 구성요소(MLP 우세, V 우세)와 층(초기 층 집중) 양쪽에서 희소함을 보였다.
    2. 중요 층의 과제 의존성 입증 : 과제 간 중요 층 겹침이 39.5%에 불과함을 보여, 고정된 층 부분집합이 모든 과제에 최적일 수 없음을 논증했다.
    3. Adaptive-LoRA : 고정 기본 모델의 영 제거 보정으로 과제별 층을 자동 선택하는 원리적 방법을 제안하고, 11개 추론 과제와 6개 모델 규모에서 70% 파라미터 감축과 함께 전층 기준선을 상회함을 검증했다.

논문에서 밝히는 LoRA 효과가 미치는 곳

LoRA 효과는 구성 요소 중에서는 MLP, 어텐션 내부에서는 V 프로젝션, 레이어 중에서는 초반부에 많이 작용합니다. 중후반부의 중요한 레이어는 태스크마다 달랐습니다. 분석 모델은 24레이어 Qwen2.5-0.5B이고, LoRA는 Q/K/V에 적용했습니다.

구성 요소

구분 비중 범위
MLP 58.4% 데이터셋별 57.3~59.5%
어텐션 41.6% 데이터셋별 40.5~42.7%
어텐션 내 V 약 46% 데이터셋별 44.3~47.7%
어텐션 내 Q, K 각 약 27% -

MLP에는 어댑터가 없습니다. Q/K/V 변경으로 달라진 어텐션 출력이 잔차 스트림을 타고 MLP로 전달되므로, 이 수치는 MLP가 매개한 효과입니다.

LoRA가 없는 기준 측정에서도 MLP 비중은 56.2~60.0%였습니다. LoRA를 적용하면 62.4~63.8%로, 증가폭은 3.8~6.3%포인트입니다(부록 B.4). 따라서 MLP 우세의 상당 부분은 모델 자체의 특성으로 볼 수 있습니다. (이 해석은 논문의 주장이 아니라 표를 보고 판단한 것임)

레이어

  • 공통 핵심: 4개 태스크의 상위 7개에 모두 든 레이어는 L0~L2뿐입니다.
  • 깊이별 패턴: 그림 2의 범례 값은 초반(L0~7) 33.3%, 중반(L8~15) 24.0%, 후반(L16~23) 16.1%입니다. 합이 100%가 아니므로 전체 대비 점유율은 아닌 것으로 보입니다.
  • 이유: 초반 레이어의 변화는 이후 연산 경로 전체에 영향을 줄 수 있기 때문이라고 설명합니다. 다만 저자들도 초반 레이어가 우세한 이유를 설명할 이론은 아직 없다고 밝힙니다(부록 A).
태스크 상위 7개 레이어 (그림 6)
Alpaca-ZH 0, 1, 2, 3, 4, 17, 23
Alpaca-EN 0, 1, 2, 3, 4, 12, 23
Code-Alpaca 0, 1, 2, 10, 11, 13, 14
Dolly 0, 1, 2, 7, 10, 12, 21

평균 Jaccard 유사도는 39.5%입니다. 가장 비슷한 쌍은 Alpaca-ZH와 Alpaca-EN으로 75.0%이고, 가장 낮은 값은 27.3%입니다.

다른 모델에서의 패턴(부록 F)

  • 중요 레이어: 앞쪽 10~15% 레이어가 중요도 상위 5위 안에 꾸준히 들고, 깊이 30~60% 구간은 태스크별 편차가 가장 큽니다.
  • 깊이별 MLP/어텐션 비율: Qwen2.5-1.5B와 LLaMA-3-3B 기준으로 앞쪽 20%는 약 65/35, 20~60% 구간은 약 55/45, 뒤쪽 40%는 약 60/40입니다.

논문에서 제안하는 Adaptive-LoRA

Adaptive-LoRA는 학습 전에 태스크별로 중요한 레이어를 골라, 그 레이어에만 LoRA를 적용하는 방법입니다. LoRA 구조 자체를 바꾸는 것이 아니라 어댑터를 어디에 넣을지를 정합니다.

작동 방식

  1. 캘리브레이션: 학습하지 않은 베이스 모델에 입력을 넣고, 가장 확률이 높은 토큰 t*와 그 확률을 기록합니다. 그런 다음 레이어마다 어텐션 출력과 MLP 출력을 각각 따로 0으로 만들어, t*의 확률이 얼마나 변하는지 측정합니다.
  2. 레이어 선택: 두 변화량의 절댓값을 더해 입력 전체에 대해 평균 낸 값을 레이어 점수로 삼고, 상위 k개를 고릅니다.
  3. 선택적 학습: 선택한 레이어에만 어댑터를 넣어 학습하고, 베이스 가중치는 고정합니다.

정답 라벨이나 학습된 어댑터가 없어도 점수를 계산할 수 있습니다. 기본 캘리브레이션 입력 수는 30개이고, A100 GPU 1장에서 20~62초가 걸립니다.

두 가지 모드

  • 정확도 모드: 모든 레이어를 후보로 놓고 고릅니다.
  • 효율 모드: 일정 깊이 이후의 레이어만 후보로 둡니다. 앞쪽의 고정된 레이어 출력을 캐시해 재사용할 수 있어 학습이 빨라지는 대신, 정확도는 조금 떨어질 수 있습니다.

주요 결과

Qwen2.5-1.5B, rank 16 기준으로 28개 레이어 중 8개만 학습한 결과입니다.

방법 학습 레이어 상식 추론 평균 수학 평균
LoRA 28 56.9% 41.1%
LoRA+ 28 57.9% 42.9%
DoRA 28 55.5% 39.5%
Adaptive-LoRA 8 59.1% 43.3%
  • 파라미터: LoRA 인자 수가 약 298만 개에서 85만 개로 3.5배 줄어듭니다.
  • 선택 전략 비교: 36개 중 12개를 고를 때 퍼플렉서티는 12.32로, 무작위(16.42), 앞에서부터(14.06), 뒤에서부터(15.00) 선택보다 낮습니다. 같은 레이어 수에서의 비교이므로, 효과가 레이어 수를 줄인 것뿐 아니라 어떤 레이어를 골랐는지에서도 온다는 근거가 됩니다.
  • 학습 속도: 파라미터가 3.5배 줄어도 학습이 3.5배 빨라지지는 않습니다. 정확도 모드에서는 1.08~1.13배 정도이고, 효율 모드(d=L/2)의 3B, 8B 모델은 3에폭 기준 약 1.7배입니다. 이 속도 측정은 정확도 결과와 별도의 실험입니다.

한계

  • 큰 모델에서는 이득이 작습니다. seed 42 기준으로 Qwen3-8B는 동률(82.5%), Qwen3-32B는 오히려 0.2%포인트 낮습니다(87.1% vs 87.3%). 3회 실행 평균에서는 각각 +0.17, +0.23%포인트입니다.
  • 주요 표는 단일 시드 결과입니다. 부록의 3회 실행은 일부 구성에만 있고, 논문도 모든 단일 시드 비교의 유의성을 주장하지는 않습니다.
  • 평가 범위가 좁습니다. 추론 태스크 11종이 중심이어서, 생성형이나 긴 문맥 태스크에서는 패턴이 다를 수 있습니다.
  • 선택은 학습 전에 고정됩니다. 학습 중에는 레이어를 다시 고르지 않으며, 선택 단위도 레이어 전체입니다.
  • 캘리브레이션 데이터의 영향을 받습니다. 데이터가 치우치면 선택도 치우칠 수 있습니다. 학습 데이터와 다른 분포로 캘리브레이션하면 정확도가 75.2%에서 72.8~73.5%로 낮아지지만, 무작위 선택(70.2%)보다는 높습니다.

새 모델에서는 논문이 상위 50% 레이어 선택을 실용적인 기본값으로 권장합니다. 8개 모델 모두에서 전체 레이어 LoRA보다 0.2~1.9%포인트 높았습니다.

논문에서 말하는 테스크

논문에서 태스크는 모델을 맞추려는 데이터셋이나 문제 유형을 뜻합니다. 메커니즘 분석에는 4개 데이터셋을, 성능 평가에는 추론 태스크 11종을 사용했습니다.

메커니즘 분석: 4개 데이터셋

어떤 레이어가 중요한지 분석할 때 쓴 데이터셋으로, Qwen2.5-0.5B를 학습했습니다.

데이터셋 내용 규모
Alpaca-ZH 중국어 지시문 5.2만 개
Alpaca-EN 영어 지시문 5.2만 개
Code-Alpaca 코드 생성 2만 개
Dolly 대화 1.5만 개

성능 평가: 추론 태스크 11종

Adaptive-LoRA의 성능을 비교할 때 쓴 벤치마크입니다. 아래 설명은 논문에 없는 내용으로, 각 벤치마크에 대한 일반적인 지식으로 덧붙였습니다.

상식 추론 8종 (학습 데이터: commonsense_170k 중 1만 개)

태스크 내용
BoolQ 지문을 읽고 예/아니오로 답하기
PIQA 물리적 상식
Social IQa (SIQA) 사회적 상황과 감정에 대한 상식
HellaSwag 상황에 이어질 자연스러운 문장 고르기
WinoGrande 문맥으로 대명사가 가리키는 대상 찾기
ARC-Easy 초중등 과학 문제(쉬운 난이도)
ARC-Challenge 초중등 과학 문제(어려운 난이도)
OpenBookQA 과학 사실을 활용하는 문제

수학 추론 3종 (학습 데이터: math_10k 중 5천 개, 사고 과정을 쓰게 하는 CoT 프롬프트 사용)

태스크 내용
GSM8K 초등 수준의 수학 서술형 문제
SVAMP 간단한 산술 서술형 문제
AQUA 대수 서술형 문제(객관식)

읽을 때 주의할 점

  • “태스크별 레이어”의 범위: 레이어가 태스크마다 다르다는 39.5% 결과는 11종 벤치마크가 아니라 위 4개 데이터셋에서 나왔습니다. 11종 평가에서 레이어를 벤치마크마다 따로 골랐는지는 논문에 명시되어 있지 않습니다. 학습 데이터가 상식과 수학 두 묶음이고 “commonsense split”이라는 표현이 쓰인 점을 보면, 묶음 단위로 골랐을 가능성이 있어 보입니다.
  • 지식형과 추론형: 저자들은 ARC-Easy와 ARC-Challenge를 지식 중심, SIQA와 HellaSwag를 추론 중심으로 구분합니다. 지식 중심 태스크에서는 큰 모델에서도 전체 레이어 LoRA와 비슷한 성능을 냈고, 추론 중심 태스크에서는 때때로 더 나았습니다.

관련 개념

LoRA와 “균일 적응”의 문제

LoRA(Low-Rank Adaptation) 는 가중치 갱신을 저랭크 행렬 곱으로 근사해, 원본 파라미터는 고정한 채 학습 가능한 파라미터를 크게 줄이는 PEFT 방법입니다. 이후 연구는 랭크 할당(AdaLoRA 계열), 학습률 최적화(LoRA+), 동적 랭크 탐색(DyLoRA), 가중치 분해(DoRA) 등으로 LoRA를 개선해 왔고, 지속 학습 쪽에서는 부분공간 제약(InfLoRA), 층별 계층 어댑터(TreeLoRA), 게이팅(GainLoRA)으로 저랭크 갱신을 구조화합니다.

🧩 1. 왜 모든 층을 같은 랭크로 적응시키는가

표준 전층 LoRA는 트랜스포머의 모든 층에 같은 랭크를 씁니다. 그러나 저자들은 두 갈래의 선행 관찰을 근거로 이 전제를 의심합니다.

선행 관찰 출처 함의
층별 구조적 가지치기에서 층 중요도가 크게 다름 ShortGPT (Men et al. 2024) 추론에 덜 중요한 층이 있다
특정 어텐션 회로가 인컨텍스트 학습을 담당 유도 헤드 (Olsson et al. 2022) 행동은 특정 구성요소에 국소화된다
BERT 어텐션 헤드의 반복 패턴과 과제 의존적 효과 Kovaleva et al. 2019 중요 구성요소는 과제에 따라 다를 수 있다

여기서 근본 질문이 나옵니다. 층이 추론에서 동등하게 중요하지 않다면, 파인튜닝에서 왜 동등하게 적응시켜야 하는가?

🎯 2. 두 연구 질문

이 논문은 기존 LoRA 변형과 상보적인 질문을 던집니다. 랭크를 어떻게 배분할지가 아니라, 학습을 시작하기 전에 고정된 기본 모델에 개입해 적응할 가치가 있는 과제별 층을 찾을 수 있는가입니다.

질문 내용
RQ1 서로 다른 구성요소와 층이 LoRA의 적응 효과에 어떻게 기여하며, 그 기여는 모델 전체에서 균일한가?
RQ2 중요한 층은 과제 간에 일관된가, 아니면 과제에 크게 의존하는가?

기존 PEFT의 층 선택은 “마지막 몇 층만” 또는 “특정 중간 층만” 같은 정적 휴리스틱이었습니다. 이 논문은 인과적 중요도에 기반한 보정 기반·과제별 선택을 그 대안으로 제시합니다.

💡 Key Takeaway 이 논문의 위치는 “LoRA를 더 잘 학습시키는 법”이 아니라 “어디에 LoRA를 붙일지를 학습 전에 인과적으로 정하는 법”입니다. 기계론적 해석가능성 도구(활성·경로 패칭)를 PEFT 설계 결정에 직접 연결한 것이 핵심 아이디어입니다.

활성 패칭으로 적응 기여도 재기

기계론적 해석가능성은 모델 행동을 사람이 이해할 수 있는 알고리즘으로 역공학하려는 분야입니다. 활성 패칭(activation patching, 인과 추적) 과 회로 분석(circuit analysis) 은 특정 구성요소가 출력에 기여하는 정도를 분리해 내고, 자동 회로 발견(ACDC)은 행동과 연관된 압축된 계산 부분 그래프를 찾습니다. 이 논문은 이 도구들을 LoRA 적응 메커니즘 해부에 씁니다.

🧪 1. 분석 설정

항목 값
기본 모델 Qwen2.5-0.5B (24층)
어댑터 전층 LoRA, 랭크 8, $\alpha=16$, Q/K/V 투영에 적용
데이터셋 Alpaca-ZH (52K 중국어 지시), Alpaca-EN (52K 영어 지시), Code-Alpaca (20K 코드 생성), Dolly (15K 대화)
분해 축 구성요소 유형(MLP vs 어텐션), 투영 유형(Q/K/V), 층 깊이(초기/중간/후기)
도구 TransformerLens

📐 2. 기여 점수 (Eq. 1–2)

입력 $x$ 와 구성요소 $c$ 에 대해, 기여 점수는 $c$ 에 개입했을 때 예측이 얼마나 바뀌는지를 잽니다.

$$S_{c}(x)=\left p_{\text{LoRA} }(t^{}\mid x)-p_{\text{ablate}(c)}(t^{}\mid x)\right $$

여기서 $t^{*}$ 는 전체 LoRA 모델이 가장 높게 예측한 토큰입니다. 보정 집합 $D_{\text{cal} }$ 에 대해 평균한 구성요소 중요도는

$$I_{c}=\frac{1}{ D_{\text{cal} } }\sum_{x\in D_{\text{cal} } }S_{c}(x)$$

입니다. 구성요소 분석에서는 각 층의 MLP 블록 출력 또는 어텐션 블록 출력에 독립적으로 개입해 예측 변화를 잽니다. LoRA 어댑터는 Q/K/V에만 있으므로, MLP 측정은 블록을 통한 매개(mediation) 를 포착합니다. 투영 분석에서는 한 투영의 LoRA 어댑터만 선택적으로 제거하고 나머지 둘은 유지합니다.

🔁 3. 어댑터 비활성 출력 치환 실험 (Appendix B.4)

MLP 매개를 분리하기 위한 별도 실험입니다. 같은 입력에 대해 어댑터를 끈 참조 실행에서 블록 출력을 기록한 뒤, 완전히 적응된 실행에서 그 블록 출력만 참조값으로 바꾸고 나머지 적응된 계산은 유지해 하류 예측을 다시 계산합니다. 이렇게 하면 자기 가중치에 어댑터가 없는 MLP 블록도 적응을 매개할 수 있다는 점이 드러납니다. Q/K/V 갱신이 MLP로 들어가는 잔차 스트림을 바꾸기 때문입니다. 이 치환은 층 선택에 쓰는 기본 모델 블록 영 제거와는 다른 개입입니다.

💡 Key Takeaway 측정 단위는 “그 구성요소를 건드리면 top-1 토큰 확률이 얼마나 움직이는가”입니다. 어댑터가 Q/K/V에만 있어도 MLP 기여가 잡히는 이유는, 측정이 어댑터 가중치가 아니라 잔차 스트림을 거쳐 전파되는 효과를 보기 때문입니다.

Finding 1·2: MLP 우세와 V 투영 우세

선행 연구는 MLP가 사실 지식을 저장하고 어텐션이 정보 라우팅을 담당한다고 가설을 세웠습니다(Meng et al. 2022). 저자들은 이 기능적 분리가 LoRA 적응 중에도 유지되는지 봅니다.

🧱 1. MLP 58.4% vs 어텐션 41.6% (Figure 1)

네 데이터셋 모두에서 MLP 층이 어텐션보다 일관되게 더 기여하며, 비율이 놀랍도록 안정적입니다.

측정 값
MLP 매개 비율 (전체) 58.4%
어텐션 비율 (전체) 41.6%
과제별 MLP 비율 범위 57.3%–59.5%

데이터셋이 언어(중국어·영어), 양식(코드), 상호작용 방식(대화)을 가로지르는데도 MLP–어텐션 비율이 거의 일정합니다. Q/K/V 갱신이 어텐션 출력을 바꾸고, 그것이 잔차 스트림에 들어가 하류 MLP 블록에서 변환되는 경로가 해석입니다.

Finding 1 (MLP 우세) : MLP 블록이 측정된 구성요소 효과의 58.4%를 매개하고 어텐션은 41.6%이며, 과제별 비율은 57.3%–59.5%입니다.

📊 2. 출력 치환 실험의 MLP 비율 (Table 7)

Qwen2.5-0.5B, Q/K/V 어댑터, 데이터셋당 100개 입력입니다. 주 구성은 $r=8,\ \alpha=16$ 이고 독립적인 $r=16,\ \alpha=32$ 어댑터가 MLP 다수 패턴을 재현합니다. 랭크 8의 격차 구간은 5,000회 짝지은 입력 부트스트랩 재표본의 95% 구간(퍼센트포인트)입니다.

데이터셋 MLP 비율 r8 (%) MLP 비율 r16 (%) No-LoRA 참조 (%) 격차 r8 (pp) 격차 r16 (pp) r8 격차 95% CI
Alpaca-EN 62.4 62.5 58.1 +4.3 +4.4 [2.6, 6.1]
Code-Alpaca 63.8 63.0 60.0 +3.8 +3.0 [2.4, 5.2]
Dolly 62.5 62.2 56.2 +6.3 +6.0 [4.6, 8.0]

적응 후 MLP 비율이 어댑터 없는 참조보다 3–6pp 높고, 구간이 모두 0을 제외합니다.

🔑 3. V 투영 46%, Q·K 각 27% (Figure 5)

어텐션의 41.6% 안에서 Q/K/V를 분해하면, 라우팅(Q/K)보다 내용(V) 이 적응 효과를 주도합니다.

투영 정규화된 어텐션 효과 비율 역할
V (Value) 약 46% (과제별 44.3%–47.7%) 어텐션이 집계하는 내용
Q (Query) 약 27% 라우팅
K (Key) 약 27% 라우팅

Finding 2 (V 투영 우세) : V가 어텐션 적응의 46%를 차지해 Q(27%)·K(27%) 각각을 넘으며, 모든 과제에서 안정적입니다.

저자들은 이 분해가 다중 어댑터 배포에도 함의가 있다고 봅니다. V 어댑터가 측정된 어텐션 적응 신호의 거의 절반을 담으므로, 더 작은 어댑터를 만들 때 이 경로가 자연스러운 표적이 됩니다. 어댑터 비용은 선택된 투영의 차원과 랭크로 결정됩니다. 본 실험의 Q/V 구성 선택도 Finding 2에서 동기를 얻습니다.

💡 Key Takeaway 두 Finding은 모두 “적응 효과가 구성요소 수준에서 희소하다”는 뜻입니다. 어댑터가 Q/K/V에 균등하게 붙어 있어도 효과는 MLP(매개)와 V(내용)에 쏠립니다. 다만 이 수치는 top-1 토큰 확률 변화라는 한 가지 측정의 비율이라는 점을 기억해야 합니다.

Finding 3·4: 층별 비균일성과 과제 의존성

구성요소 다음은 깊이입니다. 저자들은 모든 보정 표본에 대해 층별 중요도 점수(그 깊이의 MLP·어텐션 기여 합)를 계산해 24층 프로파일을 그립니다.

📈 1. 층별 기여 프로파일 (Figure 2·3)

과제별 순위는 깊이에 따른 비균일한 중요도를 보여 줍니다. 공통된 초기 층 핵심과 과제별 중간·후기 층의 결합입니다. 초기의 변화는 더 긴 하류 계산 경로에 영향을 줄 수 있고, 후기 기여는 목표 과제에 따라 달라집니다. 이것이 깊이만이 아니라 측정된 층 중요도로 적응 용량을 배분해야 하는 이유이며, Section 5의 고정 예산 비교가 그 실용적 가치를 검정합니다.

Finding 3 (불균등한 층 기여) : 층 중요도는 깊이에 따라 비균일하며, 공통된 초기 층 중요도와 후기 깊이의 과제별 기여가 함께 있습니다.

🧮 2. Jaccard 유사도 (Eq. 3)

같은 층이 모든 과제에 중요하다면 고정된 하나의 층 선택이 모든 과제에 쓰일 수 있고, 아니라면 과제별 선택이 필수입니다. 저자들은 과제마다 상위 7개 층(24층의 30%)을 뽑아 쌍별로 비교합니다.

$$J(\mathcal{L}{i},\mathcal{L}{j})=\frac{ \mathcal{L}{i}\cap\mathcal{L}{j} }{ \mathcal{L}{i}\cup\mathcal{L}{j} }$$
항목 값
여섯 과제 쌍의 평균 Jaccard 39.5%
최대 겹침 75.0% (Alpaca-ZH / Alpaca-EN)
최소 겹침 27.3% (Alpaca-ZH/Code-Alpaca, Alpaca-ZH/Dolly, Alpaca-EN/Code-Alpaca)
모든 과제가 공유하는 층 L0–L2

과제별 선택의 예는 다음과 같습니다.

과제 선택된 상위 7개 층의 특징
Code-Alpaca 중간 층 L10, L12, L14 포함
Alpaca-ZH 후기 층 L17, L23 포함
Dolly L0, L1, L2, L7, L10, L12, L21

Finding 4 (과제별 층 중요도) : 중요 층은 과제에 따라 크게 달라지며(Jaccard = 39.5%), 고정된 층 부분집합은 모든 하류 과제에 최적일 수 없습니다.

🏗️ 3. 아키텍처 간 패턴 (Appendix F.1·F.3)

Qwen2.5(0.5B, 1.5B, 3B), LLaMA-3.2(3B), LLaMA-2(7B)를 비교하면 깊이·너비·학습 데이터가 달라도 일관된 패턴이 나타납니다.

패턴 내용
초기 층 우세 모든 아키텍처에서 첫 10–15% 층이 중요도 상위 5에 일관되게 포함 (Finding 3 지지)
중간 층 과제 특화 30–60% 깊이의 층이 과제 간 중요도 분산이 가장 큼 (Finding 4 지지)
깊이에 따른 MLP/어텐션 비율 초기 20%: 약 65/35, 중간 20–60%: 약 55/45, 후기 40%: 약 60/40 (절대 중요도는 낮음)

후기 깊이 비율은 Qwen2.5-1.5B와 LLaMA-3-3B에서 분해한 것입니다. 저자들은 “MLP 어댑터는 넓게, 어텐션 어댑터는 중간 층에만” 같은 하이브리드 전략이 층 선택보다 더 효율적일 수 있다고 봅니다.

💡 Key Takeaway 층 수준의 핵심 메시지는 “공통 핵심(L0–L2) + 과제별 꼬리”입니다. 과제 간 겹침이 40% 이하라는 사실이 바로 학습 전 과제별 보정이 필요하다는 논거이고, Adaptive-LoRA의 설계 근거입니다.

Adaptive-LoRA: 문제 정식화와 세 단계 알고리즘

Finding 4에 동기를 얻어, 저자들은 정적 휴리스틱이나 전수 탐색 대신 고정 기본 모델의 영 제거로 작은 보정 집합에서 중요 층을 자동 식별하는 Adaptive-LoRA를 제안합니다.

📐 1. 문제 정식화 (Section 4.1)

$L$ 층의 사전학습 트랜스포머 $\mathcal{M}$ 과 과제별 학습 집합 $\mathcal{D}{\text{train} }$ 이 있을 때, 표준 LoRA는 모든 층 ${0,\ldots,L-1}$ 에 어댑터를 붙여 고정 랭크와 층별 표적 차원에서 $L$ 에 비례하는 학습 파라미터를 만듭니다. 목표는 크기 $k<L$ 인 부분집합 $\mathcal{L}{\text{sel} }\subset{0,\ldots,L-1}$ 을 찾아, 이 층들만 적응시켜도 비슷한 성능을 내면서 파라미터를 약 $L/k$ 배 줄이는 것입니다. 핵심 난점은 $\binom{L}{k}$ 개 부분집합을 전수 탐색하지 않고 층 중요도를 효율적으로 추정하는 것이며, 각 층의 예측 민감도를 재는 기본 모델 개입으로 해결합니다.

⚙️ 2. Phase 1: 기본 모델 영 제거 보정 (Eq. 4–5)

보정은 고정된 기본 모델만 씁니다. 입력 $x$ 에 대해 $t^{*}=\arg\max_{t}p_{\mathcal{M} }(t\mid x)$ 라 하고, $a_{l}$ 과 $m_{l}$ 을 층 $l$ 의 어텐션 출력과 MLP 출력이라 하면, 두 독립 실행이 각각 한 출력을 0으로 만듭니다.

$$p_{l}^{A}(t\mid x)=p_{\mathcal{M}\mid a_{l}\leftarrow 0}(t\mid x),\qquad p_{l}^{M}(t\mid x)=p_{\mathcal{M}\mid m_{l}\leftarrow 0}(t\mid x)$$

층 점수는 두 절대 효과를 더하고 입력에 대해 평균합니다.

$$I_{l}=\frac{1}{ D_{\text{cal} } }\sum_{x\in D_{\text{cal} } }\left[\left p_{\mathcal{M} }(t^{}\mid x)-p_{l}^{A}(t^{}\mid x)\right +\left p_{\mathcal{M} }(t^{}\mid x)-p_{l}^{M}(t^{}\mid x)\right \right]$$

학습된 어댑터가 필요 없습니다. Eq. 1의 학습된 LoRA 분석은 이 선택 규칙의 동기이지 입력이 아닙니다.

Algorithm 1 단계 내용
입력 기본 모델 $\mathcal{M}$, 보정 집합 $D_{\text{cal} }$, 예산 $k$, 학습 집합 $D_{\text{train} }$, 랭크 $r$, 선택적 깊이 임계값 $d^{*}$
Phase 1 각 입력 $x$ 와 각 층 $l$ 에 대해 어텐션 전용 개입 $q_{l}^{A}$ 와 독립 MLP 개입 $q_{l}^{M}$ 을 계산, $I_{l}\leftarrow I_{l}+\lvert q-q_{l}^{A}\rvert+\lvert q-q_{l}^{M}\rvert$, 마지막에 $\lvert D_{\text{cal} }\rvert$ 로 나눔
Phase 2 후보 $\mathcal{C}={0,\ldots,L-1}$, 효율 모드에서는 $\mathcal{C}\leftarrow{l:l\geq d^{*}}$. $\mathcal{L}{\text{sel} }\leftarrow\operatorname{TopK}{l\in\mathcal{C} }(I_{l},k)$
Phase 3 선택된 층에만 랭크 $r$ 어댑터 초기화, 기본 가중치 고정, $D_{\text{train} }$ 으로 파인튜닝

🎚️ 3. Phase 2: 두 가지 운영 모드와 기본 예산

모드 선택 규칙 목적
정확도 모드 모든 층에서 $\operatorname{TopK}(\mathbf{I},k)$. 주 추론 실험은 $k\approx 0.3L$ 제약 없는 순위
효율 모드 같은 점수로 ${l:l\geq d^{}}$ 안에서 선택(적격 층 $\geq k$). 실제 첫 선택 층 $d=\min\mathcal{L}_{\text{sel} }\geq d^{}$ 고정된 접두부를 노출해 학습 가속

기본 층 예산 : 주 추론 실험은 $k\approx 0.3L$ 을 쓰지만, 새 모델에 대해서는 상위 절반 선택이 실용적 기본값입니다. 랭크 16, 학습 5,000개에서 50% 층 비율은 평가한 8개 모델 모두에서 전층 LoRA보다 0.2–1.9pp 높습니다(Appendix F.4). 이 층 수 예산은 효율 모드의 최소 깊이 제약 $d^{*}$ 와는 별개입니다.

🔧 4. Phase 3: 선택적 적응과 비용

선택된 층의 표적 투영 $W_{l,p}\in\mathbb{R}^{d_{\text{out} }\times d_{\text{in} } }$ 에 대해 $\Delta W_{l,p}=B_{l,p}A_{l,p}$ 를 초기화합니다($B_{l,p}\in\mathbb{R}^{d_{\text{out} }\times r}$, $A_{l,p}\in\mathbb{R}^{r\times d_{\text{in} } }$). 선택되지 않은 층은 고정됩니다.

항목 값
옵티마이저 AdamW, 학습률 $1\times 10^{-4}$
랭크·스케일 $r=16$, $\alpha=32$
에폭·배치 3 에폭, 유효 배치 64
파라미터 감축 같은 랭크·층별 용량에서 $L$ 중 $k$ 층 선택은 $L/k$ 배. 랭크 16 주 비교는 28층 중 8층, 3.5배
보정 비용 $O(NL)$ 기울기 없는 순전파. 기본 $N=30$ 은 A100 한 장에서 20–62초

학습 속도는 선택 층의 깊이에 달려 있습니다. 모든 백본 층은 캐시되지 않은 순전파에 남지만, 완전히 고정된 접두부는 역전파가 필요 없고 고정 입력에 대해 에폭 간 재사용될 수 있습니다.

💡 Key Takeaway Adaptive-LoRA의 보정은 어댑터를 한 번도 학습하지 않고 기본 모델의 블록 출력을 0으로 만든 뒤 top-1 확률이 얼마나 흔들리는지만 봅니다. 기울기가 필요 없고 FP16으로 돌릴 수 있어 비용이 학습의 1% 미만입니다. 이 단순함이 방법의 실용성이고, 동시에 “기본 모델 민감도가 적응 가치를 대리하는가”라는 검증 부담을 낳습니다.

보정 신호의 타당성: 기본 모델 중요도 vs 학습된 어댑터 기여

기본 모델 보정(Eq. 5)과 학습된 어댑터 분석(Eq. 1)은 다른 개입을 잽니다. 전자가 후자를 대리할 수 있는지가 방법의 전제입니다.

📊 1. 순위 일치 (Table 6)

Qwen2.5-0.5B 24층, 같은 100개 입력에서 다섯 어댑터 구성에 대해 두 순위를 비교합니다. 복원율(recovery)은 두 top-$k$ 집합의 교집합을 $k$ 로 나눈 값으로, 합집합을 분모로 쓰는 Jaccard와 다릅니다.

표적 랭크 Spearman $\rho$ $p$ Top-7 복원 Top-12 복원
Q/K/V 8 0.630 $9.6\times 10^{-4}$ 5/7 9/12
Q/K/V 16 0.635 $8.6\times 10^{-4}$ 5/7 10/12
Q/V 4 0.893 $4.4\times 10^{-9}$ 5/7 10/12
Q/V 16 0.891 $5.2\times 10^{-9}$ 5/7 10/12
Q/V 32 0.867 $4.3\times 10^{-8}$ 5/7 10/12

첫 행은 원래 분석 구성($r=8,\ \alpha=16$)입니다. 원점수의 Pearson 상관은 0.935–0.975입니다. Q/V 구성에서 Spearman 상관이 Q/K/V보다 뚜렷이 높습니다.

🎯 2. 참조 토큰 민감도 (Appendix E.4)

보정은 기본 모델의 예측 토큰 $t^{*}$ 를 쓰므로 정답 라벨이 필요 없습니다. 500개 라벨된 항목에서 이를 정답 토큰으로 바꾸면 top-$k$ 선택 Jaccard는 0.81이고, 두 참조의 하류 정확도는 58.7%와 58.5%로 0.2pp 차이입니다.

🔗 3. 고정 예산 하류 검정

순위 일치만으로는 부족하므로, 학습·층 예산을 고정한 하류 비교가 따릅니다. Alpaca-ZH에서 36층 중 12층일 때 보정 선택은 PPL 12.32, 무작위 16.42, 순차 14.06, 역순 15.00입니다(Table 9). 전체 층에서는 모든 방법이 같은 집합을 선택해 5.75에 도달합니다.

💡 Key Takeaway “고정 모델에서 영 제거에 민감한 층”과 “LoRA 학습 후 적응 효과가 큰 층”은 같은 것이 아닙니다. 저자들은 둘을 같다고 주장하는 대신, 순위 상관(0.63–0.89) 과 고정 예산 하류 성능이라는 두 증거로 전자를 후자의 선택 대리 신호로 쓰는 것을 정당화합니다.

실험 설정: Qwen2.5-1.5B, 11개 추론 과제, 세 기준선

주 평가는 세 질문을 다룹니다. (RQ1) Adaptive-LoRA가 훨씬 적은 파라미터로 더 나은 성능을 내는가, (RQ2) 최적 층 예산은 무엇인가, (RQ3) 보정 기반 선택이 휴리스틱 기준선을 이기는가.

🧪 1. 모델·데이터·과제

항목 값
주 평가 모델 Qwen2.5-1.5B (1.54B 파라미터, 28층)
학습 데이터 commonsense_170k 중 10,000개, math_10k 중 5,000개 (LLM-Adapters), 3 에폭, 최대 512 토큰
상식 추론 8개 BoolQ, PIQA, Social IQa, HellaSwag, WinoGrande, ARC-Easy, ARC-Challenge, OpenBookQA (평가 1,000개씩, OBQA 500개)
수학 추론 3개 GSM8K, SVAMP, AQUA (chain-of-thought 프롬프팅)
기준선 LoRA ($r\in{4,8,16,32}$), LoRA+ (차등 학습률), DoRA (가중치 분해). 셋 다 28층 전부의 Q/K/V에 적용
Adaptive-LoRA 250개 보정 표본으로 상위 8층(30%) 선택

주의할 점은 Table 1의 주 비교가 보정 표본 $N=250$ 을 쓰고, 배포 기본값은 $N=30$ 이라는 것입니다(Appendix C.1).

⚙️ 2. 학습·평가 세부 (Appendix C.2–C.3)

항목 값
시드 42 (PyTorch, NumPy, random), CUDA 결정론 모드
옵티마이저 AdamW, lr $1\times 10^{-4}$, weight decay 0.01, $\beta_1=0.9$, $\beta_2=0.999$, $\epsilon=10^{-8}$, 워밍업 없음
배치 장치당 8, 기울기 누적 8 → 유효 64 (4 GPU DDP 에서 256)
정밀도 FP16 AMP. 어댑터는 FP32 초기화 후 FP16 캐스팅, 기본 가중치는 FP16 고정
전처리 최대 512 토큰 절단, 8의 배수로 패딩. 상식은 객관식+답 추출, 수학은 CoT+정규식 파싱
평가 인컨텍스트 예시 없음, 탐욕 디코딩(temperature 0). GSM8K·SVAMP는 수치 답, AQUA는 객관식
하드웨어 A100 40GB ×4 (NVLink), 512GB RAM, EPYC 7763. 보정은 A100 한 장

🔢 3. 어댑터 파라미터 수 (Appendix B.5·C.1)

선택 층 $l$ 의 표적 투영 집합을 $\mathcal{T}_{l}$ 이라 하면 두 저랭크 인자의 수는

$$P_{\text{adapter} }=\sum_{l\in\mathcal{L}{\text{sel} } }\sum{p\in\mathcal{T}{l} }r{l,p}\bigl(d_{\text{in},l,p}+d_{\text{out},l,p}\bigr)$$

입니다. Qwen2.5-1.5B는 은닉 너비 1536, 쿼리 헤드 12개, 키/값 헤드 2개(너비 128)이므로 Q 출력 너비 1536, K/V 각 256입니다. 층당 인자 수는 $r[(1536+1536)+2(1536+256)]=6656r$ 이고, 랭크 16에서 28층 2,981,888개, 8층 851,968개입니다.

방법 (r=32, Q/K/V) 적응 층 A/B 인자 (M) 상식 평균 (%)
LoRA 28/28 5.964 60.4
LoRA+ 28/28 5.964 61.1
DoRA 28/28 5.964 59.1
Adaptive-LoRA 8/28 1.704 62.2

이 수는 모델 차원에서 계산한 구조적 값이며 DoRA의 크기 벡터 같은 방법 고유 파라미터는 제외합니다. 저장 측면에서 랭크 32 Q/K/V 어댑터 100개는 FP16에서 전층 약 1.19GB, 8층 약 0.34GB입니다.

💡 Key Takeaway 비교의 공정성은 “같은 랭크, 같은 표적 투영, 같은 학습 데이터·에폭·시드”에서 층 수만 28 vs 8로 다르다는 데 있습니다. 파라미터 3.5배 차이는 여기서 나옵니다.

주 결과: 30% 층으로 전층 기준선 상회 (Table 1)

세 기준선은 28층 전부, Adaptive-LoRA는 8층(예산 28.6%)입니다. 시드 42, 각 랭크의 최고 평균이 원문에서 굵게 표시됩니다.

📋 1. 전체 표

방법 랭크 층 예산 % BoolQ PIQA SIQA Hella Wino ARC-e ARC-c OBQA 상식 평균 GSM8K SVAMP AQUA 수학 평균
LoRA r4 28/28 100 63.0 52.4 45.6 38.2 53.0 54.8 42.6 38.0 48.5 32.4 38.6 28.4 33.1
LoRA r8 28/28 100 63.2 57.8 52.4 44.6 54.2 60.4 48.2 43.8 53.1 38.2 42.8 31.6 37.5
LoRA r16 28/28 100 63.4 64.8 58.6 46.8 55.4 65.2 52.4 48.6 56.9 42.6 46.4 34.2 41.1
LoRA r32 28/28 100 63.8 66.2 62.4 48.2 56.0 72.6 60.8 53.2 60.4 48.2 50.6 37.8 45.5
LoRA+ r4 28/28 100 63.4 54.8 46.2 39.4 53.4 55.6 43.8 39.2 49.5 34.2 39.4 29.0 34.2
LoRA+ r8 28/28 100 63.0 58.4 53.6 45.2 54.8 61.8 49.6 44.8 53.9 40.6 44.2 33.4 39.4
LoRA+ r16 28/28 100 63.2 65.6 59.2 48.4 55.8 66.8 54.0 49.8 57.9 44.8 48.0 35.8 42.9
LoRA+ r32 28/28 100 63.6 67.4 63.0 49.8 56.4 73.2 61.6 54.0 61.1 50.4 52.8 38.6 47.3
DoRA r4 28/28 100 62.4 51.8 44.2 36.8 52.6 52.4 40.2 36.4 47.1 30.2 36.8 26.8 31.3
DoRA r8 28/28 100 63.0 56.4 50.6 42.8 53.6 58.8 46.4 42.0 51.7 36.4 41.2 30.4 36.0
DoRA r16 28/28 100 63.2 62.4 56.4 45.2 54.6 63.8 50.8 47.2 55.5 40.8 44.6 33.2 39.5
DoRA r32 28/28 100 63.4 65.0 60.8 47.4 55.8 70.4 58.2 51.8 59.1 46.0 48.8 36.4 43.7
Ours r4 8/28 28.6 62.8 54.2 47.2 40.0 53.6 56.4 44.0 39.8 49.8 34.8 40.2 29.6 34.9
Ours r8 8/28 28.6 63.4 59.6 54.8 46.2 55.0 63.2 51.8 46.4 55.1 40.4 44.6 33.8 39.6
Ours r16 8/28 28.6 63.6 65.4 60.8 50.2 56.8 68.4 56.2 51.6 59.1 45.2 48.8 36.0 43.3
Ours r32 8/28 28.6 64.0 67.8 64.2 52.6 57.4 73.8 62.4 55.0 62.2 50.8 53.4 39.2 47.8

📈 2. 읽기

비교 값
r16 상식 평균 Ours 59.1 vs LoRA 56.9, LoRA+ 57.9, DoRA 55.5
r32 상식 평균 Ours 62.2 vs LoRA+ 61.1, LoRA 60.4
r32 수학 평균 Ours 47.8 vs LoRA+ 47.3, LoRA 45.5
r32 PIQA Ours 67.8 vs LoRA+ 67.4
전층 LoRA 대비 상식 개선 r4 +1.3, r8 +2.0, r16 +2.2, r32 +1.8 pp

개선은 시험한 용량 범위 전체에서 지속되고 r16에서 가장 큽니다. 저자들은 이를 선택 층에 적응 용량을 집중하는 것의 가치로 보며, 암묵적 정규화(implicit regularization) 해석과 일치한다고 봅니다.

🔁 3. 지속 학습 LoRA 방법과의 단일 과제 비교 (Table 11)

Qwen-1.5B, $r=16$, 학습 10,000개, $t=1$ 설정입니다. 이전 과제가 없으므로 InfLoRA는 데이터 유도 고정 입력 투영을 유지하고 출력 투영만 학습하며, TreeLoRA는 층별 어댑터와 희소 갱신을, GainLoRA는 단일 어댑터 분기와 입력 의존 게이트를 유지합니다.

방법 적응 층 상식 평균 (%)
Full LoRA 28/28 56.9
InfLoRA 28/28 58.0
GainLoRA 28/28 58.5
TreeLoRA 28/28 58.7
Adaptive-LoRA 8/28 59.1

💡 Key Takeaway 핵심 수치는 “28층 중 8층, 파라미터 3.5배 감소, 그런데 네 랭크 모두에서 평균 정확도 최고”입니다. 다만 Table 1은 시드 42 단일 실행이고 개선 폭은 1.3–2.2pp이므로, 유의성은 Appendix B.8의 3회 실행 결과를 함께 봐야 합니다.

모델 규모 일반화: 0.5B–32B, 다중 시드, 50% 예산

Table 2는 주 모델 Qwen2.5-1.5B와 두 아키텍처 계열·여러 규모의 다섯 모델을 같은 8개 상식 벤치마크, 학습 10,000개, 랭크 16, 시드 42에서 비교합니다. 각 모델은 $N=30$ 보정으로 상위 30% 층을 선택합니다.

📊 1. 교차 모델 결과 (Table 2)

모델 방법 층 예산 % 비율 BoolQ PIQA SIQA Hella Wino ARC-e ARC-c OBQA 평균 $\Delta$
Qwen2.5-0.5B LoRA 24/24 100.0 1.00× 63.0 49.4 35.0 25.8 49.2 23.2 23.4 27.6 37.1 –
  Ours 7/24 29.2 3.43× 63.2 50.8 37.4 28.2 50.6 25.0 24.8 28.4 38.6 +1.5
Qwen2.5-1.5B LoRA 28/28 100.0 1.00× 63.4 64.8 58.6 46.8 55.4 65.2 52.4 48.6 56.9 –
  Ours 8/28 28.6 3.50× 63.6 65.4 60.8 50.2 56.8 68.4 56.2 51.6 59.1 +2.2
Qwen2.5-3B LoRA 36/36 100.0 1.00× 61.0 60.6 59.8 68.6 55.4 84.8 77.8 67.4 66.9 –
  Ours 11/36 30.6 3.27× 62.4 73.8 59.4 68.2 59.6 83.6 77.2 66.4 68.8 +1.9
LLaMA-3-3B LoRA 28/28 100.0 1.00× 63.0 67.4 55.2 62.8 57.0 68.6 60.2 55.4 61.2 –
  Ours 8/28 28.6 3.50× 63.6 68.8 56.0 64.2 57.8 69.4 61.8 57.2 62.4 +1.2
Qwen3-8B LoRA 36/36 100.0 1.00× 69.6 85.6 77.2 80.8 72.8 97.6 91.0 85.0 82.5 –
  Ours 11/36 30.6 3.27× 68.8 86.2 76.4 81.2 73.4 97.2 90.8 85.6 82.5 +0.0
Qwen3-32B LoRA 64/64 100.0 1.00× 72.2 90.0 77.2 89.8 81.6 98.8 95.4 93.4 87.3 –
  Ours 20/64 31.2 3.20× 73.8 91.4 76.2 87.8 81.2 98.6 94.6 93.0 87.1 −0.2

0.5B–3B 네 모델에서는 1.2–2.2pp 개선, Qwen3-8B는 동률(82.5%), Qwen3-32B는 87.1% vs 87.3%로 0.2pp 차이입니다. 과제별로 보면 지식 집약 과제(ARC-Easy, ARC-Challenge)에서는 큰 규모에서도 전층과 거의 같고, 추론 중심 과제(SIQA, HellaSwag)에서는 선택적 접근이 때때로 전층을 넘습니다. 저자들은 추론 과제가 핵심 처리 층에 집중된 적응에서 이득을 보고 지식 과제는 학습을 더 균일하게 분산한다는 가설과 일치한다고 봅니다.

🎲 2. 3회 실행 보충 (Table 10)

(a) 시드 42·123·7의 짝지은 정확도 이득(pp), (b) r16·학습 10K의 절대 정확도. 두 패널은 각자의 구성·실행 라벨을 유지하며 별도로 요약되고, SD는 3회 실행의 표본 표준편차이지 신뢰 구간이 아닙니다.

(a) 모델 / 랭크 / 표본 시드 42 시드 123 시드 7 평균 ± SD
Qwen-3B / r16 / 10K +1.5 +1.2 +1.8 +1.50 ± 0.30
Qwen-7B / r4 / 10K +1.6 +1.3 +1.8 +1.57 ± 0.25
Qwen-7B / r16 / 10K +1.7 +1.4 +1.5 +1.53 ± 0.15
Qwen3-8B / r16 / 10K +0.0 +0.3 +0.2 +0.17 ± 0.15
Qwen3-32B / r16 / 5K +0.0 +0.8 +0.7 +0.50 ± 0.44
Qwen3-32B / r16 / 10K −0.2 +0.5 +0.4 +0.23 ± 0.38
LLaMA-7B / r4 / 10K +1.2 +1.0 +1.4 +1.20 ± 0.20
LLaMA-13B / r4 / 10K +1.2 +1.0 +1.3 +1.17 ± 0.15
(b) 모델 방법 Run 1 Run 2 Run 3 평균 ± SD
Qwen-3B Full LoRA 58.3 57.8 58.3 58.13 ± 0.29
  Adaptive-LoRA 59.8 59.0 60.1 59.63 ± 0.57
Qwen-7B Full LoRA 80.8 81.0 80.8 80.87 ± 0.12
  Adaptive-LoRA 82.5 82.2 82.8 82.50 ± 0.30
LLaMA-7B Full LoRA 70.2 70.5 70.2 70.30 ± 0.17
  Adaptive-LoRA 71.5 71.2 71.8 71.50 ± 0.30

여덟 구성 모두 평균 이득이 양수(0.17–1.57pp)입니다. 가장 큰 모델에서 이득이 가장 작고 SD가 이득과 비슷한 크기라는 점은 눈여겨볼 만합니다.

📐 3. 고정 50% 예산 (Table 18)

모델별 예산 조정 없이 상위 절반 층을 선택합니다. 랭크 16, 학습 5,000개.

모델 $L$ $k$ Adaptive-LoRA Full LoRA $\Delta$
Qwen-0.5B 24 12 52.3 51.8 +0.5
Qwen-1.5B 28 14 56.2 55.8 +0.4
Qwen-3B 36 18 59.1 57.2 +1.9
Qwen-7B 32 16 80.0 79.8 +0.2
Qwen-32B 64 32 85.8 84.5 +1.3
LLaMA-3B 28 14 57.5 56.0 +1.5
LLaMA-7B 32 16 69.8 69.0 +0.8
LLaMA-13B 40 20 72.5 71.8 +0.7

🧾 4. Qwen2.5-3B 상세 (Table 3·4·5)

일반화 실험 모델에서 네 랭크 전부의 상세 결과입니다. 상식 평균과 수학 평균만 옮깁니다.

방법 랭크 층 상식 평균 수학 평균 (GSM8K / SVAMP / AQUA)
LoRA r4 36/36 65.1 54.7 (58.2 / 57.4 / 48.5)
LoRA r8 36/36 64.8 59.6 (63.6 / 62.8 / 52.4)
LoRA r16 36/36 66.9 54.0 (54.6 / 57.6 / 49.8)
LoRA r32 36/36 69.9 58.5 (62.0 / 60.4 / 53.2)
LoRA+ r4 36/36 64.9 54.8 (58.2 / 57.4 / 48.8)
LoRA+ r8 36/36 66.4 58.8 (62.8 / 61.6 / 52.0)
LoRA+ r16 36/36 67.5 59.4 (63.2 / 62.4 / 52.6)
LoRA+ r32 36/36 68.2 60.5 (64.6 / 63.8 / 53.2)
DoRA r4 36/36 62.0 46.5 (43.8 / 53.2 / 42.6)
DoRA r8 36/36 66.3 58.7 (61.6 / 62.6 / 51.8)
DoRA r16 36/36 66.5 51.7 (52.4 / 55.6 / 47.2)
DoRA r32 36/36 67.8 58.1 (60.2 / 61.8 / 52.4)
Ours r4 11/36 66.4 57.5 (61.2 / 60.4 / 50.8)
Ours r8 11/36 67.3 60.9 (65.0 / 64.2 / 53.6)
Ours r16 11/36 68.8 61.5 (64.6 / 65.0 / 54.8)
Ours r32 11/36 71.1 62.7 (66.4 / 65.8 / 56.0)

Table 5는 과제별로 네 랭크 중 최고 점수를 뽑은 것인데, Adaptive-LoRA가 11개 과제 전부에서 최고이고 가장 강한 기준선 대비 평균 격차는 약 +0.8pp입니다. 상식 과제의 격차는 +0.2–0.4pp로 작고, 수학에서 더 큽니다(GSM8K +1.8, SVAMP +2.0, AQUA +2.8). 기준선 LoRA·DoRA의 수학 평균이 r8에서 r16으로 가며 떨어지는 비단조성(59.6→54.0, 58.7→51.7)도 표에서 보입니다.

💡 Key Takeaway 규모가 커질수록 이득은 줄어 8B·32B에서는 “보존”에 가깝습니다. 저자들의 주장은 “항상 더 좋다”가 아니라 “작은 모델에서는 더 좋고, 큰 모델에서는 30% 파라미터로 전층 성능을 거의 유지한다”로 읽는 것이 정확합니다.

층 선택 전략 ablation과 보정 비용·안정성

RQ2(최적 예산)와 RQ3(휴리스틱 대비)을 위해, 층 예산 $k$ 를 4에서 36까지 바꾸며 네 전략을 비교합니다. Alpaca-ZH 퍼플렉시티, $r=16$, 3 에폭, 3,000개 표본으로 동일한 하이퍼파라미터입니다.

📉 1. 네 전략의 PPL (Table 9)

층 수 Adaptive Random Sequential Reverse
4 21.05 24.62 21.06 24.86
8 17.11 19.48 17.32 19.79
12 12.32 16.42 14.06 15.00
16 10.31 11.85 11.71 12.03
20 9.04 9.84 9.77 10.33
24 7.91 8.36 7.92 9.07
28 6.97 7.30 6.55 8.04
32 6.32 6.30 6.03 7.08
36 5.75 5.75 5.75 5.75

12층에서 Adaptive는 Random 대비 25.0%, Sequential 대비 12.4%, Reverse 대비 17.8% 개선이며 Random과의 PPL 격차는 4.10입니다. 36층에서는 모든 전략이 같은 전체 집합을 선택해 5.75로 수렴하는 것이 예상된 통제입니다. 눈여겨볼 점은 28층과 32층에서 Sequential이 Adaptive보다 낮은 PPL을 보인다는 것입니다(6.55 vs 6.97, 6.03 vs 6.32). 즉 보정의 이득은 예산이 제한될 때 집중됩니다.

Finding 5 (제한 예산에서의 선택) : 36층 중 12층에서 Adaptive-LoRA는 같은 예산의 Random 대비 퍼플렉시티를 25.0% 줄이며, 이것이 측정된 최대 상대 이득입니다. 보정은 적응 용량이 제한될 때 특히 가치 있습니다.

⏱️ 2. 보정 표본 크기와 비용 (Table 12·13)

Qwen2.5-1.5B 상식 분할, r16에서 $N$ 을 바꿉니다.

$N$ 시간 (s) 상식 평균 $\Delta$ vs $N=30$
10 14 59.4 −0.4
20 28 59.6 −0.2
30 42 59.8 0.0
50 69 59.9 +0.1
100 137 59.7 −0.1

하류 정확도는 0.5pp 범위 안에서 움직이므로 $N=30$ 이 비용–정확도 균형점입니다. 보정 비용은 (1) 표본 추출(무시 가능), (2) $O(NL)$ 기울기 없는 순전파(약 40초), (3) 정렬·선택(1ms 미만)으로 구성되며, 약 40–42초는 이 구성의 1.5–2시간 파인튜닝의 1% 미만입니다.

모델 $k$ Jaccard (5회 추출) 보정 (s) 전층 LoRA 학습 (s, 1,000개·3 에폭)
Qwen-3B 10 0.653 45 713
Qwen-7B 16 0.682 62 1,240
LLaMA-3B 8 0.747 29 714
LLaMA-7B 16 0.738 58 1,180

보정 29–62초는 참조 전층 학습 시간의 4.1–6.3%입니다.

🎯 3. 보정 추출 간 안정성 (Table 14)

다섯 번의 독립 추출로 보정을 반복한 선택 Jaccard입니다.

모델 $N$ $k$ Jaccard
Qwen-0.5B 30 7 0.653
Qwen-1.5B 30 8 0.617
Qwen-3B 30 10 0.653
Qwen-7B 30 16 0.682
LLaMA-3B 30 8 0.747
LLaMA-7B 30 16 0.738
Qwen-3B 10 10 0.524
Qwen-3B 50 10 0.671
Qwen-3B 100 10 0.685

Qwen-3B에서 $N=10\to30$ 의 이득은 0.129, $N=30\to100$ 은 0.032입니다. 다만 $N=30$ 에서 Jaccard가 0.62–0.75라는 것은, 같은 분포에서 다시 뽑아도 선택된 층의 1/4–1/3이 바뀐다는 뜻이기도 합니다.

🔀 4. 교차 분포 보정 (Table 15)

Qwen-3B, $r=16$, 학습 5,000개에서 보정 출처와 학습 분포를 바꿉니다. Jaccard는 학습 분포에 맞춘 보정과의 선택 겹침입니다.

보정 출처 학습 표적 Jaccard 정확도 (%)
Alpaca-EN Alpaca-EN (일치) 1.000 75.2
Alpaca-EN Code-Alpaca 0.453 72.8
Alpaca-EN Dolly 0.512 73.1
Code-Alpaca Alpaca-EN 0.482 73.5
무작위 선택 — — 70.2

불일치 보정도 무작위(70.2%)보다 2.6–3.3pp 높지만 일치 보정(75.2%)보다는 1.7–2.4pp 낮습니다.

📉 5. 학습 동역학 (Appendix B.6)

Qwen2.5-1.5B r16, 상식 10,000개·3 에폭에서 스텝별 손실을 기록하면, Adaptive-LoRA는 첫 에폭에서 더 빨리 수렴합니다(500 스텝 후 0.82 vs LoRA 0.91, LoRA+ 0.89). 1 에폭 후 모든 방법이 비슷한 최종 학습 손실(0.42–0.45)로 수렴하지만 평가 정확도 격차는 유지·확대되어, 저자들은 이를 학습 적합이 아니라 일반화의 차이로 해석합니다. 선택 층의 기울기 노름은 전층 LoRA의 해당 층보다 1.4–1.8배 크고, 전층 LoRA의 비선택 층은 2–5배 작은 기울기를 받습니다.

💡 Key Takeaway ablation의 정직한 결론은 “예산이 빠듯할 때(12/36) 보정이 가장 가치 있고, 예산이 넉넉하면(28/36 이상) 순차 선택과 차이가 없거나 뒤집힌다”입니다. 보정 안정성 Jaccard 0.62–0.75와 교차 분포 0.45–0.51도 “층 선택이 결정적이지 않다”는 점을 보여 주므로, 선택된 집합 자체보다 점수 분포의 상위 핵심이 중요하다고 읽는 편이 안전합니다.

효율 모드: 깊이 제약과 학습 속도

두 운영 모드는 같은 Eq. 5 점수로 층을 순위 매깁니다. 효율 모드는 후보를 $l\geq d^{*}$ 로 제한해, 실제 첫 선택 층 $d=\min\mathcal{L}_{\text{sel} }$ 아래의 고정 접두부를 재사용합니다.

🧊 1. 접두부 캐싱의 원리 (Appendix E.6)

캐시되지 않은 순전파는 여전히 모든 백본 층을 평가합니다. 적응 층 위의 고정 층은 기울기를 전파해야 하고, 완전히 고정된 접두부만 역전파 그래프가 필요 없습니다. 고정된 처리 입력과 결정론적·드롭아웃 없는 접두부에 대해 깊이 $d$ 의 상태를 첫 에폭에 캐시하고 이후 재사용합니다. 호스트 메모리 캐시는 $n_{\text{train} }Td_{\text{model} }$ 원소로 커지며 배치마다 스트리밍됩니다. 비선택 어댑터 분기를 제거하면 그 자체의 순전파·역전파·옵티마이저 비용도 줍니다.

통제 연구는 H200 한 장, PyTorch 2.10, PEFT 0.18, bf16, AdamW, 배치 8, 시퀀스 512이며 기울기 체크포인팅·누적·DDP가 없습니다. 스텝 측정은 5회 워밍업 후 15 스텝의 중앙값입니다.

⚡ 2. 속도 (Table 16)

전층 LoRA 대비 속도 향상입니다. 명목 $k\approx L/3$. Step 열은 접두부 재사용 없음, steady epoch는 재사용 포함, 3 에폭 합계는 캐시 구축 포함입니다.

모델 $L$ 전층 스텝 (ms) $d=0$ Step $d=L/2$ Step $d=L/2$ Steady ep. $d=L/2$ 3 ep.
Qwen2.5-0.5B 24 62.22 1.131 1.412 1.461 1.444
Qwen2.5-3B-Instruct 36 168.78 1.097 1.446 1.900 1.720
Llama-3.2-3B 28 178.36 1.105 1.448 1.914 1.729
Llama-3.1-8B 32 325.85 1.078 1.412 1.934 1.722

$d=0$ 에서는 1.08–1.13배, $d=L/2$ 에서는 3B·8B 모델이 steady epoch 1.90–1.93배, 3 에폭 1.72–1.73배입니다. 이 학습 시간에는 별도로 잰 A100 보정 단계가 포함되지 않습니다.

⚖️ 3. 속도–정확도 운영점 (Table 17)

Qwen2.5-0.5B, $k=8$, $r=16$, 3 에폭, 두 시드. $d^{*}$ 는 허용 최소 깊이, $d$ 는 실제 첫 선택 층입니다.

모드 $d$ Code-Alpaca PPL Alpaca-EN PPL 속도 (steady epoch)
정확도 (제약 없음) 0 2.294 4.821 1.13×
효율, $d^{*}=L/4$ 7 2.301 4.854 1.35×
효율, $d^{*}=L/2$ 12 2.308 4.907 1.46×
가장 깊은 $k$ 참조 16 2.343 5.031 1.61×

$d^{}=L/4=6$ 일 때 실제 첫 선택 층은 7이고 정확도 모드 대비 PPL 증가는 0.3%·0.7%입니다. $d^{}=L/2$ 에서 선택 집합은 ${12,13,14,15,20,21,22,23}$ 이고 증가는 0.6%·1.8%입니다. 가장 깊은 8층 참조는 증가가 더 크고(2.2%, 4.4%) 속도는 더 빠릅니다. 공통 보정 순위가 품질–속도 선택지를 제공한다는 것이 요지입니다.

💡 Key Takeaway 파라미터 3.5배 감소가 곧 학습 3.5배 가속은 아닙니다. 정확도 모드의 가속은 1.1배 안팎이고, 약 1.9배 가속은 초기 층을 포기하는 효율 모드에서만 나옵니다. Finding 3이 초기 층을 가장 중요하다고 했으므로, 효율 모드는 자기 분석과 상충하는 비용을 PPL 0.3–1.8%로 치르는 셈입니다.

한계와 향후 과제

저자들은 Appendix A에서 네 가지 한계를 밝히고, Appendix G에서 사회적 영향을 논의합니다. 여기에 표 간 대조에서 드러나는 점을 덧붙입니다.

📜 1. 저자가 밝힌 한계

한계 내용
선택 입도 현재는 층 수준(트랜스포머 블록 전체)만 선택. Finding 1·2(MLP 58.4%, V 우세)는 구성요소·헤드 수준 선택이 더 절약할 수 있음을 시사하나, 보정 비용이 $O(L)$ 에서 $O(L\times C)$ 로 늘어남
과제 범위 8개 상식·3개 수학 과제는 주로 사실 회상과 논리 추론을 봄. 생성 과제(대화·창작·요약)는 후기 층 의존이, 장문맥(문서 QA·다중 턴)은 중간 층 라우팅 의존이 다를 수 있음
이론적 기반 왜 초기 층이 적응 중요도를 지배하는지(Finding 3), 왜 과제별 패턴이 특정 깊이에서 나타나는지(Finding 4)를 설명할 형식 이론이 없음. 잔차 스트림의 정보 이론적 분석이 보정 데이터 없는 선택을 가능케 할 수 있음
동적 선택 층은 학습 전에 한 번 선택되고 고정됨. 학습 중 재보정으로 변하는 중요도를 포착하는 방향은 별도 과제

사회적 영향으로는 파인튜닝 비용 감소가 오용 비용도 낮출 수 있다는 점(적응 후 안전 행동 평가 권고)과, 보정 데이터가 편향되면 선택 층이 소외 집단에 일반화되지 않을 수 있다는 층 선택 편향을 꼽습니다. 코드는 MIT 라이선스로 공개 예정이나 이 판에는 링크가 없습니다.

🔍 2. 표를 대조하면 보이는 점

  • 보정 표본 크기의 불일치 : Table 1 주 비교는 $N=250$, 배포 기본값과 Table 2·12·13·14는 $N=30$ 입니다. Table 12의 $N=30$ 상식 평균 59.8%와 Table 1 r16의 59.1%는 다른 실행이므로 직접 비교할 수 없습니다.
  • “Qwen-3B”의 서로 다른 수치 : Table 2의 Qwen2.5-3B r16·10K 상식 평균은 전층 66.9 / Ours 68.8인데, Table 10(b)의 “Qwen-3B” r16·10K 는 58.13 / 59.63이고 Table 18의 5K 는 57.2 / 59.1, Table 13의 $k$ 는 10(Table 2는 11)입니다. 같은 이름의 모델이 다른 설정을 가리키는 것으로 보이며, 본문은 이를 설명하지 않습니다.
  • 부록 모델 식별 : Table 13·14·18의 “Qwen-7B”($L=32$)·”Qwen-32B”·”LLaMA-7B/13B”는 어느 세대의 모델인지 명시되지 않습니다. Appendix F.1은 LLaMA-2 7B를 언급합니다.
  • 단일 시드 : Table 1·2는 시드 42 한 번이고, 다중 시드는 다른 모델·설정의 Table 10에만 있습니다. Table 1의 1.3–2.2pp 개선 자체의 분산은 보고되지 않습니다.
  • 큰 예산에서의 역전 : Table 9에서 28·32층 예산은 Sequential이 Adaptive보다 낮은 PPL입니다. “보정 선택이 항상 낫다”가 아니라 “제한 예산에서 낫다”가 정확한 결론입니다.
  • 측정의 범위 : 모든 중요도는 top-1 토큰 확률의 절대 변화라는 한 지표로 정의됩니다. 분포 전체(KL)나 생성 품질 기준에서 층 순위가 같은지는 검토되지 않았습니다.

💡 Key Takeaway 이 논문의 견고한 부분은 “구성요소·층 수준의 적응 희소성”과 “제한 예산에서 보정 선택의 이득”입니다. 가장 큰 모델에서의 이득 소멸, 부록 표 사이의 설정 불일치, 단일 시드 주 결과는 결과를 인용할 때 함께 적어야 할 조건입니다.