뉴욕대와 캘거리대 연구진이 대형 언어 모델의 가중치 일부를 0으로 만드는 것만으로 새 능력을 학습하는 삭제 튜닝, 일부 가중치를 지워 과제를 익히는 방식이라는 방법을 제시했다. 모델을 과제별로 조정하는 개발자는 전체 가중치를 다시 저장하는 대신 작은 삭제 목록을 보관할 수 있다. 연구진의 실험에서는 큰 모델일수록 전체 가중치를 바꾸는 학습에 가까운 정확도를 냈고, 이전 과제 성능도 더 잘 유지했다.
1. 가중치를 새로 쓰는 대신 삭제 위치를 배운다
삭제 튜닝은 모델 내부에서 정보 흐름을 조절하는 게이트 투영 가중치, 정보 흐름을 조절하는 층의 학습값을 대상으로 한다. 각 값을 유지할지 0으로 만들지를 고르는 이진 마스크, 항목별 유지 여부를 표시하는 배열이 학습 결과다. 기존 숫자를 고쳐 쓰는 대신 남길 자리와 지울 자리를 표시하는 방식이다.
학습 중에는 연속적인 값으로 삭제 결정을 조정하다가 최종적으로 유지와 삭제 중 하나를 고르게 한다. 초기 선택에는 가중치 크기와 입력 활성값을 이용한 완다 점수, 가중치 중요도를 추정하는 기준을 쓴다. 삭제 비율은 고정하지 않으며, 주된 강화학습 비교에 쓰인 여섯 모델에서는 전체 가중치의 0.05% 미만을 삭제했다.
2. 큰 모델에서는 전체 가중치 학습에 근접했다
연구진은 매번 가장 확률이 높은 답변 조각을 선택하는 탐욕적 디코딩, 매 단계 최우선 후보를 고르는 생성법으로 평가하고, 검증 정확도가 가장 높은 체크포인트, 학습 중 저장한 모델 상태를 보고했다. 아래는 같은 모델로 수학 문제를 강화학습, 보상에 따라 답변을 개선하는 방식으로 학습한 비교다. 추가 행렬만 학습하는 LoRA, 일부 저차원 행렬만 학습하는 기법도 비교 대상으로 넣었다.
표: 같은 80억 매개변수 모델의 수학 정확도와 저장 크기
조건: Llama3-8B-Instruct, GSM8K, GRPO, 최고 검증 체크포인트, 탐욕적 디코딩, H200 GPU·FSDP; 저장 크기는 전면 파인튜닝의 fp32 가중치와 압축 마스크 등으로 모델을 복원하는 데 필요한 디스크 용량의 하한
단위: 정확도 %, 저장 크기 MB(1 GB = 1024 MB)
| 항목 | 정확도 | 저장 크기 |
|---|---|---|
| 기본 모델 | 60.27 | 0 |
| 전면 파인튜닝 | 83.24 | 30633 |
| LoRA(r=1) | 83.38 | 10.0 |
| 삭제 튜닝 | 83.55 | 8.4 |
삭제 튜닝은 이 조건에서 전면 파인튜닝과 비슷한 정확도를 내면서 저장할 변경분을 줄였다. 표의 기본 모델 크기 0은 원본 모델 외에 추가로 저장할 학습 결과가 없다는 뜻이다.
작은 모델에서는 차이가 남았다. 같은 수학 과제를 학습한 10억 매개변수 모델은 삭제 튜닝 54.44%, 전면 파인튜닝 60.50%였다. 별도의 수학 학습 자료인 SimpleRL-Zoo로 훈련한 Qwen2.5-14B는 여섯 벤치마크 평균에서 각각 55.43%, 54.87%를 기록했다.
같은 여섯 벤치마크를 평가한 Qwen3-30B-A3B에서는 각각 58.54%, 58.43%였다. 전체 300억 매개변수 중 30억을 활성화하는 혼합 전문가 모델, 입력별로 일부 전문가 층만 쓰는 구조까지 적용 범위를 넓힌 결과다.
3. 정답 모방과 자기 증류에도 적용했다
정해진 정답을 따라 배우는 지도 미세조정, 정답 예시를 기준으로 모델을 조정하는 학습에서도 효과가 나타났다. 30억 매개변수 라마 모델의 지식 평가인 MMLU-Pro 평균 정확도는 삭제 튜닝 22.28%, 전면 파인튜닝 21.19%였다. 추론 평가인 BBEH에서는 두 방식의 평균 정확도가 같았다.
모델이 직접 생성한 답변에서 교사의 다음 토큰 예측을 따라 배우는 자기 증류, 교사 모델의 예측을 학생 모델에 전달하는 학습에서는 70억 매개변수 큐원 모델로 도구 사용과 과학 문제를 학습했다. 연구진은 두 과제 모두 전면 파인튜닝에 필적하는 결과를 보고했으며, 도구 사용 정확도는 삭제 튜닝 69.07%, 전면 파인튜닝 68.04%, 과학 문제 정확도는 각각 70.61%, 71.20%였다. 지도 미세조정과 자기 증류에서 삭제 마스크는 전면 파인튜닝 체크포인트보다 600~4700배 작았다.
여러 번 답을 생성하는 평가에서도 새 문제를 풀었다. 온도 1.0에서 문제마다 128개 답을 뽑았을 때, 80억 매개변수 라마 모델의 GSM8K 해결 비율은 삭제 튜닝 99.62%, 기본 모델 95.29%였다. 이는 한 번의 답변 정확도가 아니라 여러 시도 중 문제를 풀어낸 비율이다.
4. 작은 저장 공간의 대가는 학습 메모리다
주된 강화학습 비교에서 삭제 튜닝의 마스크는 전면 파인튜닝 체크포인트보다 3600~4700배 작았다. 작업을 바꿀 때는 작은 마스크를 불러와 원본 가중치에 적용할 수 있다. 저장 부담이 줄어도 학습 중에는 대상 가중치마다 학습 변수를 두므로, 학습 메모리는 전면 파인튜닝보다 적고 LoRA보다 많다.
이전 과제 보존도 이점이다. 세 크기의 라마 모델에서 여섯 과제 평균 정확도가 강화학습 내내 기본 모델 대비 1%포인트 이내에 머물렀다. 반면 LoRA와 무작위로 고른 일부 가중치만 바꾸는 학습은 최대 5.4%포인트 하락했다.
여러 과제를 순서대로 계속 학습하는 실험은 후속 과제로 남아 있다. 이번 마스크는 게이트 투영의 개별 가중치를 지우는 방식이며, 일정한 묶음으로 삭제해 모델 적응과 압축을 함께 이루는 방식도 향후 과제로 제시됐다.
5. 처음 지울 곳보다 학습하며 고르는 과정이 중요했다
완다 점수로 삭제 위치를 한 번 고른 결과는 여섯 모델에서 기본 모델과의 차이가 2.4%포인트 이내였다. 같은 완다 점수를 출발점으로 마스크를 학습하면 기본 모델보다 최대 53.2%포인트 높아졌다. 초기 삭제 위치만으로는 얻지 못한 향상이 학습 과정에서 나왔다는 분석이다.
연구진은 가중치 변화가 얼마나 다양한 방향으로 퍼지는지, 원래 행렬의 구조를 얼마나 바꾸는지, 주요 가중치를 얼마나 건드리는지도 비교했다. 이 세 지표를 함께 보면 삭제 튜닝은 LoRA나 무작위 희소 미세조정, 일부 가중치만 선택해 조정하는 학습보다 전면 파인튜닝에 가까웠다. 적은 가중치를 지우더라도 변화의 형태는 전체 가중치를 학습할 때와 닮을 수 있다는 설명이다.
삭제 튜닝의 실용적 가치는 큰 모델의 후학습 정확도에 근접하면서 작업별 저장 부담과 이전 과제의 성능 손실을 함께 줄이는 데 있다.