대형언어모델(LLM)의 가중치를 새로 수정하지 않고 전체의 0.05%도 안 되는 가중치를 선택적으로 제거하는 것만으로 수학 추론과 도구 사용 능력을 크게 높일 수 있다는 연구 결과가 나왔다. 전체 가중치를 다시 조정하는 기존 방식과 비슷한 성능을 달성하면서도 학습 결과를 저장하는 데 필요한 용량을 크게 줄이고, 기존에 습득한 능력도 유지할 수 있다는 점에서 주목된다.
뉴욕대학교(NYU)와 캐나다 캘거리대학교 공동 연구진은 지난 7일 공개한 논문 'LLM 후속학습에서 가중치 삭제의 놀라운 효과'를 통해 이 같은 결과를 발표했다. 논문은 AI 학술대회 '뉴립스(NeurIPS) 2026'에 채택됐다.
연구진은 '삭제 튜닝(Deletion Tuning)'이라는 새로운 후속학습 기법을 제안했다. 기존의 전체 미세조정은 사전학습된 모델의 가중치를 다시 조정해 새로운 능력을 습득하도록 한다. 널리 쓰이는 경량 미세조정 기술 '로라(LoRA)'도 일부 가중치를 추가로 학습하는 방식이다.
삭제 튜닝은 접근법이 다르다. 사전학습된 가중치는 그대로 유지하면서 어떤 가중치를 비활성화할지만 학습한다. 이후 선택된 가중치의 값을 0으로 만들고 나머지는 원래 값으로 유지한다. 새로운 가중치를 추가하거나 기존 가중치의 값을 수정하지 않고도 모델의 능력을 개선하는 것이다.
연구진이 메타의 '라마'와 알리바바의 '큐원' 등 다양한 모델을 대상으로 실험한 결과, 전체 가중치의 0.05% 미만을 비활성화하는 것만으로 수학 추론 능력이 크게 향상됐다.
대표적으로 메타의 '라마 8B'는 수학 문제 평가인 'GSM8K'에서 기존 60.27%의 정확도를 기록했지만, 삭제 튜닝을 적용한 뒤 83.55%로 상승했다. 전체 가중치를 미세조정한 모델의 83.24%를 소폭 웃도는 결과다.
알리바바의 전문가 혼합(MoE) 모델 '큐원3-30B-A3B'에서도 비슷한 결과가 나왔다. 6개 수학 평가의 평균 정확도가 기존 49.41%에서 58.54%로 높아져 전체 미세조정 모델의 58.43%와 사실상 같은 수준을 기록했다.
수학뿐 아니라 도구 사용 능력도 개선됐다. 70억 매개변수 큐원 모델을 대상으로 도구 사용 평가인 '툴알파카(ToolAlpaca)'를 실시한 결과, 기존 41.24%였던 정확도가 삭제 튜닝 이후 69.07%로 상승했다. 전체 미세조정 모델의 68.04%를 앞섰다. 과학 문제 평가에서도 두 방식은 비슷한 성능을 기록했다.
연구진은 기존 모델이 여러 차례 시도해도 풀지 못했던 문제를 삭제 튜닝 모델이 해결할 수 있다는 사실도 확인했다. 같은 문제를 최대 128차례 풀도록 했을 때 기존 모델이 해결하지 못했던 일부 문제를 삭제 튜닝 모델은 풀어냈다. 단순히 기존에 풀 수 있던 문제의 정답률을 높이는 데 그치지 않고 문제 해결 능력 자체를 개선할 수 있음을 보여준 것이다.
학습 결과를 저장하는 데 필요한 용량도 크게 줄었다. 라마 8B 모델의 전체 미세조정 결과를 저장하려면 약 30.6GB가 필요하지만, 삭제 튜닝에서는 어떤 가중치를 유지하고 제거할지만 기록하면 되기 때문에 압축된 데이터 크기가 8.4MB에 불과했다. 약 3600분의 1 수준이다. 다만 기본 모델은 별도로 보관해야 하며, 기존 경량 미세조정 방식인 로라와 비교하면 저장 용량의 차이는 상대적으로 작다.
기존 능력을 유지하는 데도 효과를 보였다. 일반적으로 AI 모델을 특정 작업에 맞춰 추가 학습하면 이전에 잘 수행하던 작업의 성능이 떨어지는 '치명적 망각(Catastrophic Forgetting)' 현상이 발생할 수 있다. 그러나 연구진이 수학 능력을 강화한 뒤 기존의 지식과 코딩, 명령 수행 능력 등을 평가한 결과, 삭제 튜닝 모델은 원래 모델과의 평균 성능 차이가 1%포인트 이내에 머물렀다.
반면 전체 미세조정 모델은 1.3~3.1%포인트 하락했으며, 다른 경량 미세조정 방식에서는 최대 5.4%포인트의 성능 저하가 나타났다.
이 같은 효과는 강화학습뿐 아니라 지도 미세조정(SFT)과 자기증류 기반 후속학습에서도 확인됐다. 연구진은 삭제 튜닝이 서로 다른 세 가지 후속학습 방식에서 전체 미세조정과 비슷한 성능을 달성했다고 밝혔다.
이번 연구는 AI 모델의 능력을 높이기 위해 반드시 대규모 가중치를 새로 학습하거나 수정할 필요는 없을 수 있다는 사실을 보여준다. 이미 학습된 모델의 일부 연결을 선택적으로 비활성화하는 것만으로도 새로운 작업에 필요한 능력을 끌어낼 수 있다는 의미다.
특히 하나의 기본 모델을 다양한 업무에 활용하거나 새로운 능력을 지속적으로 추가해야 하는 AI 에이전트와 지속학습(Continual Learning) 분야에서 활용 가능성이 크다. 예를 들어 기업이 수학과 코딩, 고객 상담에 특화된 모델을 각각 운영할 때 전체 모델을 별도로 저장하는 대신, 공통 모델에 작업별 가중치 삭제 정보만 적용하는 방식이다.
연구진은 최대 300억 매개변수 모델까지 실험했으며, 일부 작은 모델에서는 전체 미세조정에 미치지 못하는 결과도 나타났다고 밝혔다. 현재 상용 최첨단 모델과 더 큰 규모의 모델에서도 동일한 효과가 나타날지는 검증되지 않았다. 또 삭제할 가중치를 결정하기 위한 학습은 여전히 필요해, 저장 용량 감소가 곧 같은 비율의 학습 비용 절감을 의미하는 것은 아니다.
임대준 기자 ydj@aitimes.com