A Quantization Error Compensator for Fine Tuning LLM

Abstract

본 연구는 LoRA를 이용한 언어모델(LLM)의 미세조정(fine tuning)과 양자화(quantization)를 함께 수행할 때 발생하는 양자화 손실(quantization error)를 보정하는 방법을 제안하고 있습니다. 최근 빅테크를 중심으로 언어모델(LLM)에 대한 연구가 활발히 이루어졌으며, 충분한 컴퓨팅 자원을 가지지 못한 개인과 학계에서도 언어모델을 사용하고자 하는 시도가 늘어나고 있습니다. 컴퓨팅 자원이 부족한 환경에서도, 언어모델을 커스터마이징 하기 위해 LoRA adapter를 이용한 미세조정과 양자화를 통한 모델 경량화를 함께 사용하는 연구가 수행되고 있습니다. 이러한 두 방법론을 결합한 경량화된 언어모델의 미세조정은 전통적으로 양자화로 인한 추가적인 손실을 필연적으로 발생시킵니다. 그러나, 기존의 방법론에서 미세조정을 수행할 때, 양자화 손실을 직접적으로 해결하고자 하는 연구는 부족한 상황입니다. 저희가 제안한 미세조정 프레임워크인 AQEC는 새로운 adapter를 추가로 사용하여 직접적으로 양자화 손실을 보정합니다. 이러한 보정은 약 3프로의 메모리 추가 사용만으로, 미세조정이 끝난 언어모델의 정확도를 향상시킵니다. 알파카 데이터를 사용한 실험적 테스트를 통해 이 새롭고 효과적인 미세조정 프레임워크의 효과를 검증하였으며, 표준 언어모델의 이해도 성능 평가지표에서 벤치마크 프레임워크보다 우수한 성능을 보여줍니다. 결론적으로, 이 연구는 양자화된 언어모델의 미세조정 시 발생할 수 있는 추가적인 손실을 직접적으로 보정하는 방법을 제시하고 실험 테스트에서 유의미한 성과를 보여줍니다. 이 연구는 컴퓨팅 자원이 부족한 환경에서 조금 더 정확한 언어모델 사용에 대한 새로운 방향을 제시합니다.