모델 병합을 활용한 거대 언어 모델 기반 다중 도메인 추천 시스템

김현수, 이종욱

http://doi.org/10.5626/JOK.2025.52.6.548

최근 추천 시스템 연구에서는 사전 학습된 거대 언어 모델을 활용하여 추천 항목의 자연어 정보를 효과적으로 이해하는 거대 언어 모델 기반 추천 시스템이 주목받고 있다. 이러한 추천 시스템은 높은 정확도를 보이지만, 각 추천 도메인마다 별개의 추천 모델을 학습해야 하는 한계가 있다. 이는 여러 개의 모델을 저장하고 추론하는 비용을 증가시키며, 도메인 간 지식 공유를 어렵게 만든다. 본 연구에서는 다양한 추천 도메인에서 효과적으로 작동할 수 있는 거대 언어 모델 기반 추천 모델을 제안하기 위해, 과업 벡터(task vector) 기반 모델 병합(model merging)을 적용한다. 모델 병합 과정에서는 도메인 별로 학습된 추천 모델로부터 지식 증류(knowledge distillation)를 활용하여 모델 병합을 위한 최적의 가중치를 학습한다. 실험 결과, 제안 방법을 통해 생성한 추천 모델은 8개의 도메인에서 기존의 모델 병합 방법론을 활용한 추천 모델보다 평균 2.75% 개선된 추천 정확도를 보였으며, 학습하지 않은 새로운 도메인에서도 우수한 일반화 성능을 보임을 확인하였다.