구교성  신형진  이재성

10.5626/JOK.2025.52.11.961

양방향화 인코더 언어모델 RWKV 모델 경량화 모델

최근 개발된 Transformer 기반의 언어모델들은 유용성이 입증되었지만, 시간 및 공간 복잡도가 크며, 단방향의 자동회귀 언어모델 위주로 개발되어, 이를 보완하기 위한 경량화 모델과 양방향화 모델 등이 개발되고 있다. 이 논문에서는 경량화 언어 모델인 RWKV 모델을 인코더 모델로 변환한 양방향 RWKV 모델(Bi-RWKV)을 제안한다. 이를 위해 RWKV 내부 요소인 시간 혼합 모듈과 채널 혼합 모듈의 연결 방법을 조합하여 8가지 모델을 제안하고 평가하여 최적의 모델을 선정하였다. 다양한 모델의 공정한 비교를 위해 하이퍼파라미터 값과 모델 파라미터 수를 같거나 비슷한 수준으로 유지하였고, 사전학습도 하지 않도록 통제하였다. 개체명 인식(NER), 청킹(chunking), 한국어 형태소 및 품사 태깅 과제로 평가한 결과, 선정된 제안 모델은 정확도에서 Transformer 기반 인코더 모델보다 더 좋거나 유사했으며, 추론 시간은 2.7배에서 4배 더 빠른 것으로 나타났다.