구름(KULLM): 한국어 지시어에 특화된 거대 언어 모델

이승준, 장윤나, 김정욱, 이태민, 임희석

http://doi.org/10.5626/JOK.2024.51.9.817

Large Language Models (LLM)의 출현은 자연어 처리 분야의 연구 패러다임을 전환시켰다. LLM의 핵심적인 성능 향상은 지시어 튜닝(instruction-tuning)기법의 결과로 알려져 있다. 그러나, 현재 대부분의 연구가 영어 중심으로 진행되고 있어, 다양한 언어에 대한 접근이 필요하다. 본 연구는 한국어 지시어(instruction-following)모델의 개발 및 평가 방법을 제시한다. 본 연구에서는 한국어 지시어 데이터 셋을 활용하여 LLM 모델을 튜닝하며, 다양한 데이터셋 조합의 효과에 대한 성능 분석을 수행한다. 최종 결과로 개발된 한국어 지시어 모델을 오픈소스로 제공하여 한국어 LLM 연구의 발전에 기여하고자 한다.