사전학습 언어모델 기반 트랜스포머를 활용한 의미유사도기반 자연어이해 의도파악 방법

정상근, 서혜인, 김현지, 황태욱

http://doi.org/10.5626/JOK.2020.47.8.748

자연어이해는 로봇, 메신저, 자연어 인터페이스 등에 활용되는 근간 기술 중 하나이다. 본 연구에서는 자연어이해 문제 중 문장의 의도를 파악하는 의도파악기술에 있어, 전통적인 분류기술을 활용하는 것이 아닌, 문장의 의미를 벡터 형태로 가공할 수 있는 문장 및 의미틀 읽기장치를 학습시키고, 훈련문장과 질의문장의 벡터 공간상의 의미거리를 측정하여, 가장 가까운 훈련문장의 의도를 질의문장의 의도로 부착하는 방법을 제안한다. 이를 위해, 사전학습 언어모델 기반 트랜스포머를 활용하여 기호 형태의 문장 및 의미틀을 벡터 형태로 변환하는 방법을 소개한다. 한국어 기반 날씨 및 내비게이션 영역의 말뭉치와 영어 기반 항공교통 예약 영역, 음성 언어 이해 시스템 영역의 자연어 말뭉치등을 활용한 다양한 실험을 통하여 제안한 방법이 성공적으로 의미벡터를 배움을 보이고, 기존 의도파악 기술 대비 높은 성능을 가짐을 보인다.