소량의 대화 말뭉치에서 학습 가능한 효과적인 생성 기반 챗봇 모델

김진태, 이현구, 김학수

http://doi.org/10.5626/JOK.2019.46.3.246

잘 알려진 검색 기반 챗봇 모델과 다르게 생성 기반 챗봇 모델은 사전에 정의된 응답에 의존하지 않고 학습된 신경망 모델을 사용하여 새로운 응답을 생성한다. 하지만 생성 기반 챗봇 모델은 발화-응답 쌍의 형태를 가진 대용량의 대화 말뭉치가 필요하다. 학습 말뭉치가 충분하지 않은 경우 구문론적 오류가 발생한다. 본 논문은 이 문제를 해결하기 위해 인코딩-디코딩 단위를 형태소와 음절이 복합적으로 사용된 시퀀스-투-시퀀스 신경망 기반의 챗봇을 제안한다. 또한 대용량의 비 대화 말뭉치를 이용하여 사전 학습하고 소량의 대화 말뭉치를 이용하여 재학습하는 2단계 학습 방법을 제안한다. 소량의 대화 말뭉치(47,089개의 발화-응답 쌍 학습 데이터와 3,000개의 발화-응답 쌍 평가 데이터)를 사용한 실험에서 제안한 인코딩-디코딩 단위는 미등록어 문제를 감소시키는데 도움을 주었고, 2단계 학습 방법은 BLEU와 ROUGE와 같은 성능 향상에 도움을 주었다.