조준희  고영중

10.5626/JOK.2022.49.10.884

목적 지향 대화 시스템 사전 학습된 언어 모델 멀티 태스크 학습 지식 기반 대화

목적 지향 대화 시스템은 사용자의 질문에 적절한 응답을 생성하기 위해서 체계적으로 구축된 데이터베이스 형태의 외부 지식을 활용한다. 그러나 더욱 적절하고 유창한 응답을 생성하기 위해서 웹 데이터 또는 FAQs와 같은 비정형 텍스트 형태의 외부 지식을 활용할 수 있어야 한다. 본 논문에서는 사전 훈련된 언어모델과 그래프 신경망을 멀티 태스크 학습 방법을 통해 효과적으로 결합한 비정형 텍스트 형태의 외부 지식을 활용하는 목적 지향 대화 시스템을 위한 지식 선택 모델을 제안한다. 제안 모델은 언어정보를 해석하는 능력뿐만 아니라 의존 구문 분석기를 통해 정형화된 외부 지식으로부터 잠재된 구조적 정보를 파악하여 시스템이 외부 지식을 효과적으로 선택할 수 있다. 실험 결과 제안 모델은 사전 학습된 크로스-인코더(cross-encoder)와 바이-인코더(bi-encoder)구조의 언어모델보다 의미 있는 성능 향상을 보였다.