S²-Net을 이용한 한국어 기계 독해

박천음, 이창기, 홍수린, 황이규, 유태준, 김현기

http://doi.org/10.5626/JOK.2018.45.12.1260

기계 독해는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 GRU 등과 같이 neural gate를 이용하여 RNN에서 발생하는 베니싱 그래디언트 문제를 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 S2-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 S²-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 70.81%, F1 82.48%의 성능을 보였다.