디지털 라이브러리[ 검색결과 ]
S²-Net을 이용한 한국어 기계 독해
http://doi.org/10.5626/JOK.2018.45.12.1260
기계 독해는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 GRU 등과 같이 neural gate를 이용하여 RNN에서 발생하는 베니싱 그래디언트 문제를 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 S2-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 S²-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 70.81%, F1 82.48%의 성능을 보였다.
강화학습과 이중 상호 집중을 이용한 한국어 기계독해
http://doi.org/10.5626/JOK.2018.45.9.932
기계독해는 주어진 문서를 질문을 통해 이해하고 추론하여 문서에 나타나는 정답을 출력하는 질의응답 모델이다. 이러한 기계독해는 다양한 주의집중 방법과 종단형 신경망 모델을 기반으로 한다. 그러나 기존의 모델들은 문법적 정보와 구문 정보를 사용하지 않기 때문에 어휘 간의 긴 의존성을 가진 대답을 찾기 어려운 단점이 있다. 본 논문에서는 이러한 문제를 해결하기 위해 품사와 의존 구문 최단 경로를 반영한 이중 주의집중 방법의 기계독해 모델을 제안한다. 또한, 성능을 향상시키기 위해 F1-score를 보상으로 하는 강화학습 방법을 제안한다. 문서와 질의로 구성된 18,863개의 실험 데이터에서 제안 시스템은 이전의 대표적인 모델보다 높은 성능(완전 일치 정확도: 0.4566, F1-score: 0.7290)을 보였다.
