디지털 라이브러리[ 검색결과 ]
일반 상식 기반 기계 독해를 위한 Type-specific 다중 헤드 공유 인코더 모델
http://doi.org/10.5626/JOK.2023.50.5.376
기계 독해는 주어진 컨텍스트를 기반으로 다양한 문제를 해결함으로써 기계의 자연어 이해를 평가할 수 있도록 도입된 태스크이다. 기계의 자연어 이해 평가를 위해서는 주어진 맥락을 완전히 이해한 상태에서 상식적인 추론이 가능해야 한다. 이러한 추론이 가능하도록 본 연구에서는 일반 상식 기반 기계 독해를 위한 멀티-태스크 학습 방법과 모델을 제안한다. 연구의 기여는 다음과 같이 요약된다: 1) 일반 상식 기반 기계 독해 기술 학습을 위한 태스크 유형별 데이터셋 구성 방법을 제안한다. 2) 상식 학습이 가능한 Type-specific 다중 헤드 공유 인코더 모델을 포함해 멀티-태스크 학습 방법과 배치 샘플링 기법을 제안한다. 3) 제안된 방법을 CosmosQA데이터셋에 평가했을 때 기존 베이스라인 모델보다 2.38% 향상된 성능을 보인다.
기계독해 기반 부분 트리 연결 방법을 적용한 한국어 의존 파싱
http://doi.org/10.5626/JOK.2022.49.8.617
한국어 의존 파싱은 전이 기반 방식과 그래프 기반 방식의 두 갈래로 연구되어 왔다. 그 중 그래프 기반 의존 파싱은 입력 문장을 인코딩한 후 지배소, 의존소에 대한 MLP를 적용하여 각각의 표상을 얻고 Biaffine 어텐션을 통해 모든 단어 쌍에 대한 그래프 점수를 얻어 이를 통해 트리를 생성하는 Biaffine 어텐션 모델이 대표적이다. Biaffine 어텐션 모델에서 문장 내의 각 단어들은 구문 트리 내의 부분 트리의 역할을 하지만 두 단어간의 의존성만을 판단하기 때문에 부분 트리의 정보를 효율적으로 활용할 수 없다는 단점이 존재한다. 본 연구에서는 이러한 단점을 해결하기 위해 제안된 Span-Span(부분 트리-부분 트리)로의 부분 트리 정보를 직접 모델링하는 기계 독해 기반 의존 파싱 모델을 한국어 구문 분석 데이터 셋에 적용하여 기존 Biaffine 어텐션 방식의 의존 파싱 모델 대비 향상된 결과를 얻었다.
사전 학습된 Encoder-Decoder 모델 기반 질의응답 쌍 생성을 통한 기계 독해 학습 데이터 증강 기법
http://doi.org/10.5626/JOK.2022.49.2.166
기계 독해 연구는 문서에서 질문에 대한 정답을 찾는 것으로 대규모 데이터가 필요하지만 개인 연구자나 소규모 연구 기관이 구축하는 것은 한계가 있다. 이에 본 논문은 사전 학습 언어모델을 활용한 기계 독해 데이터 증강 기법을 제안한다. 기계 독해 데이터 증강 기법은 질의응답 쌍 생성 모델과 데이터 검증 모델로 구성된다. 질의응답 쌍 생성 모델은 정답 추출 모델과 질문 생성 모델로 구성되며, 두 모델 모두 BART 모델을 미세 조정하여 구축하였다. 데이터 검증 모델은 증강 데이터의 신뢰성을 높이기 위해 별도로 추가하였으며, 증강 데이터의 활용 여부를 결정한다. 검증 모델은 ELECTRA 모델을 기계 독해 모델로 미세 조정하여 사용하였다. 증강 기법을 통한 모델 성능 개선을 확인하기 위해 KorQuAD v1.0 데이터에 증강 기법을 적용하였다. 실험 결과 기존 모델 대비 EM Score의 경우 최대 7.2 상승하였고 F1 Score는 최대 5.7 상승하는 유의미한 결과를 도출하였다.
기계 독해 성능 개선을 위한 데이터 증강 기법
http://doi.org/10.5626/JOK.2021.48.12.1298
기계 독해(Machine Reading Comprehension)란 컴퓨터가 주어진 텍스트의 의미를 이해 및 이를 평가하는 방법으로, 자연어 이해를 위한 중요한 기술 중 하나이다. 주어진 글에 대해서 질의가 주어졌을 때, 이에 대한 올바른 응답을 찾는 질의-응답이 가장 대표적인 기계 독해 과제이다. 기계 독해 기술은 최근 심층 인공신경망 기반의 자연어 처리 기술의 발달에 따라 획기적인 성능 개선을 보였다. 그럼에도 불구하고, 주어진 데이터가 희소할 때 성능 개선에 어려움이 있을 수 있다. 이를 해결하기 위해 본 논문에서는 단어 단위 및 문장 단위의 텍스트 편집을 통한 데이터 증강 기법을 활용하여 기존 모델의 변경을 최소화하며 성능 개선을 하고자 한다. 즉, 본 연구에서는 영어 질의응답 데이터에서 가장 널리 활용되고 있는 사전 학습된 언어 모델 기반의 기계 독해 모델에 데이터 증강 기법을 적용하여 기존 모델 대비성능이 향상되는 것을 확인하였다.
Analysis of the Semantic Answer Types to Understand the Limitations of MRQA Models
Doyeon Lim, Haritz Puerto San Roman, Sung-Hyon Myaeng
http://doi.org/10.5626/JOK.2020.47.3.298
최근 MRQA 모델들의 성능이 인간을 넘어섰다. 그리하여 MRQA 모델의 새로운 가능성들을 찾기 위해 새로운 데이터 셋들이 소개되고 있다. 하지만, 이전 MRQA모델들이 어떤 유형에서 문제를 잘풀고 어떤 한계점이 있는지 자세한 분석을 통해 새로운 데이터셋을 제시하는 경우는 거의 없었다. 이 연구에서는 MRQA가 극복했다고 여겨지는 SQuAD 데이터 셋을 분석하여 MRQA가 언어를 이해한 것이 아니라 특정한 패턴을 찾아냈다는 것을 밝혀낸다. 이 과정에서 기존 QA데이터 셋에서 주로 등장하는 wh-word와 Lexical Answer Type (LAT) 정보에 많은 모델들이 특히 집중하고 있다는 것을 밝히고, 그 때문에 질의와 문서의 정보를 충분히 이해하지 못하고 있다는 것을 정성, 정량적인 수치로 보였다. 이러한 분석을 바탕으로 앞으로 MRQA의 데이터셋의 방향과 모델들이 극복해야할 한계점을 제시하였다.
S²-Net을 이용한 한국어 기계 독해
http://doi.org/10.5626/JOK.2018.45.12.1260
기계 독해는 주어진 문맥을 이해하고, 질문에 적합한 답을 문맥 내에서 찾는 문제이다. Simple Recurrent Unit (SRU)은 GRU 등과 같이 neural gate를 이용하여 RNN에서 발생하는 베니싱 그래디언트 문제를 해결하고, gate 입력에서 이전 hidden state를 제거하여 GRU보다 속도를 향상시킨 모델이며, Self-matching Network는 R-Net 모델에서 사용된 것으로, 자기 자신의 RNN sequence에 대하여 어텐션 가중치를 계산하여 비슷한 의미 문맥 정보를 볼 수 있기 때문에 상호참조해결과 유사한 효과를 볼 수 있다. 본 논문에서는 한국어 기계 독해 데이터 셋을 구축하고, 여러 층의 SRU를 이용한 Encoder에 Self-matching layer를 추가한 S2-Net 모델을 제안한다. 실험 결과, 본 논문에서 제안한 S²-Net 모델이 한국어 기계 독해 데이터 셋에서 EM 70.81%, F1 82.48%의 성능을 보였다.
