Analysis of the Semantic Answer Types to Understand the Limitations of MRQA Models 


47권  3호, pp. 298-309, 3월  2020
10.5626/JOK.2020.47.3.298


PDF

  요약

최근 MRQA 모델들의 성능이 인간을 넘어섰다. 그리하여 MRQA 모델의 새로운 가능성들을 찾기 위해 새로운 데이터 셋들이 소개되고 있다. 하지만, 이전 MRQA모델들이 어떤 유형에서 문제를 잘풀고 어떤 한계점이 있는지 자세한 분석을 통해 새로운 데이터셋을 제시하는 경우는 거의 없었다. 이 연구에서는 MRQA가 극복했다고 여겨지는 SQuAD 데이터 셋을 분석하여 MRQA가 언어를 이해한 것이 아니라 특정한 패턴을 찾아냈다는 것을 밝혀낸다. 이 과정에서 기존 QA데이터 셋에서 주로 등장하는 wh-word와 Lexical Answer Type (LAT) 정보에 많은 모델들이 특히 집중하고 있다는 것을 밝히고, 그 때문에 질의와 문서의 정보를 충분히 이해하지 못하고 있다는 것을 정성, 정량적인 수치로 보였다. 이러한 분석을 바탕으로 앞으로 MRQA의 데이터셋의 방향과 모델들이 극복해야할 한계점을 제시하였다.


  통계
2022년 11월부터 누적 집계
동일한 세션일 때 여러 번 접속해도 한 번만 카운트됩니다. 그래프 위에 마우스를 올리면 자세한 수치를 확인하실 수 있습니다.
  논문 참조

[IEEE Style]

D. Lim, H. P. S. Roman, S. Myaeng, "Analysis of the Semantic Answer Types to Understand the Limitations of MRQA Models," Journal of KIISE, JOK, vol. 47, no. 3, pp. 298-309, 2020. DOI: 10.5626/JOK.2020.47.3.298.


[ACM Style]

Doyeon Lim, Haritz Puerto San Roman, and Sung-Hyon Myaeng. 2020. Analysis of the Semantic Answer Types to Understand the Limitations of MRQA Models. Journal of KIISE, JOK, 47, 3, (2020), 298-309. DOI: 10.5626/JOK.2020.47.3.298.


[KCI Style]

Doyeon Lim, Haritz Puerto San Roman, Sung-Hyon Myaeng, "Analysis of the Semantic Answer Types to Understand the Limitations of MRQA Models," 한국정보과학회 논문지, 제47권, 제3호, 298~309쪽, 2020. DOI: 10.5626/JOK.2020.47.3.298.


[Endnote/Zotero/Mendeley (RIS)]  Download


[BibTeX]  Download



Search




Journal of KIISE

  • ISSN : 2383-630X(Print)
  • ISSN : 2383-6296(Electronic)
  • KCI Accredited Journal

사무국

  • Tel. +82-2-588-9240
  • Fax. +82-2-521-1352
  • E-mail. chwoo@kiise.or.kr