디지털 라이브러리[ 검색결과 ]
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
http://doi.org/10.5626/JOK.2024.51.4.326
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다.
그래프와 트리 구조를 활용한 한국어 문장제 수학 문제 풀이의 성능개선 연구
http://doi.org/10.5626/JOK.2022.49.11.972
선행 연구에서 영어 문장제 수학 문제를 해결하려 한 다양한 시도가 있었다. 많은 연구에서 Sequence-to-Sequence(이하 Seq2seq) 패러다임을 넘어선 트리, 그래프 등의 구조를 도입하여 개선된 성능을 달성할 수 있었다. 하지만 한국어 문장제 수학 문제 풀이 연구에서는 트리(Tree)나 그래프(Graph)등으로 제안된 구조를 활용한 모델 사례가 없다. 이에 본 논문에서는 한국어 사전학습 언어모델을 사용하여 트리 구조를 활용하는 모델, 트리와 그래프 구조를 함께 활용하는 모델에 대한 한국어 문장제 수학 문제풀이 능력의 가능성을 검토해보고자 한다. 테스트 결과 그래프와 트리 구조를 도입함으로써 Seq2seq 구조의 모델 대비 약 20%의 정확도 향상을 보였고, 나아가 한국어 사전학습 언어모델을 사용한 것이 사용하지 않은 것 대비 4.66～5.96%의 정확도 향상을 보였다.
기계독해 말뭉치의 교차 평가, 블라인드 평가 및 오픈도메인 질의응답 환경 평가를 통한 한국어 기계독해의 일반화 성능 평가
http://doi.org/10.5626/JOK.2021.48.3.275
기계독해는 자연어 질문과 단락이 주어졌을 때 단락 내 정답을 찾는 태스크로, 최근 사전학습 언어모델을 이용한 방법이 우수한 성능을 보이고 있다. 본 논문에서는 현재 기계독해 기술이 학습말뭉치와 유사한 평가말뭉치가 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 말뭉치 간 교차 평가 및 블라인드 평가를 수행하였고, 교차 평가결과 정답 길이, 질문 단락 사이 오버랩 비율과 같은 통계와 일반화 성능 사이 관련이 있음을 확인하였다. 블라인드 평가결과, 정답 길이가 길고 질문-단락 사이 어휘 오버랩이 낮은 평가말뭉치에서는 80% 이하의 성능을 보였다. 마지막으로, 기계독해 모델을 오픈도메인 질의응답 환경에 적용할 경우의 일반화 성능을 평가하여, 검색 단락을 이용한 기계독해 시 성능이 하락함을 확인하였다. 기계독해는 태스크 특성 상 질문과 정답 사이 관계에 따라 난이도 및 일반화 성능 차이가 발생하여, 다양한 유형의 평가말뭉치에서의 평가가 필요함을 확인하였다.
사전학습 언어모델의 토큰 단위 문맥 표현을 이용한 한국어 의존 구문분석
http://doi.org/10.5626/JOK.2021.48.1.27
의존 구문분석은 문장 내 단어 사이의 의존관계 및 레이블을 인식하여 문장의 구조적 중의성을 해소하는 문제이다. 사전학습 언어모델 위에 추가적인 순환신경망(RNN)을 적용한 선행 연구들과 달리, 본 논문에서는 사전학습 언어모델의 자가집중 메커니즘을 최대한 활용하기 위하여 사후학습만을 이용한 의존 구문분석 방법을 제안하고, 성능 개선을 위하여 어절 사이의 상대거리 파라미터와 구분자 토큰 활용기법을 제안한다. TTA 표준 가이드라인 세종 구문분석 말뭉치를 평가결과 KorBERT_base 모델은 95.73% UAS, 93.39% LAS를, KorBERT_large 모델은 96.31% UAS, 94.17% LAS를 보였다. 이는 사전학습 언어모델을 사용하지 않은 기존 연구 대비 약 3% 이상의 성능 개선을 보인 결과이다. 다음으로 선행 연구의 어절-형태소 혼합 변환 말뭉치 평가 결과, KorBERT_base 모델은 94.19% UAS, KorBERT_large 모델은 94.76% UAS 성능을 보였다.
