디지털 라이브러리[ 검색결과 ]
순차적 레이블링을 통한 한국어 의존 구문분석
http://doi.org/10.5626/JOK.2024.51.12.1053
의존 구문분석은 언어 분석에서 중요한 단계로, 문장 내 어절 간의 관계를 파악하는 과정이다. 최근 자연어 처리 분야에서는 트랜스포머 계열의 사전 학습 모델들이 다양한 자연어처리 연구에서 뛰어난 성능을 보이며, 의존 구문분석에도 적용되었다. 기존의 사전 학습 모델을 적용한 의존 구문분석은 크게 두 단계로 처리되었다. 첫째, 사전 학습 모델을 통해 생성된 토큰 단위 임베딩을 어절 단위 임베딩으로 병합한다. 둘째, 구성된 임베딩을 비교하거나 분류하는 단계를 통해 의존 관계를 분석한다. 그러나 사전 학습 모델의 특성상 파라미터가 많고, 추가적인 계층을 통해 임베딩을 구성·비교·분류하는 과정이 포함되어 시간 및 메모리의 효율성이 떨어지는 문제가 있었다. 본 논문에서는 의존 구문분석 세트 단위를 정의하고, 계층 축소를 통해 학습 및 추론의 효율성을 높인 순차적 레이블링 기반의 의존 구문분석 기법을 제안한다. 구문분석 세트를 정의하기 위해 스페셜 토큰을 추가하여 어절 단위 임베딩 병합 단계를 생략하였으며, 계층 축소로 파라미터 수를 효율적으로 줄여 학 습 및 추론에 필요한 시간을 크게 단축하였다. 제안된 모델은 의존 구문분석에서 유의미한 성능을 보인다.
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
http://doi.org/10.5626/JOK.2024.51.4.326
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다.
문서 기반 대화 시스템의 외부 지식 검색을 위한 다중 작업 학습 기반 재순위화 모델
http://doi.org/10.5626/JOK.2023.50.7.606
문서 기반 대화 시스템은 대화에 관련된 외부 문서를 검색하고 해당 문서를 활용해 적절한 응답을 생성한다. 그러나 기존 듀얼 인코더(dual-encoder) 구조의 검색 모델은 문서를 찾는데 낮은 성능을 기록했고, 이를 보완하기 위한 재순위화 모델은 충분히 최적화되지 않은 모습을 보였다. 본 논문에서는 이러한 문제를 해결하고 효과적인 검색을 수행하기 위해 다중 작업 학습 기반 재순위화 모델을 제안한다. 제안 모델은 크로스 인코더(cross-encoder) 구조의 모델로 대조 학습 기반 순위화, MLM(Masked Language Model), PDR(Posterior Differential Regularization)을 미세조정 단계에 동시에 학습하며, 보조 작업인 MLM과 PDR을 통해 모델의 언어 이해 능력과 강건성을 강화하는 방향으로 학습한다. 평가 결과 제안 모델은 베이스라인 모델과 비교했을 때 Recall@1, Recall@5, Recall@10에서 모두 성능 향상을 보였다.
그래프와 트리 구조를 활용한 한국어 문장제 수학 문제 풀이의 성능개선 연구
http://doi.org/10.5626/JOK.2022.49.11.972
선행 연구에서 영어 문장제 수학 문제를 해결하려 한 다양한 시도가 있었다. 많은 연구에서 Sequence-to-Sequence(이하 Seq2seq) 패러다임을 넘어선 트리, 그래프 등의 구조를 도입하여 개선된 성능을 달성할 수 있었다. 하지만 한국어 문장제 수학 문제 풀이 연구에서는 트리(Tree)나 그래프(Graph)등으로 제안된 구조를 활용한 모델 사례가 없다. 이에 본 논문에서는 한국어 사전학습 언어모델을 사용하여 트리 구조를 활용하는 모델, 트리와 그래프 구조를 함께 활용하는 모델에 대한 한국어 문장제 수학 문제풀이 능력의 가능성을 검토해보고자 한다. 테스트 결과 그래프와 트리 구조를 도입함으로써 Seq2seq 구조의 모델 대비 약 20%의 정확도 향상을 보였고, 나아가 한국어 사전학습 언어모델을 사용한 것이 사용하지 않은 것 대비 4.66～5.96%의 정확도 향상을 보였다.
데이터 생성 및 증강 기반의 개체 그래프를 활용한 음성 대화용 대화 상태 추적 모델
http://doi.org/10.5626/JOK.2022.49.10.891
대화 상태 추적은 목적 지향 대화 시스템의 한 부분으로, 대화를 이해하고 사용자의 목적을 이해하기 위해 수행되어야 하는 작업이다. 최근 Dialogue System Track Challenge (DSTC) 10 트랙2는 이를 음성 대화 환경으로 확장하여 음성 발화에 대한 대화 상태 추적 모델의 강건성을 주제로 진행되었다. 트랙2에서 공개한 평가 데이터는 새로운 시나리오의 등장, 3배 많은 개체 수 그리고 음성 인식된 발화로 이루어진 대화라는 특징을 가지고 있다. 본 논문에서는 이러한 데이터에도 강건한 개체 그래프를 활용한 추출 방식의 대화 상태 추적 모델과 새로운 시나리오에 대한 대화 데이터 생성 및 대화 익명화 방식을 활용한 증강 방법을 제안한다. DSTC10 평가 데이터에 대한 평가 결과 베이스라인 모델과 비교했을 때 Joint Goal Accuracy (JGA)와 Slot Accuracy에서 각각 1.7%, 0.57%의 성능 향상이 있음을 확인하였다.
다중 인코더 구조를 활용한 기계번역 품질 예측
http://doi.org/10.5626/JOK.2022.49.7.521
기계번역 품질 예측은 기계가 번역 문장의 품질을 주어진 정답 번역 문장이 없이 예측하는 것을 말한다. 최근에 품질 예측 분야의 연구 동향은 다량의 병렬 말뭉치로 학습된 트랜스포머 인코더 기반의 사전학습 모델을 이용하여 전이 학습을 적용한다. 본 논문에서는 품질 예측과 같은 교차 언어 태스크에서 단일 인코더 구조가 가지는 한계를 극복하기 위해 인코더에서 각 언어에 대한 단일 언어 표현을 개별적으로 학습하고 상호 참조망에서 교차 언어 표현을 학습하는 이중 인코더 구조를 제시한다. 이중 인코더 구조가 단일 인코더 구조보다 품질 예측 태스크에서 구조적으로 유리함을 입증하고, 나아가 이중 인코더 모델에 사전학습된 언어 모델을 적용하여 품질 예측 태스크에서 이중 인코더 모델의 성능과 안정성을 높인다. WMT20 품질 예측 영어-독일어 쌍에 대해서 실험을 진행했다. 사전학습 모델로서 영어 Bidirectional Encoder Representations from Transformers (BERT) 언어 모델과 독일어 BERT 언어 모델이 각각의 인코더에 적용되었고 가장 뛰어난 성능을 보여주었다.
레이블 기반의 핵심 자질 학습을 통한 문서 범주화에서의 효과적인 전이학습 방법론
http://doi.org/10.5626/JOK.2022.49.3.214
전이학습을 이용한 자연어처리는 대용량의 일반적인 데이터를 이용하여 사전학습된 모델을 downstream task에서 사용함으로써 성능이 향상되었다. 하지만 사전학습에서 사용되는 데이터는 적용 영역과 무관한 데이터이기에 적용 영역에 특화된 자질이 아닌 일반적인 자질을 학습하는 문제점이 있다. 따라서 본 논문에서는 사전 학습 모델의 임베딩이 downstream task에 특화된 자질들을 학습하도록 유도한다. 제안 방법으로는 샘플링된 data pair의 대조 학습과 더불어 label embedding과의 대조 학습을 통해 downstream task의 label정보를 학습하는 방법을 제안한다. 제안 방법의 성능입증을 위해 문장 분류 데이터셋에 대한 실험을 진행하고 임베딩에 대한 PCA(Principal component analysis)와 K-means clustering을 통하여 downstream task의 자질들이 학습되었는지 정성평가를 진행한다.
MASS와 복사 및 커버리지 메커니즘과 길이 임베딩을 이용한 한국어 문서 요약
http://doi.org/10.5626/JOK.2022.49.1.25
문서 요약은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어내는 기술로, sequence-to-sequence 모델을 사용한 end-to-end 방식의 생성 요약 모델이 주로 연구되고 있다. 최근에는 대용량 단일 언어 데이터 기반 사전학습 모델을 이용하여 미세조정하는 전이 학습 방법이 자연어 처리 분야에서 활발히 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘 방법을 적용하고, 한국어 언어 생성을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 또한, 요약 모델 개선을 위해 커버리지 메커니즘과 길이 임베딩을 추가로 적용하였다. 실험 결과, MASS 모델에 복사 및 커버리지 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였고, 길이 임베딩을 통해 요약문의 길이를 조절할 수 있음을 보였다.
감정 분석을 위한 BERT 사전학습모델과 추가 자질 모델의 결합
http://doi.org/10.5626/JOK.2021.48.7.815
대규모 코퍼스에 기반한 사전학습모델인 BERT 모델은 언어 모델링을 통해 텍스트 내의 다양한 언어 정보를 학습할 수 있다고 알려져 있다. 여기에는 별도의 언어 자질이 요구되지 않으나, 몇몇 연구에서 특정한 언어 지식을 추가 반영한 BERT 기반 모델이 해당 지식과 관련된 자연어처리 문제에서 더 높은 성능을 보고하였다. 본 연구에서는 감정 분석 성능을 높이기 위한 방법으로 한국어 감정 사전에 주석된 감정 극성과 강도 값을 이용해 감정 자질 임베딩을 구성하고 이를 보편적 목적의 BERT 모델과 결합하는 외적 결합과 지식 증류 방식을 제안한다. 감정 자질 모델은 작은 스케일의 BERT 모델을 적은 스텝 수로 학습하여 소요 시간과 비용을 줄이고자 했으며, 외적 결합된 모델들은 영화평 분류와 악플 탐지문제에서 사전학습모델의 단독 성능보다 향상된 결과를 보였다. 또한 본 연구는 기존의 BERT 모델 구조에 추가된 감정 자질이 언어 모델링 및 감정 분석의 성능을 개선시킨다는 것을 관찰하였다.
기계독해 말뭉치의 교차 평가, 블라인드 평가 및 오픈도메인 질의응답 환경 평가를 통한 한국어 기계독해의 일반화 성능 평가
http://doi.org/10.5626/JOK.2021.48.3.275
기계독해는 자연어 질문과 단락이 주어졌을 때 단락 내 정답을 찾는 태스크로, 최근 사전학습 언어모델을 이용한 방법이 우수한 성능을 보이고 있다. 본 논문에서는 현재 기계독해 기술이 학습말뭉치와 유사한 평가말뭉치가 아닌 일반적인 질문과 단락 쌍에 대해서 가지는 일반화 능력을 평가하고자 한다. 이를 위하여 말뭉치 간 교차 평가 및 블라인드 평가를 수행하였고, 교차 평가결과 정답 길이, 질문 단락 사이 오버랩 비율과 같은 통계와 일반화 성능 사이 관련이 있음을 확인하였다. 블라인드 평가결과, 정답 길이가 길고 질문-단락 사이 어휘 오버랩이 낮은 평가말뭉치에서는 80% 이하의 성능을 보였다. 마지막으로, 기계독해 모델을 오픈도메인 질의응답 환경에 적용할 경우의 일반화 성능을 평가하여, 검색 단락을 이용한 기계독해 시 성능이 하락함을 확인하였다. 기계독해는 태스크 특성 상 질문과 정답 사이 관계에 따라 난이도 및 일반화 성능 차이가 발생하여, 다양한 유형의 평가말뭉치에서의 평가가 필요함을 확인하였다.
