디지털 라이브러리[ 검색결과 ]
긴 문서를 위한 BERT 기반의 End-to-End 한국어 상호참조해결
http://doi.org/10.5626/JOK.2023.50.1.32
상호참조해결은 상호참조해결 대상이 되는 멘션(mention)을 식별하고, 동일한 개체(entity)를 의미하는 멘션들을 찾아 그룹화하는 자연어처리 태스크이다. 최근 상호참조해결에서는 BERT를 이용하여 단어의 문맥 표현을 얻은 후, 멘션 탐지와 상호참조해결을 동시에 진행하는 end-to-end 모델이 주로 연구되었으나, BERT의 입력 길이 제한으로 긴 문서에 대해서는 성능이 낮아지는 문제가 있다. 따라서, 본 논문에서는 다음의 모델을 제안하였다. 우선 긴 문서를 512 이하의 토큰으로 쪼개어 기존의 Local BERT에서 단어의 1차 문맥 표현을 얻고, 이를 다시 연결하여 원래 문서에 대한 Global Positional Embedding 값을 계산하여 더해준다. 그리고 이렇게 연결된 문맥 표현을 Global BERT layer를 통해 최종적으로 전체 문맥 표현 계산하여 상호참조해결을 수행하였다. 실험 결과, 본 논문에서 제안한 모델이 기존 모델과 유사한 성능을 보이면서, GPU 메모리 사용량은 1.4배 감소하고 속도는 2.1배 향상되었다.
비지도 기계 번역을 이용한 채팅체 문체 변환
http://doi.org/10.5626/JOK.2023.50.1.19
문체 변환(style transfer)은 소스 문체(source style)로 쓰여진 텍스트가 주어지면 내용(content)을 유지하면서 타겟 문체(target style)의 텍스트를 생성하는 작업이다. 일반적으로 내용은 불변성(invariance), 문체는 가변성(variance)이라고 가정하여 텍스트의 문체를 변환하게 된다. 하지만, 채팅체의 경우 기존의 문체 변환 모델로 학습이 잘 안 되는 문제가 있다. 본 논문에서는 비지도 기계 번역(unsupervised machine translation)을 이용한 문체 변환 모델을 사용하여 채팅체를 문어체로 변환하는 방법을 제안한다. 또한, 변환된 결과를 활용하여 문체 변환에 사용될 수 있는 문체 간 단어 변환 사전을 구축할 수 있음을 보인다. 추가로, 변환된 결과 쌍에 대해 잘 변환된 결과만 사용할 수 있도록 필터링 방법을 적용하고, 필터링 된 결과를 이용한 지도 학습 방법으로 문체 변환 모델을 학습하여 변환 결과가 개선됨을 보인다.
MASS와 복사 및 커버리지 메커니즘과 길이 임베딩을 이용한 한국어 문서 요약
http://doi.org/10.5626/JOK.2022.49.1.25
문서 요약은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어내는 기술로, sequence-to-sequence 모델을 사용한 end-to-end 방식의 생성 요약 모델이 주로 연구되고 있다. 최근에는 대용량 단일 언어 데이터 기반 사전학습 모델을 이용하여 미세조정하는 전이 학습 방법이 자연어 처리 분야에서 활발히 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘 방법을 적용하고, 한국어 언어 생성을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 또한, 요약 모델 개선을 위해 커버리지 메커니즘과 길이 임베딩을 추가로 적용하였다. 실험 결과, MASS 모델에 복사 및 커버리지 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였고, 길이 임베딩을 통해 요약문의 길이를 조절할 수 있음을 보였다.
MASS와 상대 위치 표현을 이용한 영어-한국어 신경망 기계 번역
http://doi.org/10.5626/JOK.2020.47.11.1038
신경망 기계 번역(Neural Machine Translation)은 주로 지도 학습(supervised learning)을 이용하는 Sequence-to-Sequence 모델에 대한 연구가 이루어지고 있다. 그러나, 지도 학습 방법은 데이터가 부족한 경우에는 낮은 성능을 보이기 때문에, 최근에는 BERT와 MASS 같은 대량의 단일 언어 데이터 기반 사전학습(pre-training) 모델을 이용하여 미세조정(fine-tuning)을 하는 전이 학습(transfer learning) 방법이 자연어 처리 분야에서 주로 연구되고 있다. 본 논문에서는 언어 생성(language generation) 작업을 위한 사전학습 방법을 사용하는 MASS 모델을 영어-한국어 기계 번역에 적용하였다. 실험 결과, MASS 모델을 이용한 영어-한국어 기계 번역 모델의 성능이 기존 모델들보다 좋은 성능을 보였고, 추가로 MASS 모델에 상대 위치 표현 방법을 적용하여 기계 번역 모델의 성능을 개선하였다.
MASS와 상대 위치 표현을 이용한 한국어 문서 요약
http://doi.org/10.5626/JOK.2020.47.9.873
언어 생성(language generation) 작업에서는 Sequence-to-Sequence 모델을 이용하여 자연어를 생성하는 딥러닝 기반의 모델이 활발히 연구되고 있으며, 기존에 문서에서 핵심 문장만 추출(extractive)하는 방식을 사용하였던 문서 요약 분야에서도 생성(abstractive) 요약 연구가 진행되고 있다. 최근에는 BERT와 MASS 같은 대용량 단일 언어 데이터 기반 사전학습(pre-training) 모델을 이용하여 미세조정(fine-tuning)하는 전이 학습(transfer learning) 방법이 자연어 처리 분야에서 주로 연구되고 있다. 본 논문에서는 MASS 모델을 이용하여 한국어 언어 생성을 위한 사전학습을 수행한 후 이를 한국어 문서 요약에 적용하였다. 실험 결과, MASS 모델을 이용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였고, 추가로 MASS 모델에 상대 위치 표현 방법을 적용하여 문서 요약 모델의 성능을 개선하였다.
