디지털 라이브러리[ 검색결과 ]
MASS와 복사 및 커버리지 메커니즘과 길이 임베딩을 이용한 한국어 문서 요약
http://doi.org/10.5626/JOK.2022.49.1.25
문서 요약은 주어진 문서로부터 중요하고 핵심적인 정보를 포함하는 요약문을 만들어내는 기술로, sequence-to-sequence 모델을 사용한 end-to-end 방식의 생성 요약 모델이 주로 연구되고 있다. 최근에는 대용량 단일 언어 데이터 기반 사전학습 모델을 이용하여 미세조정하는 전이 학습 방법이 자연어 처리 분야에서 활발히 연구되고 있다. 본 논문에서는 MASS 모델에 복사 메커니즘 방법을 적용하고, 한국어 언어 생성을 위한 사전학습을 수행한 후, 이를 한국어 문서 요약에 적용하였다. 또한, 요약 모델 개선을 위해 커버리지 메커니즘과 길이 임베딩을 추가로 적용하였다. 실험 결과, MASS 모델에 복사 및 커버리지 메커니즘 방법을 적용한 한국어 문서 요약 모델이 기존 모델들보다 높은 성능을 보였고, 길이 임베딩을 통해 요약문의 길이를 조절할 수 있음을 보였다.
트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석
http://doi.org/10.5626/JOK.2020.47.8.730
본 논문은 Transformer로 구현한 한국어 형태소 분석기를 다룬다. Transformer는 최근에 가장 널리 사용되는 sequence-to-sequence 모델 중 하나이다. Transformer는 인코더와 디코더로 구성되어 있는데 인코더는 원문을 고정된 크기의 벡터로 압축시키고 디코더는 이 벡터를 이용하여 형태소 분석 결과를 생성해 낸다. 본 논문에서는 또한 Transformer의 인코더를 BERT로 대체해 본다. BERT는 대용량의 학습데이터를 이용하여 미리 학습시켜 놓은 언어 표현 모델이다. 디코더에는 주의 메커니즘과 복사 메커니즘을 도입하였다. 인코더와 디코더에서의 처리 단위는 각각 어절 단위 WordPiece와 형태소 단위의 WordPiece를 사용하였다. 실험을 통해, BERT의 파라미터를 문제에 맞게 재조정했을 때의 성능이 Transformer를 임의의 값으로 초기화하여 사용했을 때에 비해 F1에서 2.9%의 성능 향상을 보임을 알 수 있었다. 또한 학습단계에서 충분히 학습되지 못한 WordPiece의 임베딩이 형태소 분석에 어떤 영향을 미치는지도 살펴보았다.
주의집중 및 복사 작용을 가진 Sequence-to-Sequence 순환신경망을 이용한 제목 생성 모델
http://doi.org/10.5626/JOK.2017.44.7.674
대용량의 텍스트 문서가 매일 만들어지는 빅데이터 환경에서 제목은 문서의 핵심 아이디어를 빠르게 집어내는데 매우 중요한 단서가 된다. 그러나 블로그 기사나 소셜 미디어 메시지와 같은 많은 종류의 문서들은 제목을 갖고 있지 않다. 본 논문에서는 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 사용한 제목 생성 모델을 제안한다. 제안 모델은 양방향 GRU(Gated Recurrent Unit) 네트워크에 기반 하여 입력 문장을 인코딩(encoding)하고, 입력 문장에서 자동 선별된 키워드와 함께 인코딩된 문장을 디코딩함으로써 제목 단어들을 생성한다. 93,631문서의 학습 데이터와 500문서의 평가 데이터를 가진 실험에서 주의집중 작용방법이 복사 작용방법보다 높은 어휘 일치율(ROUGE-1: 0.1935, ROUGE-2:0.0364, ROUGE-L: 0.1555)을 보였고 사람이 정성평가한 지표는 복사 작용방법이 높은 성능을 보였다.
