디지털 라이브러리[ 검색결과 ]
BERT를 이용한 한국어 의미역 결정
http://doi.org/10.5626/JOK.2020.47.11.1021
의미역 결정은 문장 내에서 “누가, 무엇을, 어떻게, 왜” 등의 관계를 찾아내는 자연어처리의 한 응용이다. 최근 의미역 결정 연구는 주로 기계학습을 이용하고 자질 정보를 배제한 종단 대 종단(end-to-end) 방식의 연구가 이루어지고 있다. 최근 BERT(Bidirectional Encoder Representations from Transformers)라는 언어 모델이 자연어처리 분야에 등장하여 기존 자연어처리 분야의 최고 성능 모델들 보다 더 좋은 성능을 보이고 있다. 종단 대 종단 방식을 이용한 의미역 결정 연구의 성능은 주로 기계학습 모델의 구조나 사전에 학습된 언어 모델의 영향을 받는다. 따라서 본 논문에서는 한국어 의미역 결정성능 향상을 위해 BERT를 한국어 의미역 결정에 적용한다. 실험 결과 BERT를 이용한 한국어 의미역 결정 모델의 성능이 85.77%로 기존 한국어 의미역 결정 모델들 보다 좋은 성능을 보였다.
이미지 정보를 이용한 영어-한국어 자동 번역
http://doi.org/10.5626/JOK.2019.46.7.690
기계 번역 연구는 하나의 언어로 된 텍스트를 다른 언어로 자동 변환하는 기술이다. 기존의 기계 번역 연구는 번역을 위해 오직 텍스트 데이터만 사용하였다. 따라서 기존 기계 번역 연구는 입력 텍스트와 관련된 다양한 정보들을 활용할 수 없다는 단점이 있다. 최근에는 텍스트 데이터만 사용하는 기존 기계 번역과 달리 입력 텍스트와 관련된 이미지 정보를 기계 번역 시스템의 추가 입력으로 사용하는 멀티모달 기계 번역 모델이 등장했다. 본 연구에서는 최근 연구 동향에 맞추어 기계 번역의 디코딩 타임에 이미지 정보를 추가하고 이를 영어-한국어 자동 번역에 적용한다. 또한 디코딩 타임에 텍스트 정보와 이미지 정보를 적절히 조절하기 위한 별도의 게이트를 적용한 모델을 제안하고, 실험을 통해 게이트를 적용하지 않은 모델보다 더 좋은 성능을 나타냄을 보인다.
Skip-Connected LSTM RNN을 이용한 악성코드 탐지 모델
http://doi.org/10.5626/JOK.2018.45.12.1233
프로그램은 명령어가 연속해서 나타나는 하나의 시퀀스로 볼 수 있고 악성코드는 악의적인 목적을 가진 하나의 프로그램이다. 본 논문에서는 프로그램을 의미 정보를 가지는 하나의 명령어 시퀀스로 가정하고 이를 시퀀스 데이터 모델링에 적합한 딥러닝 모델인 Long Short-Term Memory Recurrent Neural Network(LSTM RNN)를 이용하여 악성코드를 탐지하고자 한다. 다양한 실험을 위해 명령어 시퀀스를 유니그램 및 트라이그램으로 나누어 여러 딥러닝 모델의 입력 자질로 사용한다. 여러 딥러닝 모델은 입력된 명령어 시퀀스를 이용해 프로그램이 정상파일인지 악성코드인지 판별하게 된다. 또한 본 논문에서 제안하는 Skip-Connected LSTM RNN 모델을 악성코드 탐지에 적용하여 LSTM encoder 및 CNN모델과 비교 실험하여 더 우수한 성능을 나타냄을 보인다. 실험 결과, 명령어 시퀀스 트라이그램 데이터에서 Skip-Connected LSTM RNN 모델이 LSTM encoder 및 CNN 모델 보다 우수한 성능을 보였다.
Stacked Bidirectional LSTM-CRFs를 이용한 한국어 의미역 결정
의미역 결정 연구에 있어 구문 분석 정보는 술어-논항 사이의 의존 관계를 포함하고 있기 때문에 의미역 결정 성능 향상에 큰 도움이 된다. 그러나 의미역 결정 이전에 구문 분석을 수행해야 하는 비용(overhead)이 발생하게 되고, 구문 분석 단계에서 발생하는 오류를 그대로 답습하는 단점이 있다. 이러한 문제점을 해결하기 위해 본 논문에서는 구문 분석 정보를 제외한 형태소 분석 정보만을 사용하는 End-to-end SRL 방식의 한국어 의미역 결정 시스템을 제안하고, 순차 데이터 모델링에 적합한 LSTM RNN을 확장한 Stacked Bidirectional LSTM-CRFs 모델을 적용해 구문 분석 정보 없이 기존 연구보다 더 높은 성능을 얻을 수 있음을 보인다.
