디지털 라이브러리[ 검색결과 ]
CNN 기반 관계 추출 모델의 성능 향상을 위한 다중-어의 단어 임베딩 적용
http://doi.org/10.5626/JOK.2018.45.8.816
관계 추출이란 문장 내 두 개체간의 관계를 분류하는 것으로, 많은 연구들이 관계추출 모델을 설계함에 있어 원격 지도학습 방식을 이용하고 있다. 그리고 최근 딥러닝의 발전으로 다양한 연구에서 관계 추출 모델 설계 시 CNN 또는 RNN 등의 딥러닝 모델을 적용하는 것이 주요 흐름으로 발전하고 있다. 그러나 기존 연구들에서는 모델 학습의 입력으로 사용되는 단어 임베딩의 동형이의어 문제를 해결하지 않았다는 단점이 있다. 따라서 서로 다른 의미를 가진 동형이의어가 하나의 임베딩 값으로 모델 학습이 진행되고, 그에 따라 단어의 의미를 정확히 파악하지 못한 채 관계 추출 모델을 학습한다고 볼 수 있다. 본 연구에서는 다중-어의 단어 임베딩을 적용한 관계 추출 모델을 제안한다. 다중-어의 단어 임베딩 학습을 위해 CoreNet Concept 기반의 어의 중의성 해소 모듈을 활용하였고, 관계추출 모델은 문장 내 주요 키워드를 스스로 학습하는 CNN 모델과 PCNN 모델 2가지를 활용하였다.
Convolutional Neural Network를 이용한 웹 어플리케이션 공격 탐지 기법
http://doi.org/10.5626/JOK.2018.45.7.744
웹 어플리케이션 공격이 급격하게 늘면서 기존의 기법들만으로는 이를 탐지하는 것이 한계가 있어, 기계학습 기반의 탐지 기법이 연구되기 시작하였다. 기계학습을 활용한 기존 기법은 공격 탐지를 위해 적절한 특징(feature)을 선정해야 하는 어려움이 있으며, 새로운 공격 패턴이 등장할 경우 이에 적합하도록 특징을 재선정해야 할 경우도 발생한다. 본 논문에서는 HTTP 트래픽을 구성하는 입력이 허용되는 문자에 대한 제한 없이 문자 단위로 16진수 변환한 후 이미지화하고, 이를 입력으로 하는 convolutional neural network을 통해 웹 어플리케이션 공격을 탐지하는 기법을 제안한다. 제안 기법은 별도의 특징 선정 없이 지도학습을 통해 이미지화 된 HTTP 트래픽을 학습하며, 기존의 기계학습 기법보다 최대 84.4%까지 공격 탐지 오류율 성능을 향상할 수 있음을 보였다.
문서 분류의 개선을 위한 단어-문자 혼합 신경망 모델
http://doi.org/10.5626/JOK.2017.44.12.1290
문서의 텍스트를 바탕으로 각 문서가 속한 분류를 찾아내는 문서 분류는 자연어 처리의 기본 분야 중 하나로 주제 분류, 감정 분류 등 다양한 분야에 이용될 수 있다. 문서를 분류하기 위한 신경망 모델은 크게 단어를 기본 단위로 다루는 단어 수준 모델과 문자를 기본 단위로 다루는 문자 수준 모델로 나누어진다. 본 논문에서는 문서를 분류하는 신경망 모델의 성능을 향상시키기 위하여 문자 수준과 단어 수준의 모델을 혼합한 신경망 모델을 제안한다. 제안하는 모델은 각 단어에 대하여 문자 수준의 신경망 모델로 인코딩한 정보와 단어들의 정보를 저장하고 있는 단어 임베딩 행렬의 정보를 결합하여 각 단어에 대한 특징 벡터를 만든다. 추출된 단어들에 대한 특징 벡터를 바탕으로, 주의(attention) 메커니즘을 이용한 순환 신경망을 단어 수준과 문장 수준에 각각 적용하는 계층적 신경망 구조를 통해 문서를 분류한다. 제안한 모델에 대하여 실생활 데이터를 바탕으로 한 실험으로 효용성을 검증한다.
Doc2Vec과 Word2Vec을 활용한 Convolutional Neural Network 기반 한국어 신문 기사 분류
http://doi.org/10.5626/JOK.2017.44.7.742
본 논문에서는 문장의 분류에 있어 성능이 입증된 word2vec을 활용한 Convolutional Neural Network(CNN) 모델을 기반으로 하여 문서 분류에 적용 시 성능을 향상시키기 위해 doc2vec을 함께 CNN에 적용하고 기반 모델의 구조를 개선한 문서 분류 방안을 제안한다. 먼저 토큰화 방법을 선정하기 위한 초보적인 실험을 통하여, 어절 단위, 형태소 분석, Word Piece Model(WPM) 적용의 3가지 방법 중 WPM이 분류율 79.5%를 산출하여 문서 분류에 유용함을 실증적으로 확인하였다. 다음으로 WPM을 활용하여 생성한 단어 및 문서의 벡터 표현을 기반 모델과 제안 모델에 입력하여 범주 10개의 한국어 신문 기사 분류에 적용한 실험을 수행하였다. 실험 결과, 제안 모델이 분류율 89.88%를 산출하여 기반 모델의 분류율 86.89%보다 2.99% 향상되고 22.80%의 개선 효과를 보였다. 본 연구를 통하여, doc2vec이 동일한 범주에 속한 문서들에 대하여 유사한 문서 벡터 표현을 생성하기 때문에 문서의 분류에 doc2vec을 함께 활용하는 것이 효과적임을 검증하였다.
Recurrent Neural Network를 이용한 이미지 캡션 생성
이미지의 내용을 설명하는 캡션을 자동으로 생성하는 기술은 이미지 인식과 자연어처리 기술을 필요로 하는 매우 어려운 기술이지만, 유아 교육이나 이미지 검색, 맹인들을 위한 네비게이션 등에 사용될 수 있는 중요한 기술이다. 본 논문에서는 이미지 캡션 생성을 위해 Convolutional Neural Network(CNN)으로 인코딩된 이미지 정보를 입력으로 갖는 이미지 캡션 생성에 최적화된 Recurrent Neural Network(RNN) 모델을 제안하고, 실험을 통해 본 논문에서 제안한 모델이 Flickr 8K와 Flickr 30K, MS COCO 데이터 셋에서 기존의 연구들보다 높은 성능을 얻음을 보인다.
