디지털 라이브러리[ 검색결과 ]
AttDRP: 주의집중 메커니즘 기반의 항암제 약물 반응성 예측 모델
http://doi.org/10.5626/JOK.2021.48.6.713
암환자 중 일부는 항암제에 대한 약물 저항성을 보여 약물을 이용한 항암치료를 어렵게 만든다. 약물 저항성은 암세포의 유전체 이상에 기인하는 것으로 밝혀져, 암세포주 및 항암제에 대한 약물 반응성 데이터를 분석하는 연구가 활발히 이루어지고 있다. 기존 연구들은 기계학습을 이용하여 약물 민감성 또는 저항성을 예측하는 모델을 여럿 제안하였으나, 항암제와 유전자의 관계를 학습하는 모델의 부재로 인하여 예측 정확도 향상을 위한 여지가 남아있었다. 본 논문에서는 주의집중 메커니즘을 활용하여 항암제 관련 유전자들을 식별하고, 그러한 유전자들 정보에 기반하여 항암제 반응성을 예측하는 AttDRP를 제안한다. 제안하는 모델은 CCLE 데이터에서 기존 모델들보다 높은 예측 정확도를 보여주었고, AttDRP이 학습한 주의집중 스코어가 항암제의 분자구조 분석에 효과적으로 활용될 수 있음을 확인하였다.
Explanation segments 기반 설명 가능한 지식 완성 모델
http://doi.org/10.5626/JOK.2021.48.6.680
최근 딥러닝을 활용하여 불완전한 지식 그래프를 대상으로 새로운 링크를 예측하는 연구가 많이 진행되고 있지만, 딥러닝을 활용한 링크 예측은 추론 결과에 대한 설명이 불가능하다는 한계점이 있다. 따라서 본 논문에서는 링크 예측 후, 추론 결과를 뒷받침하는 증거로서 설명 가능한 추론 경로를 제공하여 지식 완성의 효용성이 높은 모델을 제안한다. 이를 위해 우선 지식 그래프의 주어를 시작으로 목적어로 도달하는 또 다른 경로를 Path Ranking Algorithm 활용하여 생성하며, 이를 explanation segment라 정의하였다. 이 후 생성된 explanation segment를 CNN과 양방향 LSTM을 결합한 방식을 적용하여 임베딩 한다. 마지막으로 임베딩 된 explanation segment들과 추론할 후보 술어와의 의미적 유사성 계산을 기반으로 한 어텐션 메커니즘을 적용하여, 링크 예측 모델을 학습하였다. 모델 학습 후 링크 예측 설명에 적합한 explanation segment를 어텐션 점수에 기반으로 선정하여 제공한다. 제안하는 방법의 성능을 측정하기 위해 링크 예측 비교 실험 및 링크 예측 결과에 대한 설명으로 적합한 explanation segment의 비율을 측정하는 정확성 검증 실험을 진행하였다. 실험 데이터는 벤치마크 데이터인 NELL-995, FB15K-237, Countries를 대상으로 진행하였으며, 정확성 검증 실험에서 평균 89%. 44%, 97% 정확성을 보였고, 기존 연구와 비교했을 때, NELL-995는 평균 35%p, FB15K-237은 평균 21%p 높은 성능을 보였다.
문장 랭킹 스코어와 그래프 기법을 사용한 질의 기반 생성 요약 모델
http://doi.org/10.5626/JOK.2020.47.12.1172
기본적인 생성 요약 모델은 문서 내 모든 중요 내용을 포함하는 짧은 요약문을 생성하는 것을 목표로 한다. 반면, 질의(Query) 기반 생성 요약 모델의 경우 문서 내에서 질의와 관련된 정보를 요약해야 한다. 기존의 질의 기반 요약 모델은 문서 내 단어들과 질의문 간의 어텐션(Attention) 메커니즘을 통해 단어의 가중치를 계산하고 이를 기반으로 문장의 중요도를 계산한다. 이러한 방식은 문서의 전체적인 문맥정보를 반영하기 어렵다는 단점이 있다. 본 논문에서는 이러한 문제를 문장 랭킹 스코어와 문장 단위 그래프 구조를 만들어 문장의 중요도뿐만 아니라 문맥 정보를 반영하여 생성 요약의 성능을 향상시킬 수 있는 새로운 생성 요약 기법을 제안한다. 실험으로 살펴본 최종 제안 모델의 성능은 같은 데이터를 사용하는 선행 모델 대비 ROUGE-1 1.44%p, ROUGE-L 0.52%p의 향상된 성능을 보인다.
트랜스포머와 BERT로 구현한 한국어 형태소 분석기의 성능 분석
http://doi.org/10.5626/JOK.2020.47.8.730
본 논문은 Transformer로 구현한 한국어 형태소 분석기를 다룬다. Transformer는 최근에 가장 널리 사용되는 sequence-to-sequence 모델 중 하나이다. Transformer는 인코더와 디코더로 구성되어 있는데 인코더는 원문을 고정된 크기의 벡터로 압축시키고 디코더는 이 벡터를 이용하여 형태소 분석 결과를 생성해 낸다. 본 논문에서는 또한 Transformer의 인코더를 BERT로 대체해 본다. BERT는 대용량의 학습데이터를 이용하여 미리 학습시켜 놓은 언어 표현 모델이다. 디코더에는 주의 메커니즘과 복사 메커니즘을 도입하였다. 인코더와 디코더에서의 처리 단위는 각각 어절 단위 WordPiece와 형태소 단위의 WordPiece를 사용하였다. 실험을 통해, BERT의 파라미터를 문제에 맞게 재조정했을 때의 성능이 Transformer를 임의의 값으로 초기화하여 사용했을 때에 비해 F1에서 2.9%의 성능 향상을 보임을 알 수 있었다. 또한 학습단계에서 충분히 학습되지 못한 WordPiece의 임베딩이 형태소 분석에 어떤 영향을 미치는지도 살펴보았다.
링크 추정을 위한 지식 그래프 임베딩 기반의 앙상블 모델
http://doi.org/10.5626/JOK.2020.47.5.473
링크 추정은 개체 사이의 관계를 추정하는 문제로, 지식 베이스를 완전하게 만들기 위한 태스크 중 하나이다. 지식 베이스는 많은 개체와 관계들을 포함하고 있지만, 누락된 지식 트리플들이 존재하기 때문에 완전하지 않다. 누락된 지식 트리플들은 지식 베이스의 활용에 한계를 야기하기 때문에 누락된 관계 정보들을 찾아 지식 베이스를 완전하게 만들기 위해 본 논문은 링크 추정을 수행하고자 한다. 기존의 링크 추정을 위한 연구들은 주로 지식 그래프 임베딩을 활용하여 누락된 관계들을 찾았다. 하지만 임베딩된 벡터들은 정확성이 부족하기 때문에 hit@10에서는 좋은 성능을 보였지만, hit@1에서는 부족한 성능을 보여 주었다. 그러므로 하나의 지식 그래프 임베딩만을 사용하여 링크를 추정하는 것은 효과적이지 않으며, 지식 그래프 임베딩들은 각자의 관점을 가지고서 임베딩하기 때문에 이들을 함께 고려하는 것이 필요하다. 따라서 본 논문에서는 기존의 링크 추정의 성능을 높이기 위하여 지식 그래프 임베딩 기반의 앙상블 모델을 제안한다. 지식 그래프 임베딩 모델들은 각자의 관점 및 특성을 가지고 있기 때문에, 이들을 결합하면 다양한 관점들을 고려할 수 있다. WN18과 FB15K 데이터 셋으로 실험한 결과, 기존의 각 모델들보다 제안한 모델이 평균적으로 13.5% 높은 성능을 보여 주었다. 또한 사용자 파라미터에 기존 모델보다 강건한 결과를 보여 제안한 모델의 우수함을 증명하였다.
추가 정보를 고려한 상품 리뷰 요약 기법
http://doi.org/10.5626/JOK.2020.47.2.180
문서 요약은 주어진 문서로부터 특정 사용자나 작업에 적합한 형태로 축약한 문서를 생성하는 것을 의미한다. 인터넷 사용이 증가함에 따라, 텍스트를 포함한 다양한 데이터들이 폭발적으로 증가하고 있고, 문서 요약 기술이 지니는 가치는 증대되고 있다. 최신 딥러닝 기반 모델들이 좋은 요약 성능을 보이지만, 학습 데이터들의 양과 질에 따라 성능이 좌우되는 문제점이 있다. 예를 들어, 온라인 쇼핑몰의 상품리뷰 데이터의 경우, 오탈자와 비문법적인 텍스트 특징 때문에 기존 모델로 좋은 요약을 생성하기 힘들다. 이러한 문제를 해결하려고 온라인 쇼핑몰과 포탈 서비스가 많은 노력을 하고 있다. 따라서 본 연구에서는 리뷰 학습 데이터의 양과 질이 열악하더라도 적절한 문서 요약을 생성하기 위해, 주어진 상품 리뷰의 추가 정보를 이용해서 상품 리뷰 요약을 생성하는 모델을 제안한다. 더불어, 실험을 통해 제안한 기법의 문서 요약이 기존 기법보다 요약의 관련성과 가독성 측면에서 향상되었음을 보였다.
사건 단어 주의 집중 메커니즘을 적용한 단일 문장 요약 생성
http://doi.org/10.5626/JOK.2020.47.2.155
요약이란 자연어 처리 연구 분야 중 하나로, 입력으로 주어진 정보 중 중요한 내용은 유지하면서 문장을 짧게 만드는 태스크이다. 그 중 단일 문장을 대상으로 한 요약 연구 중 입력 문장의 단어를 요약 문장에 사용할지 버릴지를 이진 분류하여 단어를 추출하여 요약을 수행하는 방법과 입력 문장을 기반으로 요약 문장을 생성하는 방법이 있다. 기존의 추출 요약 연구들은 단어의 구조적 정보를 사용하여 이진 분류를 수행하였고, 문장을 생성하는 방법들은 순환신경망을 이용하여 요약 문장을 생성하였다. 하지만 이러한 접근 방법은 중요한 정보를 누락하고 불필요한 정보로 요약을 생성하는 문제가 있다. 따라서 본 논문에서는 무엇을 행하였는지에 대한 정보를 제공할 수 있는 사건 단어를 사용하여, 중요한 정보에 집중하여 요약을 수행할 수 있도록 사건 단어 주의집중 메커니즘을 제안한다. 입력으로 문장 내 각 단어의 임베딩 벡터와 사건 단어 정보가 제공됐을 때, 제안한 방법은 사건 단어에 주의 집중할 수 있도록 사건 단어 정보를 사용하여 주의집중 가중치를 계산하고, 이 가중치는 기존의 모델에 결합하여 사용된다. 실험은 영어와 한국어 데이터 셋에서 수행되었으며, 기존 모델에 제안한 방법을 결합하여 평가를 수행하였다. 실험 결과, 기존 모델보다 제안한 방법을 적용한 모델이 높은 성능을 얻어, 제안한 방법이 효과적임을 입증하였다.
L2 학습자를 위한 주의 기제 기법 기반의 문법 오류 감지
http://doi.org/10.5626/JOK.2019.46.6.554
문법 오류 감지는 주어진 문장에서 발생한 문법적인 오류의 존재와 그 위치를 발견하는 작업으로, 새로운 언어를 배우는 L2 학습자의 언어 학습과 평가에 유용하게 활용될 수 있다. 기존에는 문법 오류 교정을 위한 시스템이 활발히 연구되고 있으나, 학습 말뭉치의 부족과 제한된 오류 유형 교정과 같은 한계가 존재한다. 따라서 본 연구에서는 순차 레이블링 문제를 통해 오류의 유형이 사전에 정해지지 않은 일반화된 문법 오류 감지를 위한 모형을 제안한다. 단어와 문자를 동적으로 혼합한 표상을 사용하여 L2 학습자의 쓰기에서 나타나는 예측 불가능한 단어를 다루고, 멀티 태스크 학습을 통해 불균형한 데이터의 학습 과정에서 발생할 수 있는 편향성을 방지하였다. 또한, 주의 기제 기법을 적용하여 오류 예측에 있어 판단의 근거가 될 수 있는 단어에 집중해 효율적으로 오류를 예측하였다. 제안하는 모형의 검증을 위해 3개의 평가 데이터를 사용하였으며 각 구성요소를 제거해 봄으로써 모형의 효용성을 검증하였다.
멀티헤드 주의집중 기법과 하이웨이 네트워크를 활용한 생물학 개체명 인식
http://doi.org/10.5626/JOK.2019.46.6.544
생물학 개체명 인식이란 생물학 문헌으로부터 질병, 유전자, 단백질과 같은 생물학 개체명을 추출하고 그 종류를 분류하는 작업으로, 생물학 데이터로부터 유의미한 정보를 추출하는데 중요한 역할을 한다. 본 연구에서는 입력 단어의 자질을 자동으로 추출할 수 있는 딥러닝 기반의 Bi-LSTM-CRF 모델을 활용한 개체명 인식 연구를 진행하였다. Multi-head 주의 기제 기법을 적용하여 입력 단어들 간의 관계를 포착하고 관련성이 높은 단어에 주목하여 예측의 성능을 높였다. 또한, 단어 단위 임베딩 벡터 외 문자 단위 임베딩 벡터를 결합하여 입력 임베딩의 표상을 확장하고, 각 표상의 정보 흐름을 학습하기 위해 Highway 네트워크에 적용하였다. 제안하는 모델의 성능을 평가하기 위해 두 개의 영어 생물학 데이터셋으로 비교 실험을 진행하였으며, 그 결과 기존 연구의 모델들보다 향상된 성능을 보였다. 이를 통해 제안하는 방법론이 생물학 개체명 인식 연구에서 효과적인 방법론임을 입증하였다.
객체 Attention을 이용한 이미지 캡션 생성
http://doi.org/10.5626/JOK.2019.46.4.369
이미지 데이터가 폭발적으로 증가함에 따라 이미지를 자연어로 표현하기 위한 이미지 캡션 생성 기술에 대한 연구도 활발하게 이루어지고 있다. 기존 한국어 이미지 캡션 생성 기술에서는 영어권 데이터를 번역하여 사용함으로 인해 동시 발생 객체들에 의한 오류가 있다. 본 논문에서는 입력 이미지에 대한 캡션을 생성하여 추출한 명사와 이미지의 정답 캡션에서 추출한 명사를 이용하는 attention 함수를 새로운 손실 함수로 사용하는 이미지 캡션 모델을 제안한다. 공개된 실험 데이터를 사용한 실험에서 BLEU1 0.686, BLEU2 0.557, BLEU3 0.456, BLEU4 0.372를 보였다. 이를 이용하여 제안된 모델이 고빈도 동시 발생 객체 오류 해결에 효과적임을 입증하고 기존 연구보다 높은 성능을 얻음을 보이며 중복된 출력 문장을 줄임으로써 이미지 캡션의 다양한 표현들이 생성에 효과적임을 보였다. 또한 본 논문에서 제안하는 방법을 이용하여 이미지 캡션 모델을 학습하기 위한 코퍼스를 생성할 수 있다.
