디지털 라이브러리[ 검색결과 ]
시간적 관계정보를 활용한 사전학습 언어모델 기반의 멀티태스크 학습 기법
http://doi.org/10.5626/JOK.2023.50.1.25
다수의 태스크를 처리 가능하면서 일반화된 성능을 제공할 수 있는 모델을 구축하는 자연어 이해 분야의 연구에서는 멀티태스크 학습 기법에 대한 연구가 다양하게 시도되고 있다. 또한, 자연어 문장으로 작성된 문서들에는 대체적으로 시간에 관련된 정보가 포함되어 있을 뿐만 아니라, 문서의 전체 내용과 문맥을 이해하기 위해서 이러한 정보를 정확하게 인식하는 것이 중요하다. 본 논문에서는, 한국어 입력문장의 시간적 맥락정보를 활용할 수 있도록 NLU 태스크들의 학습 과정에서 시간관계 추출 태스크를 추가한 멀티태스크 학습 기법을 제안한다. 멀티태스크 학습의 특징을 활용하기 위해서 시간적 관계정보를 추출하는 태스크를 설계하고 기존의 NLU 태스크와 조합하여 학습하도록 모델을 구성한다. 실험에서는 학습태스크들을 다양하게 조합하여 성능 차이를 분석하며, 기존의 NLU 태스크만 사용했을 경우에 비해 추가된 시간적 관계정보가 어떤 영향을 미치는지 확인한다. 실험결과를 통하여 전반적으로 멀티태스크 조합의 성능이 개별 태스크의 성능보다 높은 경향을 확인하며, 특히 개체명 인식에서 시간관계가 반영될 경우에 크게 성능이 향상되는 결과를 볼 수 있다.
대화 속 질문 유사성 분석을 위한 문장 임베딩 자질의 자동 추출 방법
http://doi.org/10.5626/JOK.2019.46.9.909
본 논문은 자연어 문장의 유사성을 분석할 수 있는 문장 임베딩 자질의 자동 추출 방법에 관해 기술한다. 질문 유사성 분석이란 질의 문장을 이해하기 위하여 자연어 질의 문장의 의미적 구조적 유사성을 분석하는 연구를 말하며, 이를 이용하여 질의응답 (Q&A) 및 대화 시스템에서 입력 질문에 대한 답변을 찾는데 활용할 수 있다. 본 논문에서 기술하는 문장의 유사성을 분석하는 방법은 딥러닝 모델을 통해 추출된 문장 임베딩 벡터를 자질로 이용한다. 음절과 실질 형태소와 같은 문장 내 표현의 순차적 정보를 반영하기 위해 순환 신경망(Recurrent Neural Network)을 이용하여 생성한 문장 벡터와 어순과 관계없이 유사한 표현의 등장 패턴을 특징으로 잡기 위한 복잡 신경망 (CNN)을 이용하여 생성한 문장 벡터를 사용한다. 본 논문에서는 은행 서비스와 관련된 대화 문장에서 자동 추출된 문장 임베딩 자질을 이용하여 문장 간 유사성 분석했을 때의 정확성과 품질을 평가한다.
