디지털 라이브러리[ 검색결과 ]
질의와 관련있는 답변 생성을 위해 잠재 답변을 고려하여 질의를 인코딩하는 질의 토큰 중요도 계산기
http://doi.org/10.5626/JOK.2022.49.8.601
대화 답변 생성 모델은 시퀀스-투-시퀀스 모델을 통해 큰 발전을 이루어왔음에도 불구하고 대화 답변 생성 모델은 일반적인 답변이나 주어진 질의와 관련 없는 답변을 하는 문제가 빈번하게 발생하고 있다. 이를 해결하기 위해 전통적인 로스 함수를 수정하려는 노력과 대화 생성 모델의 배경 지식 부족 문제를 해결하려는 노력이 있었지만, 이들은 일반적인 답변과 관련 없는 답변 생성을 모두 해결하지 못했다. 본 논문에서는 대화 답변 생성 모델이 질의와 상술한 문제의 원인으로 질의의 핵심을 파악하지 못하는데 들어 질의 토큰 중요도 계산기 사용을 제안한다. 또한 질의자는 청자의 특정한 답변을 유도하며 발화를 설계한다는 이론에 근거하여 질의의 내용 파악을 위해 정답 답변을 이용하는 것을 제안한다. 정성적 평가를 통해 제안하는 모델을 활용한 답변 생성기가 사용하지 않은 모델에 비해 질의와 연관된 답변을 생성할 수 있었음을 확인하였다.
추가 정보를 고려한 상품 리뷰 요약 기법
http://doi.org/10.5626/JOK.2020.47.2.180
문서 요약은 주어진 문서로부터 특정 사용자나 작업에 적합한 형태로 축약한 문서를 생성하는 것을 의미한다. 인터넷 사용이 증가함에 따라, 텍스트를 포함한 다양한 데이터들이 폭발적으로 증가하고 있고, 문서 요약 기술이 지니는 가치는 증대되고 있다. 최신 딥러닝 기반 모델들이 좋은 요약 성능을 보이지만, 학습 데이터들의 양과 질에 따라 성능이 좌우되는 문제점이 있다. 예를 들어, 온라인 쇼핑몰의 상품리뷰 데이터의 경우, 오탈자와 비문법적인 텍스트 특징 때문에 기존 모델로 좋은 요약을 생성하기 힘들다. 이러한 문제를 해결하려고 온라인 쇼핑몰과 포탈 서비스가 많은 노력을 하고 있다. 따라서 본 연구에서는 리뷰 학습 데이터의 양과 질이 열악하더라도 적절한 문서 요약을 생성하기 위해, 주어진 상품 리뷰의 추가 정보를 이용해서 상품 리뷰 요약을 생성하는 모델을 제안한다. 더불어, 실험을 통해 제안한 기법의 문서 요약이 기존 기법보다 요약의 관련성과 가독성 측면에서 향상되었음을 보였다.
단어 생성 이력을 이용한 요약문 생성의 어휘 반복 문제 해결
http://doi.org/10.5626/JOK.2019.46.6.535
시퀀스-투-시퀀스 기반의 요약 모델에서 자주 발생하는 문제 중 하나는 요약문의 생성과정에서 단어나 구, 문장이 불필요하게 반복적으로 생성되는 것이다. 이를 해결하기 위해 기존 연구들은 대부분 모델에 여러 모듈을 추가하는 방법을 제안했지만, 위 방법은 생성하지 말아야 하는 단어에 대한 학습이 부족하여 반복 생성 문제를 해결함에 있어 한계가 있다. 본 논문에서는 단어 생성 이력을 직접적으로 이용하여 반복 생성을 제어하는 Repeat Loss를 이용한 새로운 학습 방법을 제안한다. Repeat Loss를 디코더가 단어 생성 확률을 계산 했을 때 이전에 생성한 단어가 다시 생성될 확률로 정의함으로써 실제 생성한 단어가 반복 생성될 확률을 직접적으로 제어할 수 있다. 제안한 방법으로 요약 모델을 학습한 결과, 단어 반복이 줄어들어 양질의 요약을 생성하는 것을 실험적으로 확인할 수 있었다.
생성 기반 질의응답 채팅 시스템에서의 정답 반복 문제 해결
http://doi.org/10.5626/JOK.2018.45.9.925
질의응답 채팅 시스템은 간단한 사실적 질문을 지식베이스 검색을 통하여 응답하는 채팅 시스템이다. 최근에 많은 sequence-to-sequence 채팅 시스템은 생성 모델의 새로운 가능성을 보였다. 그러나 생성기반 채팅 시스템은 같은 단어를 반복해서 생성하는 단어 반복 문제가 존재한다. 질의응답 채팅 시스템에서는 같은 정답이 반복되어 생성되는 문제를 가지고 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 디코더에서 커버리지 방법과 ACA(Adaptive control of attention) 방법을 sequence-to-sequence 모델에 반영하는 방법을 제안한다. 또한 응답에서 중복되지 않은 단어의 개수를 반영하는 반복 손실 함수를 제안한다. 제안된 방법은 정밀도, BLEU, ROUGE-1, ROUGE-2, ROUGE-L, Distinct-1 모든 지표에서 높은 성능을 보일 뿐만 아니라, 다른 반복 출력 문제 해결을 위한 모델과의 결합에서도 좋은 성능을 보였다.
디노이징 메커니즘을 통한 한국어 대화 모델 정규화
http://doi.org/10.5626/JOK.2018.45.6.572
대화 시스템은 입력 발화에 대해 적절한 응답을 해주는 시스템으로 최근에는 대화 모델 학습에 딥러닝 방식의 시퀀스-투-시퀀스 모델을 많이 이용한다. 하지만 해당 방식으로 학습한 대화 모델은 적절한 정보나 호응을 보이지 않는 안전하고 무미건조한 응답을 생성하거나 어미, 어순 변화 등 다양한 형태로 변형된 입력 발화에 대해 적절한 응답을 생성하지 못하는 문제가 있다. 본 논문에서는 이를 해결하기 위해 디노이징 메커니즘을 적용한 디노이징 응답 생성 모델을 제안한다. 제안 모델은 입력 발화에 임의의 노이즈를 가해 원래의 출력을 학습함으로써 매 반복 학습마다 확률적으로 새로운 입력 데이터를 경험하게 한다. 이를 통해 모델을 정규화하여 모델이 강건한 응답을 생성할 수 있도록 한다. 제안하는 방법의 우수성을 보이기 위해 9만 건의 한국어 대화 데이터로 실험을 수행하였다. 실험 결과 제안하는 방법이 비교 모델보다 ROUGE F1 점수와 사람이 평가한 정성 평가 모두에서 더 우수한 결과를 보였다.
생성 기반 질의응답 채팅 시스템 구현을 위한 지식 임베딩 방법
http://doi.org/10.5626/JOK.2018.45.2.134
채팅 시스템은 사람의 말을 기계가 이해하고 적절한 응답을 하는 시스템이다. 채팅 시스템은 사용자의 간단한 정보 검색 질문에 대답해야 하는 경우가 있다. 그러나 기존의 생성 채팅 시스템들은 질의응답에 필요한 정보인 지식 개체(트리플 형태 지식에서의 주어와 목적어)의 임베딩을 고려하지 않아 발화에 나타나는 지식 개체가 다르더라도 같은 형태의 답변이 생성되었다. 본 논문에서는 생성 기반 채팅시스템의 질의응답 정확도를 향상시키기 위한 지식 임베딩 방법을 제안한다. 개체와 유의어의 지식 임베딩을 위해 샴 순환 신경망을 사용하며 이를 이용해 주어와 술어를 인코딩 하고 목적어를 디코딩하는 sequence-to-sequence 모델의 성능을 향상 시켰다. 자체 구축한 채팅데이터를 통한 실험에서 제안된 임베딩 방법은 종래의 합성곱 신경망을 통한 임베딩 방법 보다 12.48% 높은 정확도를 보였다.
주의집중 및 복사 작용을 가진 Sequence-to-Sequence 순환신경망을 이용한 제목 생성 모델
http://doi.org/10.5626/JOK.2017.44.7.674
대용량의 텍스트 문서가 매일 만들어지는 빅데이터 환경에서 제목은 문서의 핵심 아이디어를 빠르게 집어내는데 매우 중요한 단서가 된다. 그러나 블로그 기사나 소셜 미디어 메시지와 같은 많은 종류의 문서들은 제목을 갖고 있지 않다. 본 논문에서는 주의집중 및 복사 작용을 가진 sequence-to-sequence 순환신경망을 사용한 제목 생성 모델을 제안한다. 제안 모델은 양방향 GRU(Gated Recurrent Unit) 네트워크에 기반 하여 입력 문장을 인코딩(encoding)하고, 입력 문장에서 자동 선별된 키워드와 함께 인코딩된 문장을 디코딩함으로써 제목 단어들을 생성한다. 93,631문서의 학습 데이터와 500문서의 평가 데이터를 가진 실험에서 주의집중 작용방법이 복사 작용방법보다 높은 어휘 일치율(ROUGE-1: 0.1935, ROUGE-2:0.0364, ROUGE-L: 0.1555)을 보였고 사람이 정성평가한 지표는 복사 작용방법이 높은 성능을 보였다.
Sequence-to-sequence 기반 한국어 형태소 분석 및 품사 태깅
기존의 전통적인 한국어 형태소 분석 및 품사 태깅 방법론은 먼저 형태소 후보들을 생성한 뒤 수많은 조합에서 최적의 확률을 가지는 품사 태깅 결과를 구하는 두 단계를 거치며 추가적으로 형태소의 접속 사전, 기분석 사전 및 원형복원 사전 등을 필요로 한다. 본 연구는 기존의 두 단계 방법론에서 벗어나 심층학습 모델의 일종인 sequence-to-sequence 모델을 이용하여 한국어 형태소 분석 및 품사 태깅을 추가 언어자원에 의존하지 않는 end-to-end 방식으로 접근하였다. 또한 형태소 분석 및 품사 태깅 과정은 어순변화가 일어나지 않는 특수한 시퀀스 변환과정이라는 점을 반영하여 음성인식분야에서 주로 사용되는 합성곱 자질을 이용하였다. 세종말뭉치에 대한 실험결과 합성곱 자질을 사용하지 않을 경우 97.15%의 형태소 단위 f1-score, 95.33%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었고, 합성곱 자질을 사용할 경우 96.91%의 형태소 단위 f1-score, 95.40%의 어절단위 정확도, 60.62%의 문장단위 정확도를 보여주었다.
