디지털 라이브러리[ 검색결과 ]
관련성 게이트를 활용한 FiD 시스템의 패시지 선별 및 답변 생성 성능 향상
최승호, 박시현, 김민상, 박찬솔, 왕준호, 김지윤, 김봉수
http://doi.org/10.5626/JOK.2025.52.5.385
본 논문에서는 오픈 도메인 질의응답 시스템에서 FiD(Fusion-in-Decoder) 모델의 성능을 향상시키기 위한 새로운 접근 방식을 제안한다. FiD 모델은 여러 패시지를 독립적으로 인코딩한 후, 디코딩 단계에서 이를 결합하여 답변을 생성하는 구조를 갖고 있다. 그러나 이 방식은 불필요한 정보를 포함한 패시지를 필터링하지 못해 디코더에 과도한 부담을 주는 단점이 있다. 이를 해결하기 위해, 본 논문에서는 LSTM(Long Short-Term Memory)의 망각 게이트를 응용한 관련성 게이트(Relevance Gate)를 도입하였다. 이 게이트는 각 패시지의 관련성을 병렬적으로 평가하여 디코더에 전달되는 정보를 선별하며, 이를 통해 답변 생성의 정확성과 효율성을 크게 향상시킨다. 또한, 시그모이드 함수 대신 오픈 도메인 질의응답 시스템에 적합한 새로운 활성 함수를 적용하여 모델의 안정성을 확보하였다.
2단계 학습을 통한 Span Matrix 기반 정답 후보군 탐지 모델
http://doi.org/10.5626/JOK.2021.48.5.539
데이터 자동 구축이란 알고리즘이나 심층 신경망 등을 통해 데이터를 자동으로 구축하는 기술을 의미한다. 본 논문에서 목표로 하는 질의응답 데이터 자동 구축 시스템은 질문 생성 모델을 통해 주로 연구되었으며, 이는 주어진 단락과 관련된 질문을 생성하는 모델을 의미한다. 기존에는 질문 생성 모델에 단락과 정답 후보를 입력하여 이와 관련된 질문을 생성했으며, 질문 생성 모델에 입력되는 정답 후보는 규칙 기반 방법이나 심층 신경망을 이용한 방법 등을 통해 탐지되었다. 본 논문에서는 질문 생성의 하위 작업인 정답 탐지가 질문 생성에 큰 영향을 줄 것으로 판단했고, Span Matrix를 이용한 정답 후보군 탐지 모델 및 2단계 학습 방법을 제안했다. 다양한 정답 후보 추출 방법을 통해 생성한 질문이 질의응답 시스템에 어떤 영향을 주는지 알아보기 위한 실험을 진행했다. 제안 모델은 기존 모델에 비해 많은 수의 정답을 추출했으며, 개체명 데이터셋을 활용함으로써 학습 과정의 노이즈를 보완했다. 이를 통해 제안 모델이 추출한 정답 후보로 생성한 질의응답 데이터가 질의응답 시스템의 성능에 가장 크게 기여하는 것을 확인했다.
생성 기반 질의응답 채팅 시스템에서의 정답 반복 문제 해결
http://doi.org/10.5626/JOK.2018.45.9.925
질의응답 채팅 시스템은 간단한 사실적 질문을 지식베이스 검색을 통하여 응답하는 채팅 시스템이다. 최근에 많은 sequence-to-sequence 채팅 시스템은 생성 모델의 새로운 가능성을 보였다. 그러나 생성기반 채팅 시스템은 같은 단어를 반복해서 생성하는 단어 반복 문제가 존재한다. 질의응답 채팅 시스템에서는 같은 정답이 반복되어 생성되는 문제를 가지고 있다. 이러한 문제를 해결하기 위해, 본 논문에서는 디코더에서 커버리지 방법과 ACA(Adaptive control of attention) 방법을 sequence-to-sequence 모델에 반영하는 방법을 제안한다. 또한 응답에서 중복되지 않은 단어의 개수를 반영하는 반복 손실 함수를 제안한다. 제안된 방법은 정밀도, BLEU, ROUGE-1, ROUGE-2, ROUGE-L, Distinct-1 모든 지표에서 높은 성능을 보일 뿐만 아니라, 다른 반복 출력 문제 해결을 위한 모델과의 결합에서도 좋은 성능을 보였다.
