디지털 라이브러리[ 검색결과 ]
이종 그래프 간의 융합 모듈을 활용한 목적 지향 대화 응답 시스템
http://doi.org/10.5626/JOK.2024.51.10.882
목적 지향 대화 시스템(Task-Oriented Dialogue System)은 특정 업무를 달성하기 위해 시스 템이 대화를 통해 사용자에게 도움을 주는 것을 목적으로 하는 자연어 처리의 분야이다. 최근에는 목적 지 향 대화 시스템의 성능 향상을 위해 트랜스포머(Transformer) 기반의 사전 학습 언어 모델이 널리 활용 되고 있다. 본 논문에서는 보다 전문적인 응답을 생성하기 위해서 사전 학습 언어 모델에 외부지식을 통합 하여, 트랜스포머 기반의 언어 모델에 그래프 어텐션 네트워크를 사용하여 지식 그래프 형태의 데이터를 추가적으로 융합하는 시스템을 제안한다. 또한 두 개 이상의 그래프에 대해 연구를 확장하여 이종 그래프 의 정보를 사용한 대화 응답 생성을 실험했다. 본 논문에서는 제안 시스템을 검증하기 위해 2,076개 대화 와 226,823개의 음악 도메인 그래프 트리플로 이루어진 음악 도메인 기반의 대화 데이터를 구축하고 공개 했다. 실험으로 살펴본 최종 제안 모델의 성능은 KoBART 모델을 미세조정(Fine-tuning)한 응답 생성 방 식에 비해 ROUGE-1 13.83%p, ROUGE-2 8.26%p, ROUGE-L 13.5%p의 성능 향상을 보였다.
SCA: Cross-Attention 지도 학습에 기반한 문서기반 응답 생성 모델의 성능 향상
http://doi.org/10.5626/JOK.2024.51.4.326
문서 기반 응답 생성은 소비자 상담이나 보험 설계와 같이 정확한 사실에 기반한 근거가 되는 문서를 검색한 후, 해당 문서를 통해 대화 응답을 생성하는 작업을 의미한다. 이번 연구에서는 응답 생성 모델이 입력된 문서로부터 답변 생성에 필요한 부분을 찾아내어 반영하는 능력을 향상시키기 위해 Supervised Cross-attention을 제시했다. 이는 디코더의 Cross-attention에 대해 Attention Supervision을 적용하는 것으로, 입력 문서 중 실제 답변 생성에 포함되어야 하는 정보인 레퍼런스에 해당하는 부분에 Cross-attention 가중치가 집중되도록 지도학습 과정을 추가하는 것이다. 이 방법과 추가적인 성능 향상 방법을 도입한 결과 기존 SOTA 대비 F1 지표에서 1.13의 성능 향상을 확인하였고, Supervised Cross-attention을 통해 0.25의 성능 향상이 있었음을 확인했다.
역번역 프로세스를 통한 문서 기반 대화 데이터셋 노이즈 축소 방법
http://doi.org/10.5626/JOK.2024.51.1.34
문서 기반 대화는 주어진 문서를 기반으로 두 명 이상으로 구성된 화자가 주고받는 대화를 말한다. 문서 기반 대화 시스템은 대화의 마지막 발화에 대한 응답을 생성하는 작업으로, 다양한 영어권 문서 기반 대화 데이터셋이 공개되면서 활발히 연구되고 있다. 한국어의 경우 한국어 문서 기반 대화 데이터셋의 부재로 인해 활발한 연구가 이루어지지 않고 있었으나, 최근 영어 문서 기반 대화 데이터셋 Doc2dial을 한국어로 번역한 KoDoc2dial이 공개되었다. 하지만 KoDoc2Dial은 번역 과정에서 발생한 노이즈를 그대로 포함하고 있다. 노이즈가 포함된 데이터셋은 학습과 시스템 일관성 측면에 부정적인 영향을 끼칠 수 있기 때문에 KoDoc2Dial 또한 존재하는 노이즈를 줄이기 위한 노력이 필요하다. 따라서 본 논문에서는 역번역 프로세스를 이용한 필터링을 통해 KoDoc2Dial에 포함된 노이즈를 줄이기 위한 방법을 제안하고자 한다. 실험을 통해 본 논문에서 제안하는 방법이 필터링 적용 전과 비교하여 SacreBLEU 기준 약 3.6의 성능 향상이 있음을 보였다.
