디지털 라이브러리[ 검색결과 ]
지식 그래프의 링크 예측을 위한 거대 언어 모델 기반 관계 설명문 생성 방법
http://doi.org/10.5626/JOK.2024.51.10.908
지식 그래프는 개체들과 개체 사이의 관계들로 이루어진 네트워크로 수많은 자연어처리 문제 해결에 활용되고 있다. 불완전한 지식 그래프를 완성하기 위해 링크 예측과 관계 예측을 통한 그래프 완성 연구가 이루어지고 있다. 최근에는 개체와 관계에 대한 자연어 정보를 바탕으로 듀얼 인코더 구조를 활용 하는 모델이 등장하여 많은 관심을 받았다. 하지만, 링크 예측 데이터셋에는 관계에 대한 자연어 설명문은 존재하지 않기 때문에 개체에 대한 자연어 설명문에 지나치게 의존적이라는 문제점이 존재한다. 본 논문에 서는 이러한 문제 상황을 해결하기 위해서 거대 언어 모델인 GPT-3.5-turbo를 활용하여 관계에 대한 자 연어 설명문을 생성하여 기존의 모델이 관계에 대한 정보를 풍부하게 학습할 수 있도록 하였다. 또한 제안 방법을 통해 생성한 관계 설명문을 다른 언어 모델 기반 링크 예측 모델에 적용했을 때 성능 향상이 기대 된다. 링크 예측을 통한 성능 평가 결과, 제안 방법은 베이스라인 모델과 비교했을 때 한국어 ConceptNet, WN18RR, FB15k-237, YAGO3-10 데이터셋에 대해 MRR에서 각각 0.34%p, 0.11%p, 0.12%p, 0.41%p의 성능향상을 보였다.
이종 그래프 간의 융합 모듈을 활용한 목적 지향 대화 응답 시스템
http://doi.org/10.5626/JOK.2024.51.10.882
목적 지향 대화 시스템(Task-Oriented Dialogue System)은 특정 업무를 달성하기 위해 시스 템이 대화를 통해 사용자에게 도움을 주는 것을 목적으로 하는 자연어 처리의 분야이다. 최근에는 목적 지 향 대화 시스템의 성능 향상을 위해 트랜스포머(Transformer) 기반의 사전 학습 언어 모델이 널리 활용 되고 있다. 본 논문에서는 보다 전문적인 응답을 생성하기 위해서 사전 학습 언어 모델에 외부지식을 통합 하여, 트랜스포머 기반의 언어 모델에 그래프 어텐션 네트워크를 사용하여 지식 그래프 형태의 데이터를 추가적으로 융합하는 시스템을 제안한다. 또한 두 개 이상의 그래프에 대해 연구를 확장하여 이종 그래프 의 정보를 사용한 대화 응답 생성을 실험했다. 본 논문에서는 제안 시스템을 검증하기 위해 2,076개 대화 와 226,823개의 음악 도메인 그래프 트리플로 이루어진 음악 도메인 기반의 대화 데이터를 구축하고 공개 했다. 실험으로 살펴본 최종 제안 모델의 성능은 KoBART 모델을 미세조정(Fine-tuning)한 응답 생성 방 식에 비해 ROUGE-1 13.83%p, ROUGE-2 8.26%p, ROUGE-L 13.5%p의 성능 향상을 보였다.
