디지털 라이브러리[ 검색결과 ]
시각-언어 공동 임베딩과 지식 그래프 임베딩을 이용한 영상 기반 상식 추론
http://doi.org/10.5626/JOK.2020.47.10.985
본 논문에서는 영상 기반 상식 추론(VCR) 작업을 위한 새로운 모델을 제안한다. 제안 모델에서는 영상과 자연어 질문, 답변 리스트 등과 같은 멀티 모달 입력 데이터들 간의 상호 정렬을 요구하는 시각적 접지 문제에 효과적으로 대응하기 위해, 사전 학습된 시각-언어 모델에 시각적 바인딩 모듈을 추가하여 이들을 함께 임베딩한다. 또한, 제안 모델은 영상 기반 상식 추론에 필요한 공통 개념지식들을 공개 지식 베이스인 ConceptNet에서 추출하여 그래프 합성곱 신경망(GCN)을 이용해 임베딩한다. 본 논문에서는 제안 모델인 VLKG_VCR의 세부 설계사항들을 소개하고, 증진된 VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.
지식 그래프를 이용한 오픈 도메인 질문 응답
http://doi.org/10.5626/JOK.2020.47.9.853
본 논문에서는 오픈 도메인의 복잡한 질문들에 효과적으로 응답하기 위한 새로운 지식 그래프 추론 모델 KGNet을 제안한다. 본 모델에서는 질문 응답에 이용할 지식 베이스의 불완전성 문제에 주목한다. 이를 위해 본 모델에서는 서로 다른 형태의 두 가지 지식 자원인 지식 베이스와 문서 집합 모두를 하나의 지식 그래프로 통합하여 답변 생성에 활용한다. 또한 본 모델에서는 지식 그래프 상에서 복잡한 멀티 홉 질문들에 관한 답변을 보다 효과적으로 유도해내기 위해, 그래프 신경망을 이용한 새로운 지식 임베딩과 추론 기법을 적용한다. 본 논문에서는 대표적인 질문 응답 벤치마크 데이터 집합인 WebQuestionsSP와 MetaQA를 이용한 다양한 실험들을 통해, 제안 모델의 효과와 우수성을 입증한다.
