시각-언어 공동 임베딩과 지식 그래프 임베딩을 이용한 영상 기반 상식 추론

이재윤, 김인철

http://doi.org/10.5626/JOK.2020.47.10.985

본 논문에서는 영상 기반 상식 추론(VCR) 작업을 위한 새로운 모델을 제안한다. 제안 모델에서는 영상과 자연어 질문, 답변 리스트 등과 같은 멀티 모달 입력 데이터들 간의 상호 정렬을 요구하는 시각적 접지 문제에 효과적으로 대응하기 위해, 사전 학습된 시각-언어 모델에 시각적 바인딩 모듈을 추가하여 이들을 함께 임베딩한다. 또한, 제안 모델은 영상 기반 상식 추론에 필요한 공통 개념지식들을 공개 지식 베이스인 ConceptNet에서 추출하여 그래프 합성곱 신경망(GCN)을 이용해 임베딩한다. 본 논문에서는 제안 모델인 VLKG_VCR의 세부 설계사항들을 소개하고, 증진된 VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.