시각-언어 공동 임베딩과 지식 그래프 임베딩을 이용한 영상 기반 상식 추론 


47권  10호, pp. 985-998, 10월  2020
10.5626/JOK.2020.47.10.985


PDF

  요약

본 논문에서는 영상 기반 상식 추론(VCR) 작업을 위한 새로운 모델을 제안한다. 제안 모델에서는 영상과 자연어 질문, 답변 리스트 등과 같은 멀티 모달 입력 데이터들 간의 상호 정렬을 요구하는 시각적 접지 문제에 효과적으로 대응하기 위해, 사전 학습된 시각-언어 모델에 시각적 바인딩 모듈을 추가하여 이들을 함께 임베딩한다. 또한, 제안 모델은 영상 기반 상식 추론에 필요한 공통 개념지식들을 공개 지식 베이스인 ConceptNet에서 추출하여 그래프 합성곱 신경망(GCN)을 이용해 임베딩한다. 본 논문에서는 제안 모델인 VLKG_VCR의 세부 설계사항들을 소개하고, 증진된 VCR 벤치마크 데이터 집합을 이용한 다양한 실험들을 통해 제안 모델의 성능을 입증한다.


  통계
2022년 11월부터 누적 집계
동일한 세션일 때 여러 번 접속해도 한 번만 카운트됩니다. 그래프 위에 마우스를 올리면 자세한 수치를 확인하실 수 있습니다.
  논문 참조

[IEEE Style]

J. Lee and I. Kim, "Visual Commonsense Reasoning with Vision-Language Co-embedding and Knowledge Graph Embedding," Journal of KIISE, JOK, vol. 47, no. 10, pp. 985-998, 2020. DOI: 10.5626/JOK.2020.47.10.985.


[ACM Style]

Jaeyun Lee and Incheol Kim. 2020. Visual Commonsense Reasoning with Vision-Language Co-embedding and Knowledge Graph Embedding. Journal of KIISE, JOK, 47, 10, (2020), 985-998. DOI: 10.5626/JOK.2020.47.10.985.


[KCI Style]

이재윤, 김인철, "시각-언어 공동 임베딩과 지식 그래프 임베딩을 이용한 영상 기반 상식 추론," 한국정보과학회 논문지, 제47권, 제10호, 985~998쪽, 2020. DOI: 10.5626/JOK.2020.47.10.985.


[Endnote/Zotero/Mendeley (RIS)]  Download


[BibTeX]  Download



Search




Journal of KIISE

  • ISSN : 2383-630X(Print)
  • ISSN : 2383-6296(Electronic)
  • KCI Accredited Journal

사무국

  • Tel. +82-2-588-9240
  • Fax. +82-2-521-1352
  • E-mail. chwoo@kiise.or.kr