비디오 질의응답 정확도 향상을 위해 신뢰성 기반 다중 선택 학습을 활용한 앙상블 모델에 관한 연구

박규민, 김아영, 박성배

http://doi.org/10.5626/JOK.2022.49.4.284

비디오 질의응답은 비디오와 질의를 입력으로 받아서 적절한 응답을 도출하는 문제로, 대표적인 멀티모달 문제 중 하나이다. 비디오 질의응답 모델은 질의에 적절한 응답을 도출하기 위해서 멀티모달 정보뿐만 아니라 시계열 정보를 처리할 수 있는 능력이 필요하다. 그래서 모든 질의에 강건하게 응답하는 단일 모델을 설계하는 것은 어려운 문제이다. 성능 향상을 위해 기존의 여러 모델들을 결합하는 방법이 있다. 하지만 기존의 여러 모델들을 결합하는 방법은 모델마다 비디오를 표현하는 관점이 다르기에 성능을 개선하기 위해서는 각 모델의 관점을 반영할 수 있는 앙상블 모델과 학습 기법이 필요하다. 본 논문에서는 비디오 질의응답 성능을 높이기 위하여 신뢰성 기반 다중 선택 학습(CMCL) 기반의 앙상블 모델을 제안한다. DramaQA 데이터셋으로 실험한 결과, 기존의 두 질의응답 모델에 CMCL을 적용한 모델이 단일 모델들보다 더 높은 성능을 보여주었으며 앙상블 방법들이 모델에 미치는 영향을 분석하였다.