블랙아웃 발생시 다중 모달의 지식을 활용한 단일 모달 보행자 검출

신승호, 김정욱

http://doi.org/10.5626/JOK.2024.51.1.86

가시광선과 열화상 데이터를 함께 사용하는 다중 스펙트럼 보행자 검출은 컴퓨터 비전 분야에서 활발히 연구되고 있는 주제이다. 하지만 기존의 연구들은 대부분 카메라가 정상 작동하는 경우만 고려해 연구를 진행했고, 그 결과 카메라 블랙아웃이 발생했을 때 성능이 크게 떨어지는 문제가 있다. 카메라 블랙아웃은 다중 스펙트럼 보행자 검출에서 중요한 문제이므로, 본 논문은 카메라 블랙아웃이 발생했을 때 강인하게 동작하는 모델을 연구했다. 본 논문은 학습 과정에서 특징 추정 방법을 사용하여 학습한 다중 모달 지식을 단일 모달 보행자 검출에 활용하는 모델을 제안한다. 제안한 모델은 테스트 과정에서 블랙아웃으로 인해 정보에 손실이 발생했을 때 한 모달만 입력으로 들어오게 되더라도 다중 모달의 정보를 예측하여, 실제로 여러 모달의 정보를 활용한 것처럼 동작한다. 이를 통해 카메라 블랙아웃 상황에서 강인한 보행자 검출을 하여 문제를 개선한다.