비디오 프레임 선택을 통한 주거 공간 인간 행동 인식 모델 경량화 방안 제안

김소현, 한지형

http://doi.org/10.5626/JOK.2023.50.12.1111

주거공간의 CCTV 영상으로부터 인간 행동을 인식하는 것은 주거 공간의 보안 및 안전 문제에 선제적 대응을 가능하게 하기 때문에, 이를 위한 인공지능 모델을 개발하는 것이 필요하다. 또한, 실제 현장에서 유의미하게 활용할 수 있기 위해서는 인간 행동 인식 모델이 기존의 서버급 컴퓨팅 파워에서 구동되는 인공지능 모델들보다 훨씬 경량화되면서 동시에 인식 성능은 유지하는 것이 필수적이다. 따라서, 본 논문에서는 인간 행동 인식 모델의 경량화 및 실행 속도 향상과 함께 우수한 인식 성능을 확보할 수 있도록 비디오 프레임 선택을 통한 cross-modal PoseC3D 모델을 제안한다. Cross-modal PoseC3D 모델은 RGB 이미지 데이터와 인간 스켈레톤 데이터를 함께 결합하여 하나의 모델에 학습시키는 방식으로 데이터 정보를 최대한 유지하며 모델 경량화를 가능하게 한다. 또한, 학습 및 추론 과정에 전체 비디오 프레임을 이용하지 않고, 프레임의 정보값 차이를 기반으로 유의미한 프레임들만을 선택 및 이용하여 빠른 실행 속도를 확보한다. 본 논문에서 제안한 주거 공간 인간 행동 인식 모델을 AI Hub에 공개된 주거 및 공용 공간 이상행동 데이터셋에 대해 학습하여 성능을 검증한 결과, 기존의 모델들보다 경량화된 모델로 다양한 조건에서 유사하거나 향상된 인식 성능을 보임을 검증하였다.