경량 시간 세그먼트 네트워크를 이용한 비디오 장면 이해: 운전자 폭행 탐지에서의 검증

이준용, 김 준, 박준희, 조종호, 장익범

http://doi.org/10.5626/JOK.2024.51.11.987

최근 택시와 버스 등 교통수단에서 탑승자가 운전자를 폭행하는 사건이 증가하는 추세로, 특히 늦은 밤 주취자에 의한 운전자 폭행 등에 대한 신속한 대응은 더욱 어려운 상황이다. 이러한 문제에 대응하기 위해, 본 연구팀은 탑승자에 의한 운전자 폭행 상황을 실시간으로 탐지할 수 있는 경량 합성곱 신경망 기반의 시간적 세그먼트 네트워크(TSN) 모델을 제안한다. TSN은 동영상을 효율적으로 처리하기 위해 소수의 이미지 프레임을 샘플링하며, 공간 정보처리 스트림과 시간 정보처리 스트림으로 나뉘어 학습이 진행된다. 각 스트림에는 합성곱 신경망이 들어가는데, 이 연구에서는 경량 신경망 아키텍처인 MobileOne 모델을 적용하여 모델 사이즈를 크게 줄였고, 제한된 컴퓨팅 리소스에서도 정확도는 오히려 개선됨을 보인다. 본 모델은 차량 내 운전자 모니터링 시스템에 통합되어 운전자에게 발생할 수 있는 위험한 상황에 대한 신속한 대응 및 예방에 기여할 수 있을 것으로 기대된다.