신승환  김유성

10.5626/JOK.2024.51.3.262

RF 신호 트랜스포머 모델 시각적 단서 세그멘테이션 마스크

RF 신호 기반 다중 인물 자세 추정 시스템은 장애물이나 조명에 따라 시야 확보가 어려운 상황에서도 각 인물의 자세를 추정할 수 있다. 전통적으로 RF 신호 기반 모델의 학습을 위해 RF 신호 수집시 함께 촬영한 이미지를 사전 학습된 이미지 기반 자세 추정 모델의 입력으로 의사 레이블 데이터를 획득하여 이를 활용하는 크로스 모달 교사-학생 학습 방식을 사용하였다. 본 연구진은 이전 연구에서 교차지식 증류 기법을 적용하여 이미지 기반 학습 모델의 특징맵을 모방한 특징맵을 ‘시각적 단서’라고 명명하였고, 이는 RF 신호 기반 자세 추정 성능 향상에 도움이 되었다. 본 논문에서는 학습된 시각적 단서를 병합하는 비율에 따른 성능을 비교하고, 세그멘테이션 마스크 학습과 다중 프레임 입력 사용 시 다중 인물자세 추정 성능에 미치는 영향을 분석하였다. 시각적 단서와 다중 프레임 입력을 함께 사용하였을 시 가장 좋은 성능을 보여주었다.