가상현실 3차원 UI를 위한 RNN 기반 몸 자세 추정 방법

성원준, 김병문, 고박우, 권진이, 김형석

http://doi.org/10.5626/JOK.2020.47.4.362

가상현실 어플리케이션에서 직관적이고 자연스러운 인터페이스의 중요성이 대두되고 있으며 그에 따른 3D 인터페이스에 대한 많은 연구가 진행되고 있다. 특히 사용자의 몸을 기반으로 한 인터페이스를 제공하기 위해서는 사용자의 신체 자세를 정확하게 추적하는 것이 중요하다. 본 논문에서는 선행 연구들을 바탕으로 3D 인터페이스를 위한 효과적인 몸의 포즈 추정 방법을 제안하며 특히 body-fixed UI를 위한 상체의 움직임을 정확히 추정하는 데에 중점을 둔다. 신체 자세를 추적하기 위해서는 RGB/RGB-D 카메라 또는 자기/광학 트래커 등과 같은 추가적인 센서를 사용해야 하지만 본 연구에서는 추가적인 센서 없이 HMD와 hand-held controller로 이루어진 기존의 가상현실 장치로만 신체 자세를 추적하는 것을 목표로 한다. 신체에 직접적으로 부착하지 않은 3개의 트래커를 통해 사용자의 상체 포즈를 효과적으로 추정하기 위하여 RNN을 기반으로 한 상체 포즈 추정 시스템을 구성하였다. 제안한 상체 포즈 추정 방법의 예측값이 실제값과 비교하였을 때 5% 내의 오류율을 보임을 실험을 통해 검증하였다. 제안한 상체 포즈추정 방법은 추가적인 장치없이 body-fixed UI 또는 신체 관련 인터페이스를 설계하는데 이용될 수 있으며, 이는 가상현실 어플리케이션의 접근성 향상을 가져올 것으로 기대한다.