양석환  우운택

10.5626/JOK.2026.53.2.124

가상 현실 사실적인 아바타 표정 트래킹 VR 헤드셋

본 연구에서는 VR 헤드셋을 착용한 상태의 표정을 트래킹하여 사실적인 파라메트릭 메쉬 모 델로 표현하는 새로운 방법을 제안한다. 기존의 연구는 단일 RGB 비디오 입력에 대해 적절한 파라미터들 을 최적화하는 방향으로 진행되어 왔으나 VR 헤드셋을 착용한 사용자의 표정에 대해서는 입력으로 활용 할 RGB 이미지 시퀀스가 없기 때문에 사용자와 동일한 표정 표현을 나타내는 메쉬 모델 생성이 불가능 하다. 본 연구에서는 기존의 표정 트래킹 방식에서 얼굴 외형에 영향을 미치는 손실 함수를 제거하고, VR 헤드셋을 통해 렌더링된 캐릭터 아바타의 표정 표현을 입력으로 활용하는 간접적인 방법을 사용하여 VR 헤드셋을 착용한 사용자의 표정을 메쉬 모델로 표현한다. 이 방법은 입력으로 VR 헤드셋을 사용한다 는 점에서 높은 활용도를 가짐과 동시에 기존 비디오 입력의 결과와 유사한 표정 표현이 가능하다. 해당 방법을 통해 메쉬 모델을 기반으로 생성된 사실적인 얼굴 아바타를 VR 헤드셋을 착용한 사용자의 표정 과 연결할 수 있다.