이미지 생성을 통한 트랜스포머 기반 헤드 모션 예측 알고리즘

변효근, 정문수, 이성길

http://doi.org/10.5626/JOK.2024.51.7.601

모션 투 포톤 지연은 헤드 마운트 디스플레이 기반 가상현실에서 사용자의 움직임과 영상출력의 시차로 인한 사이버 멀미 같은 불편감을 줄 수 있고, 이러한 불편함이 지속되면 사용자의 몰입감을 방해할 수 있다. 기존의 모션 투 포톤 지연을 줄이는 방식은 직접 헤드 모션 데이터의 경향성을 파악하거 나, 순환신경망 모델을 통해 헤드 모션을 예측하지만, 기존의 순환신경망 모델은 시퀀스 정보를 오랜 시간 동안 기억하지 못하는 장기 의존성 문제와 병렬 처리의 제약이 존재한다. 본 논문은 트랜스포머 기반 헤드 모션 예측 모델을 이용하여 이전의 영상 프레임의 데이터를 통해 이후의 프레임을 예측하는 기법을 제안 한다. 본 논문에서는 이미지 생성모델을 통해 디코딩 과정에서도 이미지를 사용한다는 점과 자연어처리에 서 사용되던 딥러닝 모델을 예측 모델로 사용함에 있어서 높은 확장성을 가진다. 또한 본 연구에서 제안한 모델은 데이터를 추가로 사용하여 기존 모델보다 사용자의 헤드 모션을 잘 예측함을 알 수 있다.