디지털 라이브러리[ 검색결과 ]
다객체 모델에 대한 사용자 중요도 기반 시점/조명 조절 기법
http://doi.org/10.5626/JOK.2018.45.9.888
컴퓨터그래픽스에서 시점 선택은 대부분 샘플링한 시점들을 평가하여 가장 우수한 시점을 선택하는 방식을 사용해왔다. 좋은 시점의 정의는 사용자의 목적에 따라 변화하였으며 엔트로피, 메쉬 주목도 등이 사용되었다. 본 논문에서는 다수의 객체가 포함된 모델에 대해 사용자의 객체별 중요도에 기반하여 가장 적합한 시점과 조명을 선택하는 기법을 제안한다. 모델을 둘러싸는 시점과 조명을 샘플링한 후, 샘플 시점과 조명을 조합하여 결과 이미지를 렌더링한다. 렌더링 이미지의 객체별 주목도를 이용하여 사용자가 설정한 중요도에 가장 적합한 결과를 선택한다. 이러한 기법은 사용자의 요구에 적합한 시점과 조명을 얻을 수 있지만, 시점과 조명의 조합 전부에 대한 렌더링으로 인해 연산 비용이 크다는 단점이 있다. 그러므로 본 논문에서는 연산 비용을 최소화하기 위해 GPU를 이용한 객체별 픽셀 분류 기법을 추가적으로 제안한다.
능동 시각을 이용한 이미지 - 텍스트 다중 모달 체계 학습
이미지 분류 문제는 인간 수준의 성능을 보이지만 일반적인 인식 문제는 어려운 점들이 남아있다. 실내 환경은 다양한 정보를 담고 있어 정보 처리의 양을 효율적으로 줄일 필요성이 있다. 정보의 양을 효율적으로 줄일 수 있도록 대상 객체의 위치 측정을 위한 변분 추론, 변분 베이지안 등의 방법이 소개되었지만, 모든 경우에 대한 주변(marginal) 확률 분포를 구하기 어렵기 때문에 현실적으로 계산하기 어렵다. 본 연구에서는 공간 변형 네트워크(Spatial Transformer Networks)을 응용하여 능동 시각을 이용한 이미지-텍스트 통합 인지 체계를 제안한다. 이 체계는 주어진 텍스트 정보를 바탕으로 이미지의 일부를 효율적으로 샘플링 하도록 학습한다. 이를 통해 전통적인 방법으로 해결하기 어려운 문제를 상당한 격차로 성능을 향상 시킬 수 있다는 것을 보인다. 제안하는 모델을 통해 샘플링 된 이미지를 정성적으로 분석하여 이 모델이 가지는 특성도 함께 살펴본다.
3차원 동영상의 시각 주의 확률 모델 도출 및 시각 주의 기반 입체감 추정
시청자들은 영상을 시청할 때 화면상 시각이 집중된 곳 주변의 정보를 영향력 있게 받아들일 가능성이 크다. 이러한 사실을 이용하여 최근 연구들은 시각 주의 모델을 영상 제작 및 평가 방법에 이용하고 있다. 본 연구에서는 실제로 사람들의 시각 주의도가 어떠한 인자에 영향을 많이 받는지, 또 시각 주의 모델은 구체적으로 어떠한 형태가 되는지를 통계적 실험 계획법을 이용하여 추정하였다. 분산 분석법을 이용하여 속도, 화면으로부터의 거리, 비초점흐림 정도가 시각 주의에 영향을 미치는 유의한 인자인 것을 확인하였고 반응 표면 계획법을 이용하여 이 세가지 인자들에 따른 시각 주의 점수 모델을 도출하였다. 이 시각 주의 점수 모델로부터 영상 각 픽셀의 시각 주의 확률을 구하였다. 본 연구의 뒷부분에서는 시각주의 확률 모델을 기존의 기울기(gradient) 기반 3차원 영상의 입체감 측정법에 적용하는 방법을 제안하였다. 화면 상에서 시선을 집중할 확률이 큰 부분에 높은 비중을 둠으로써 기존의 방법 보다 시청자가 느끼는 입체감을 더욱 정확하게 측정할 수 있도록 하였다. 제안한 방법의 성능을 검증하기 위해 주관적 평가를 실시하여 피실험자들이 느끼는 입체감과 제안된 방법으로부터 도출한 결과를 비교하였다. 실험 결과 제안한 방법이 기존의 방법에 비해 성능이 높은 것을 확인하였다.
