디지털 라이브러리[ 검색결과 ]
능동 시각을 이용한 이미지 - 텍스트 다중 모달 체계 학습
이미지 분류 문제는 인간 수준의 성능을 보이지만 일반적인 인식 문제는 어려운 점들이 남아있다. 실내 환경은 다양한 정보를 담고 있어 정보 처리의 양을 효율적으로 줄일 필요성이 있다. 정보의 양을 효율적으로 줄일 수 있도록 대상 객체의 위치 측정을 위한 변분 추론, 변분 베이지안 등의 방법이 소개되었지만, 모든 경우에 대한 주변(marginal) 확률 분포를 구하기 어렵기 때문에 현실적으로 계산하기 어렵다. 본 연구에서는 공간 변형 네트워크(Spatial Transformer Networks)을 응용하여 능동 시각을 이용한 이미지-텍스트 통합 인지 체계를 제안한다. 이 체계는 주어진 텍스트 정보를 바탕으로 이미지의 일부를 효율적으로 샘플링 하도록 학습한다. 이를 통해 전통적인 방법으로 해결하기 어려운 문제를 상당한 격차로 성능을 향상 시킬 수 있다는 것을 보인다. 제안하는 모델을 통해 샘플링 된 이미지를 정성적으로 분석하여 이 모델이 가지는 특성도 함께 살펴본다.
3차원 동영상의 시각 주의 확률 모델 도출 및 시각 주의 기반 입체감 추정
시청자들은 영상을 시청할 때 화면상 시각이 집중된 곳 주변의 정보를 영향력 있게 받아들일 가능성이 크다. 이러한 사실을 이용하여 최근 연구들은 시각 주의 모델을 영상 제작 및 평가 방법에 이용하고 있다. 본 연구에서는 실제로 사람들의 시각 주의도가 어떠한 인자에 영향을 많이 받는지, 또 시각 주의 모델은 구체적으로 어떠한 형태가 되는지를 통계적 실험 계획법을 이용하여 추정하였다. 분산 분석법을 이용하여 속도, 화면으로부터의 거리, 비초점흐림 정도가 시각 주의에 영향을 미치는 유의한 인자인 것을 확인하였고 반응 표면 계획법을 이용하여 이 세가지 인자들에 따른 시각 주의 점수 모델을 도출하였다. 이 시각 주의 점수 모델로부터 영상 각 픽셀의 시각 주의 확률을 구하였다. 본 연구의 뒷부분에서는 시각주의 확률 모델을 기존의 기울기(gradient) 기반 3차원 영상의 입체감 측정법에 적용하는 방법을 제안하였다. 화면 상에서 시선을 집중할 확률이 큰 부분에 높은 비중을 둠으로써 기존의 방법 보다 시청자가 느끼는 입체감을 더욱 정확하게 측정할 수 있도록 하였다. 제안한 방법의 성능을 검증하기 위해 주관적 평가를 실시하여 피실험자들이 느끼는 입체감과 제안된 방법으로부터 도출한 결과를 비교하였다. 실험 결과 제안한 방법이 기존의 방법에 비해 성능이 높은 것을 확인하였다.
